[analytics] Managed Flink
데이터가 쌓이길 기다리지 않고, 흐르는 그 순간 계산하기. 실시간 집계와 이상 탐지를 다룹니다.
One-Line Summary
Managed Service for Apache Flink(구 Kinesis Data Analytics)는 흘러가는 스트리밍 데이터를 실시간으로 분석·집계·변환해주는 완전관리형 스트림 처리 서비스다. 시험에서는 저장 전(in-flight)에 실시간으로 계산 / 시간 윈도우 집계 / 이상 탐지 / SQL·Flink로 스트림 처리 가 핵심이다. "스트림을 저장하기 전에 실시간으로 가공·분석"이면 이 서비스다.
Why It Exists
Kinesis Data Streams는 데이터를 받아 흘려보낼 뿐이고, Firehose는 목적지에 적재만 한다. 그런데 "지난 5분간 지역별 평균 주문액", "실시간 이상 징후" 같은 계산은 데이터가 흘러가는 중에 즉시 해야 한다. 이걸 직접 구현하려면 Flink 클러스터를 운영해야 한다.
Managed Service for Apache Flink는 이 스트림 처리(Apache Flink)를 완전관리형으로 제공한다.
Kinesis Data Streams / MSK(Kafka)
-> Managed Service for Apache Flink
(윈도우 집계, 필터, 조인, 이상 탐지 등 실시간 계산)
-> Kinesis Data Streams / Data Firehose / Lambda 등으로 결과 전송
-> S3 / Redshift / OpenSearch / 대시보드
시험 감각:
"스트리밍 데이터를 저장하기 전에 실시간으로 집계/분석/이상 탐지" = Managed Service for Apache Flink.
Abbreviations
| 약어 | 풀네임 | 의미 |
|---|---|---|
Flink | Apache Flink | 실시간 스트림 처리 오픈소스 프레임워크 |
MSK | Managed Streaming for Apache Kafka | 관리형 Kafka, Flink의 입력 소스로도 사용 |
Windowing | Windowing | 스트림을 시간/개수 구간으로 잘라 집계하는 기법 |
Studio | Managed Service for Apache Flink Studio | 노트북으로 SQL/Python 스트림 분석을 하는 인터페이스 |
무엇을 하나 (실시간 스트림 처리)
데이터가 목적지에 저장되기 전에, 흐르는 중에 계산한다.
| 할 수 있는 것 | 예 |
|---|---|
| 시간 윈도우 집계 | 최근 1분/5분 이동 평균, 지역별 카운트 |
| 필터·변환·정제 | 특정 이벤트만 추출, 포맷 변경 |
| 스트림 조인 | 두 스트림을 실시간으로 결합 |
| 이상 탐지 | RANDOM_CUT_FOREST로 실시간 급증/이상 감지 |
raw 스트림 -> [Flink: 5분 윈도우 합계 + 임계치 초과 감지] -> 알림/적재
시험 감각:
"sliding/tumbling window", "moving average", "real-time aggregation", "anomaly detection" = Flink.
입력과 출력
| 구분 | 대표 대상 |
|---|---|
| 입력(소스) | Kinesis Data Streams, Amazon MSK(Kafka) |
| 출력(싱크) | Kinesis Data Streams, Data Firehose, Lambda, S3 등 |
전형적 실시간 분석 파이프라인
소스 -> KDS -> Flink(실시간 집계/이상탐지) -> Firehose -> S3/OpenSearch
실시간 위치 이해 (스트리밍 3형제 비교, 빈출)
| 서비스 | 역할 | 한 줄 |
|---|---|---|
| Kinesis Data Streams | 수집·보관 | 데이터를 실시간으로 받아 흘려보냄(다중 소비/replay) |
| Managed Service for Apache Flink | 처리·분석 | 흐르는 데이터를 실시간으로 계산/집계/이상탐지 |
| Data Firehose | 적재 | 데이터를 목적지에 저장(load) |
[받기] Data Streams -> [처리하기] Flink -> [적재하기] Firehose -> S3/Redshift
시험 감각:
"받아서 여러 소비자" = KDS · "실시간 계산/집계" = Flink · "저장소로 적재" = Firehose.
Common Wrong Directions
| 오답 방향 | 왜 부족한가 |
|---|---|
| 실시간 집계가 필요한데 Firehose로 해결하려 함 | Firehose는 적재 전용 → 실시간 계산은 Flink |
| 실시간 윈도우 분석을 Athena/배치로 처리 | Athena는 S3 저장 후 조회(배치성) → 흐름 중 계산은 Flink |
| Flink 클러스터를 EC2로 직접 운영 | 완전관리형 Managed Service for Apache Flink 사용이 정석 |
| 이상 탐지를 위해 별도 ML 파이프라인 구축 | 스트림 이상 탐지는 Flink의 RANDOM_CUT_FOREST로 인라인 처리 가능 |
| 단순 수집·보관만 필요한데 Flink 도입 | 처리·집계가 없다면 KDS/Firehose만으로 충분 |
Exam Triggers
| 문제에서 이런 표현이 나오면 | 떠올릴 것 |
|---|---|
| "real-time analytics on streaming data" | Managed Service for Apache Flink |
| "sliding/tumbling window, moving average, aggregate in real time" | Flink |
| "detect anomalies in a stream in real time" | Flink (RANDOM_CUT_FOREST) |
| "process/transform data while it flows (in-flight)" | Flink |
| "SQL/Apache Flink on Kinesis or MSK data" | Managed Service for Apache Flink |
| "just store/deliver the stream" (계산 없음) | Flink 아님 → Firehose/KDS |
Memory Sentence
Managed Service for Apache Flink는 흐르는 스트리밍 데이터를 저장 전에 실시간으로 집계·조인·이상 탐지하는 완전관리형 Flink다. 입력은 Kinesis Data Streams/MSK, 출력은 Firehose/KDS/Lambda. "받기=Data Streams, 처리=Flink, 적재=Firehose"로 위치를 기억한다.
References
댓글
아직 댓글이 없습니다.