← 전체 목록
🌊
Amazon Kinesis
분석실시간 스트리밍 데이터 처리
▶아키텍처 다이어그램
점선 애니메이션은 데이터 또는 요청의 흐름 방향을 나타냅니다
왜 필요한가요?
실시간으로 들어오는 클릭 스트림, 로그, 센서 데이터는 일반 데이터베이스나 배치 적재 방식만으로는 따라가기 어렵습니다. 지속적으로 흐르는 데이터를 안정적으로 받아둘 스트림 계층이 필요합니다.
안에서 어떻게 동작하나요?
Kinesis는 스트림에 데이터를 지속적으로 받아 여러 소비자가 읽게 하고, 필요하면 Firehose로 S3나 Redshift로 내보냅니다. Lambda와 결합하면 실시간 후처리도 붙일 수 있습니다.
무엇과 헷갈리나요?
Kinesis와 SQS는 둘 다 비동기 데이터 흐름에 쓰이지만 모델이 다릅니다. Kinesis는 연속된 스트림을 여러 소비자가 처리하는 데 강하고, SQS는 개별 작업 메시지를 안전하게 소비하는 큐에 가깝습니다.
왜 이런 방식이 등장했나요?
예전에는 로그를 파일로 모아 나중에 배치 처리하는 경우가 많았지만, 실시간 대응 요구가 커지면서 데이터가 들어오는 즉시 흘려보내는 스트림 플랫폼이 필요해졌습니다. 그래서 Kinesis 같은 실시간 데이터 파이프가 중요해졌습니다.
언제 쓰나요?
클릭스트림, IoT 이벤트, 로그 수집, 실시간 분석 파이프라인, 스트림 후처리에 적합합니다. 순서 보장 없이 작업을 대기열에 쌓고 소비하는 단순 큐잉에는 과합니다.
실시간 로그 처리IoT 데이터 수집클릭스트림 분석실시간 메트릭
Official Docs
AWS더 깊게 보기
현재 페이지의 개념 설명을 본 뒤 공식 문서로 바로 이동합니다.