Series2026. 7. 11.
[data-transfer] 데이터 전송·마이그레이션
테라바이트, 페타바이트급 데이터를 AWS로 옮기는 여러 길. 온라인이냐 장비 배송이냐, 상황에 맞게 고릅니다.
전체 81개
테라바이트, 페타바이트급 데이터를 AWS로 옮기는 여러 길. 온라인이냐 장비 배송이냐, 상황에 맞게 고릅니다.
'DB가 느려요'에서 멈추지 않고, 정확히 어떤 쿼리가 발목을 잡는지 짚어내는 도구.
요청이 여러 서비스를 거치는데 어디서 느려졌는지 모르겠다면. 요청의 여정을 통째로 추적해 병목을 찾습니다.
지금 시스템이 괜찮은지, 문제가 생기면 어떻게 알아챌지. 지표와 알람과 로그로 눈과 귀를 다는 법.
수억 건을 집계하는 분석 쿼리는 일반 DB로는 버겁습니다. 대량 분석에 특화된 웨어하우스, Redshift.
페타바이트급 데이터를 여러 대가 나눠 처리해야 할 때. Hadoop·Spark 클러스터를 관리형으로 굴리는 EMR.
데이터를 옮기지도, 서버를 띄우지도 않고 S3에 바로 SQL을 던지기. 그 편리함과 비용을 줄이는 요령.
여기저기 흩어진 데이터를 긁어모아 형태를 맞추는 지겨운 작업. 서버 없이 자동으로 처리하는 Glue ETL.
데이터가 쌓이길 기다리지 않고, 흐르는 그 순간 계산하기. 실시간 집계와 이상 탐지를 다룹니다.
스트리밍 데이터를 S3나 Redshift로 그냥 흘려보내고 싶을 때. 서버 없이 알아서 실어 나르는 Firehose.