[data-transfer] 데이터 전송·마이그레이션
테라바이트, 페타바이트급 데이터를 AWS로 옮기는 여러 길. 온라인이냐 장비 배송이냐, 상황에 맞게 고릅니다.
One-Line Summary
AWS 데이터 전송 서비스는 온라인 전송, 오프라인 장비 배송, 파일 전송 서버, 온프레미스 스토리지 연결 중 무엇이 필요한지로 구분한다.
Abbreviations
| 약어 | 풀네임 | 의미 |
|---|---|---|
S3 | Simple Storage Service | AWS 객체 스토리지 서비스 |
EFS | Elastic File System | AWS 관리형 NFS 파일 시스템 |
FSx | Amazon FSx | AWS 관리형 파일 시스템 서비스 묶음 |
FTP | File Transfer Protocol | 파일 전송 프로토콜 |
SFTP | SSH File Transfer Protocol | SSH 기반 보안 파일 전송 프로토콜 |
FTPS | File Transfer Protocol Secure | TLS 기반 보안 FTP |
AS2 | Applicability Statement 2 | B2B 문서 교환에 쓰이는 보안 전송 프로토콜 |
NFS | Network File System | Linux/Unix 계열 파일 공유 프로토콜 |
SMB | Server Message Block | Windows 파일 공유 프로토콜 |
iSCSI | Internet Small Computer Systems Interface | 네트워크 기반 블록 스토리지 프로토콜 |
DMS | Database Migration Service | 데이터베이스 마이그레이션 서비스 |
Big Picture
데이터 전송 문제는 먼저 다음 질문으로 나눈다.
| 질문 | 정답 방향 |
|---|---|
| 네트워크로 대량 데이터를 복사/동기화해야 하나? | AWS DataSync |
| 네트워크로 옮기기엔 너무 크거나 오래 걸리나? | AWS Snow Family |
| 외부 파트너/고객이 SFTP/FTPS/FTP로 파일을 보내야 하나? | AWS Transfer Family |
| 온프레미스 앱이 AWS 스토리지를 로컬 파일서버/디스크/테이프처럼 써야 하나? | AWS Storage Gateway |
| 먼 지역 사용자의 S3 업로드/다운로드를 빠르게 해야 하나? | S3 Transfer Acceleration |
| 데이터베이스를 이전해야 하나? | AWS DMS |
Core Decision Table
| 서비스 | 한 줄 정의 | 시험 키워드 |
|---|---|---|
AWS DataSync | 스토리지 간 대량 데이터를 온라인으로 복사/동기화하는 서비스 | migrate, transfer, schedule, validate, NFS/SMB/HDFS/S3/EFS/FSx |
AWS Snow Family | 물리 장비를 배송해 대용량 데이터를 오프라인으로 이전하는 서비스 | offline migration, limited bandwidth, PB-scale, appliance shipping |
AWS Transfer Family | SFTP/FTPS/FTP/AS2 파일 전송 endpoint를 S3/EFS 앞에 제공하는 관리형 서비스 | partner uploads, SFTP server, managed file transfer, S3 backend |
AWS Storage Gateway | 온프레미스 앱이 AWS 스토리지를 로컬 스토리지처럼 쓰게 해주는 하이브리드 서비스 | local cache, on-premises app, NFS/SMB/iSCSI/tape |
S3 Transfer Acceleration | 먼 거리에서 S3 전송을 가속하는 기능 | global users, faster upload to S3, edge location |
AWS DMS | 데이터베이스를 마이그레이션/복제하는 서비스 | database migration, Oracle/MySQL/PostgreSQL, minimal downtime |
DataSync
AWS DataSync는 대량 데이터를 온라인으로 옮기거나 동기화할 때 사용한다.
예시:
온프레미스 NFS/SMB -> Amazon S3
온프레미스 파일 서버 -> Amazon EFS
Amazon S3 -> Amazon FSx
AWS 계정/리전 간 스토리지 이동
시험 감각:
DataSync는 이사/복제 작업이다. 기존 스토리지에 있는 데이터를 AWS로 또는 AWS 간에 대량으로 옮길 때 쓴다.
DataSync Exam Triggers
| 문제에서 이런 표현이 나오면 | 떠올릴 것 |
|---|---|
| "migrate data from on-premises NFS to S3" | AWS DataSync |
| "scheduled transfer" | AWS DataSync |
| "validate transferred data" | AWS DataSync |
| "limit bandwidth during transfer" | AWS DataSync |
| "copy data between S3 and EFS/FSx" | AWS DataSync |
Snow Family
AWS Snow Family는 네트워크로 옮기기 어려운 대용량 데이터를 물리 장비로 이전할 때 사용한다.
대표 감각:
회사에 수백 TB~PB 데이터가 있음
인터넷 회선으로 업로드하면 몇 주/몇 달 걸림
AWS가 장비를 배송
데이터를 장비에 복사
장비를 AWS로 반송
AWS가 S3 등에 적재
시험 감각:
Snow Family는 트럭이다. 네트워크가 부족하면 장비를 배송해서 옮긴다.
SAA-C03에서 중요한 건 패턴이다: 네트워크로 옮기기 어려운 수백 TB~PB급 데이터를 오프라인 장비로 옮긴다 = Snow Family 패턴.
Snow Family Exam Triggers
| 문제에서 이런 표현이 나오면 | 떠올릴 것 |
|---|---|
| "network bandwidth is limited" | Snow Family |
| "hundreds of terabytes or petabytes" | Snowball/Snow Family |
| "offline data transfer" | Snow Family |
| "edge location with intermittent connectivity" | Snowball Edge 또는 Snowcone |
Transfer Family
AWS Transfer Family는 S3 또는 EFS 앞에 세우는 관리형 파일 전송 서버다.
외부 파트너/고객
-> SFTP/FTPS/FTP/AS2
-> AWS Transfer Family endpoint
-> Amazon S3 또는 Amazon EFS
직접 EC2에 SFTP 서버를 만들 수도 있지만, 그러면 서버 패치, 고가용성, 계정 관리, 보안 설정, 로그/감사를 직접 운영해야 한다. Transfer Family는 이 파일 전송 서버 역할을 관리형으로 제공한다.
시험 감각:
누군가 SFTP/FTPS/FTP로 파일을 보내거나 받아야 하면 Transfer Family.
Transfer Family Use Cases
| 상황 | 선택 |
|---|---|
| 거래처가 매일 SFTP로 정산 파일 업로드 | AWS Transfer Family |
| 고객이 SFTP로 리포트 다운로드 | AWS Transfer Family |
| 파트너가 기존 FTP 클라이언트를 계속 사용해야 함 | AWS Transfer Family |
| 업로드된 파일을 S3에 저장해야 함 | AWS Transfer Family + S3 |
| 파일 전송 서버 운영을 없애고 싶음 | AWS Transfer Family |
Storage Gateway
AWS Storage Gateway는 온프레미스 앱이 AWS 스토리지를 로컬 스토리지처럼 사용하게 해주는 연결 장치다.
Storage Gateway가 필요한 이유는 보통 기존 앱을 S3 API 방식으로 고치기 어렵기 때문이다.
예를 들어 기존 앱이 다음 방식만 지원할 수 있다.
\\fileserver\share 에 저장
/mnt/share/report.csv 에 저장
iSCSI 디스크에 백업
테이프 라이브러리에 백업
이 앱에게 S3의 PutObject, GetObject API를 직접 쓰라고 바꾸기 어렵다면 Storage Gateway를 둔다.
온프레미스 앱
-> NFS/SMB/iSCSI/Tape
-> Storage Gateway
-> AWS Storage
시험 감각:
기존 온프레미스 앱이 로컬 파일서버/디스크/테이프처럼 AWS를 써야 하면 Storage Gateway.
Why Not Direct S3?
"그냥 S3를 열어주면 되는 것 아닌가?"라는 생각이 들 수 있다. 새 애플리케이션이라면 맞는 방향일 수 있다. 하지만 Storage Gateway는 보통 기존 앱을 거의 바꾸지 못하는 상황에서 나온다.
| 기존 앱의 상황 | S3 직접 사용의 문제 | Storage Gateway가 해주는 일 |
|---|---|---|
| 파일 경로에 저장하도록 만들어짐 | S3 API 호출 방식으로 앱 수정 필요 | NFS/SMB 파일 공유처럼 보여줌 |
| 백업 소프트웨어가 iSCSI 디스크를 요구 | 객체 스토리지인 S3를 디스크처럼 직접 못 씀 | iSCSI 볼륨처럼 보여줌 |
| 테이프 백업 워크플로우가 이미 있음 | S3 API로 백업 흐름을 재설계해야 함 | 가상 테이프 라이브러리처럼 보여줌 |
| 로컬 지연 시간이 중요함 | 매번 S3 원격 호출이면 앱 특성과 안 맞을 수 있음 | 로컬 캐시로 자주 쓰는 데이터 접근을 빠르게 함 |
Storage Gateway Types
| 타입 | 온프레미스에서 보이는 형태 | 뒤쪽 AWS 저장소 | 시험 감각 |
|---|---|---|---|
S3 File Gateway | NFS/SMB 파일 공유 | Amazon S3 | 온프레미스 파일 앱이 S3를 파일 공유처럼 사용 |
FSx File Gateway | SMB 파일 공유 | Amazon FSx for Windows File Server | 온프레미스 Windows 파일 공유를 FSx와 연결 |
Volume Gateway | iSCSI 블록 볼륨 | AWS에 snapshot/백업 | 온프레미스 서버가 디스크처럼 사용 |
Tape Gateway | 가상 테이프 라이브러리 | S3/Glacier 계열 | 기존 테이프 백업 소프트웨어 유지 |
File Gateway
파일 게이트웨이는 온프레미스 앱에게 NFS/SMB 공유 폴더처럼 보인다.
온프레미스 앱
-> NFS/SMB file share
-> File Gateway
-> S3 또는 FSx
자주 쓰는 데이터는 로컬 캐시에 남길 수 있고, 뒤쪽 데이터는 AWS 스토리지에 저장된다.
Volume Gateway
볼륨 게이트웨이는 온프레미스 서버에 iSCSI 블록 볼륨처럼 보인다.
시험에서는 다음 두 감각만 먼저 잡는다.
| 모드 | 의미 |
|---|---|
| Cached volume | 기본 데이터는 AWS에 저장하고 자주 쓰는 데이터만 로컬 캐시 |
| Stored volume | 기본 데이터는 온프레미스에 저장하고 AWS에 snapshot 백업 |
Tape Gateway
테이프 게이트웨이는 기존 백업 소프트웨어가 물리 테이프 라이브러리를 쓰는 것처럼 AWS를 사용하게 해준다.
시험 감각:
기존 테이프 백업 워크플로우를 유지하면서 클라우드 아카이브로 바꾸고 싶으면 Tape Gateway.
Transfer Family vs Storage Gateway
가장 중요한 구분은 누가 접속하느냐다.
| 구분 | Transfer Family | Storage Gateway |
|---|---|---|
| 주체 | 외부 파트너, 고객, 파일 전송 클라이언트 | 기존 온프레미스 애플리케이션/백업 시스템 |
| 목적 | SFTP/FTPS/FTP 파일 업로드/다운로드 | AWS 스토리지를 로컬 스토리지처럼 사용 |
| 느낌 | 파일 접수 창구 | 온프레미스 스토리지 어댑터 |
| 대표 프로토콜 | SFTP, FTPS, FTP, AS2 | NFS, SMB, iSCSI, Tape |
| 백엔드 | S3 또는 EFS | S3, FSx, EBS snapshot, Glacier 계열 |
한 줄 구분:
누군가 SFTP로 파일을 보내야 하면 Transfer Family, 기존 온프레미스 앱이 로컬 저장소처럼 AWS를 써야 하면 Storage Gateway.
DataSync vs Storage Gateway
둘 다 온프레미스와 AWS 사이에 등장하지만 목적이 다르다.
| 구분 | DataSync | Storage Gateway |
|---|---|---|
| 목적 | 데이터 복사/동기화 | 하이브리드 스토리지 연결 |
| 느낌 | 이사/복제 작업 | 계속 연결되는 어댑터 |
| 예시 | NFS 파일 서버 데이터를 S3로 마이그레이션 | 온프레미스 앱이 NFS로 쓰면 뒤에 S3 저장 |
| 시험 키워드 | migrate, transfer, scheduled sync, validation | local cache, existing app, NFS/SMB/iSCSI/tape |
한 줄 구분:
데이터를 옮기는 작업이면 DataSync, 앱이 계속 AWS 스토리지를 로컬처럼 써야 하면 Storage Gateway.
Transfer Family vs DataSync
| 구분 | Transfer Family | DataSync |
|---|---|---|
| 목적 | 사용자/파트너 파일 송수신 | 시스템 간 대량 데이터 전송 |
| 접속 주체 | 사람/파트너/외부 시스템 | 스토리지 시스템 |
| 대표 프로토콜 | SFTP/FTPS/FTP/AS2 | NFS/SMB/HDFS/Object/S3/EFS/FSx |
| 예시 | 고객이 SFTP로 S3에 파일 제출 | 온프레미스 파일 서버를 S3로 마이그레이션 |
S3 Transfer Acceleration
S3 Transfer Acceleration은 전 세계 사용자나 먼 지역의 클라이언트가 S3에 더 빠르게 업로드/다운로드하도록 돕는 기능이다.
시험 감각:
S3를 쓰는 것은 그대로인데, 멀리 있는 사용자의 S3 전송 속도만 개선해야 하면 S3 Transfer Acceleration.
DataSync, Snowball, Transfer Family, Storage Gateway와 달리 스토리지 연결 방식이나 마이그레이션 서비스라기보다 S3 전송 성능 최적화 기능이다.
Common Wrong Directions
| 오답 방향 | 왜 부족한가 |
|---|---|
| 온프레미스 앱이 S3 API를 못 쓰는데 S3 직접 사용 선택 | 앱 수정이 필요할 수 있음. Storage Gateway가 더 적합 |
| 외부 파트너 SFTP 요구에 Storage Gateway 선택 | SFTP 서버 역할은 Transfer Family |
| 대량 마이그레이션에 Transfer Family 선택 | 시스템 간 대량 전송은 DataSync가 더 적합 |
| 네트워크가 너무 느린 PB급 이전에 DataSync만 선택 | 오프라인 장비 배송인 Snow Family 검토 |
| 데이터베이스 이전에 DataSync 선택 | DB 마이그레이션은 DMS |
| S3 장거리 업로드 가속에 DataSync 선택 | 일반 사용자 S3 전송 가속은 S3 Transfer Acceleration |
Exam Triggers
| 문제에서 이런 표현이 나오면 | 떠올릴 것 |
|---|---|
| "migrate on-premises NFS/SMB to S3" | AWS DataSync |
| "limited network bandwidth, hundreds of TB" | AWS Snow Family |
| "partners upload files using SFTP" | AWS Transfer Family |
| "managed FTP/FTPS/SFTP endpoint" | AWS Transfer Family |
| "on-premises application requires NFS/SMB file share" | Storage Gateway - File Gateway |
| "on-premises server needs iSCSI volume" | Storage Gateway - Volume Gateway |
| "replace tape library" | Storage Gateway - Tape Gateway |
| "global users need faster S3 uploads" | S3 Transfer Acceleration |
| "database migration with minimal downtime" | AWS DMS |
Memory Sentence
DataSync는 이사, Snow Family는 트럭, Transfer Family는 SFTP 접수창구, Storage Gateway는 온프레미스 스토리지 어댑터, S3 Transfer Acceleration은 S3 전송 가속이다.
References
댓글
아직 댓글이 없습니다.