온프레미스 데이터를 AWS로 보내기 위한 AWS DataSync서비스

사내 운영 및 보관중인 데이터가 상당히 많다고 가정해보겠습니다. 온프레미스 환경은 확장의 어려움이 있기 때문에 클라우드를 도입하려합니다. 클라우드에 마이그레이션을 진행 한 후 이후에도 계속 클라우드로 저장시키고 온프레미스 환경은 제거하려 한다면 AWS의 DataSync 서비스를 알아볼 필요가 있습니다. 그리고 AWS의 데이터에 보안을 강화해야 겠죠? 삭제나 수정을 못하도록 막아야 합니다.

AWS DataSync를 사용하면 오픈 소스 도구나 라이선스로 맞춤형 솔루션을 구축하거나 값비싼 상용 네트워크 가속 소프트웨어를 관리할 필요 없이 수백만 개의 파일이 포함된 대규모 데이터 세트를 복사할 수 있습니다. DataSync를 사용해 활성 데이터를 AWS로 마이그레이션하고, 분석 및 처리를 위해 데이터를 클라우드로 전송하고, 데이터를 아카이브하여 온프레미스 스토리지 용량을 확보하고, 비즈니스 연속성을 위해 데이터를 AWS로 복제할 수 있습니다.

AWS DataSync

DataSync에서는 아래의 스토리지로 마이그레이션을 할 수 있습니다.

• NFS(네트워크 파일 시스템) 또는 SMB(서버 메시지 블록) 파일 서버
• Amazon Simple Storage Service(Amazon S3) 버킷
• Amazon EFS(Amazon Elastic File System) 파일 시스템
• Windows 파일 서버용 Amazon FSx 파일 시스템

처리 흐름

1. 에이전트 배포 - DataSync 에이전트를 배포하고 관리 콘솔 또는 API를 통해 AWS 계정에 연결합니다. 에이전트는 NFS 서버 또는 SMB 파일 공유에 액세스하여 데이터를 읽거나 데이터를 쓰는 데 사용됩니다.
2. 데이터 전송 작업 만들기 - 데이터 소스 및 대상의 위치와 원하는 작업 일정과 같이 전송을 구성하는 데 사용할 옵션을 지정하여 작업을 만듭니다.
3. 전송 시작 - 작업을 시작하고 콘솔 또는 Amazon CloudWatch에서 데이터 이동을 모니터링합니다.

주요 특징

• 이 서비스는 스토리지 프로토콜과 분리된 AWS 설계 전송 프로토콜을 사용하여 데이터 이동 속도를 높입니다. 이 프로토콜은 네트워크를 통해 전송되는 데이터의 방법, 시기, 종류에 대한 최적화를 수행합니다. 
• 단일 DataSync 에이전트는 10Gbps 네트워크 링크를 까지 지원합니다.
• DataSync는 클라우드 리소스를 자동으로 확장하여 대용량 전송을 지원하며, 온프레미스에 에이전트를 쉽게 추가할 수 있습니다.
• 모든 데이터는 전송 중에 TLS로 암호화됩니다. DataSync는 Amazon S3 관리형 암호화 키(SSE-S3)를 사용하는 S3 버킷에 대한 기본 암호화 사용과 미사용 데이터의 Amazon EFS 파일 시스템 암호화를 지원합니다.
• DataSync는 S3 Standard, S3 지능형 계층화, S3 표준-빈번 액세스(S3 Standard-IA), S3 원존-빈번 액세스(S3 One Zone-IA), Amazon S3 Glacier 및 S3 Glacier 딥 아카이브에 직접 데이터 저장을 지원합니다.
• AWS DataSync를 사용하여 파일을 EFS로 복사하고 EFS 수명 주기 관리를 구성하여 설정된 기간 동안 액세스하지 않은 파일을 IA(자주 액세스하지 않음) 스토리지 클래스로 마이그레이션할 수 있습니다.
• DataSync는 전송 중 및 유휴 상태 모두에서 무결성 검사를 수행하여 데이터가 온전하게 도착하도록 보장합니다. 
• 제외 필터, 포함 필터 또는 둘 다를 지정하여 작업이 실행될 때마다 전송되는 파일, 폴더 또는 개체를 제한할 수 있습니다.
• 작업 스케줄링을 사용하면 주기적으로 작업을 실행하도록 구성하여 소스 스토리지 시스템에서 대상 스토리지 시스템으로 변경 사항을 감지하고 복사할 수 있습니다.
• DataSync는 파일을 Amazon VPC로 직접 옮길 수 있도록 VPC 엔드포인트(AWS PrivateLink 기반)를 지원합니다.

Use Cases

• Amazon S3, Amazon EFS 또는 Windows 파일 서버용 Amazon FSx로 데이터 마이그레이션.
• 하이브리드 워크로드를 위한 데이터 처리. 처리를 위해 AWS로 이동해야 하는 데이터를 생성하거나 사용하는 온프레미스 시스템이 있는 경우, DataSync를 사용하여 전송을 가속화하고 예약할 수 있습니다.
• 값비싼 온프레미스 스토리지 시스템에 대량의 콜드 데이터가 저장되어 있는 경우, 이 데이터를 Amazon S3 Glacier 또는 Amazon S3 Glacier Deep Archive와 같이 내구성이 뛰어나고 안전한 장기 스토리지로 직접 옮길 수 있습니다.
• 보호해야 하는 중요한 파일이 있는 대규모 NAS(네트워크 연결 스토리지) 시스템이 있는 경우, DataSync를 사용하여 해당 파일을 S3로 복제할 수 있습니다.