AWS SAA : Storage

AWS Snow Family

엣지에서 데이터를 수집 및 처리하고 AWS 안팎으로 데이터를 마이그레이션하는데 사용하는 매우 안전한 휴대용 장치

타입

• snowcone : 작은 용량
• snowball edge : 큰 용량

필요한 경우

• 제한적 연결
• 제한적 대역폭
• 네트워크 비용 너무 높음
• 대역폭을 공유 중이라 극대화 불가능
• 불안정한 연결

방법

1. AWS Console에서 Snowball device 주문
2. Snowball Client, AWS OpsHub 서버에 설치
3. 서버에 Snowball device 연결, 클라이언트를 사용해 파일 복사
4. AWS로 기기를 반송
5. AWS S3 버킷에 데이터 로드, Snowball 삭제

Scenario (Snowball into Glacier) : 기존의 방법대로 S3 사용하고, 추가로 수명 주기 정책을 이용해 Glacier로 객체 전환

 

Edge Computing

• 엣지 위치에서 생성된 데이터를 처리할 수 있음
• 도로 위 트럭, 바다 위 선박, 지상 채굴장 등 인터넷이 제한적이거나 아예 없는 경우, 컴퓨팅 성능에 접근할 수도 없는 경우, 엣지 컴퓨팅 수행

 

Amazon FSx

AWS 완전 관리형 서비스, 타사 고성능 파일 시스템 실행

RDS에서 MySQL, Postgres 실행하는 것과 똑같음.

3rd party 파일 시스템

• FSx for Lustre
  • 분산 파일 시스템, 대형 연산에 쓰임
  • Lustre = Linux + cluster
  • ML과 **HPC (High Performance Computing)**에 사용
  • 비디오 처리, 금융 모델링, 전자 설계 자동화 등에 사용
  • 성능 : 초당 수백 GB 데이터에 수백만 IOPS 확장에 지연시간 매우 짧음
  • 스토리지 옵션
    • SSD : 짧은 지연 시간, 많은 워크로드, 크기가 작은 무작위 파일 작업이 많으면 IOPS도 사용 가능
    • HDD : 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업
  • S3와 무결절성 통합 가능 (Seamless integration)
    • FSx로 S3를 파일시스템처럼 읽어들임
    • FSx의 출력값을 다시 S3에 쓸 수 있음
  • VPN / 직접 연결을 통해 온프레미스에서 접근 가능
• FSx for Windows File Server
  • SMB 프로토콜, Windows NTFS 지원
  • Microsoft Active Directory 통합 지원 → 사용자 보안 추가
  • ACL로 사용자 할당량 추가 → 액세스 제어
  • Window, Linux EC2 인스턴스에 마운트 가능
  • 온프레미스에 Windows 파일 시스템이 있을 경우, DFS (Distributed File System) 활용하여 파일 시스템 그룹화 → 온프레미스의 Windows 파일 서버와 FSx for Windows File Server 결합
  • 성능 : 초당 수십 GB, 수백만 IOPS, 수백 PB 데이터 확장
  • 스토리지 옵션
    • SSD : 짧은 지연 시간 → DB, 미디어 처리, 데이터 분석
    • HDD : 넓은 스펙트럼의 데이터 (홈 디렉토리, CMS)
  • private connection으로 온프레미스에서 접근 가능
  • 고가용성 다중 AZ에 대해 파일 서버 구성 가능
  • 모든 데이터는 재해 복구 목적으로 S3에 매일 백업
• FSx for NetApp ONTAP
  • NFS, SMB, iSCSI 프로토콜과 호환
  • 온프레미스 시스템의 ONTAP이나 NAS에서 실행중인 워크로드를 AWS로 옮길 수 있음
  • 다양한 운영체제에서 사용 가능
  • 스토리지는 자동으로 확장 및 축소 (오토스케일링)
  • 복제와 스냅샷 기능 지원, 비용 적고, 데이터 압축, 데이터 중복 제거 가능
  • 지정 시간 복제 기능 Point-in-time instantaneous cloning : 새 워크로드 테스트할 때 유용한 기능으로, 파일 시스템에서 신속히 복제 가능하고 스테이징 파일 시스템을 둘 수 있음
• FSx for OpenZFS
  • 여러 버전에서의 NFS 프로토콜과 호환됨
  • ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
  • Linux, Mac, Windows에서 사용
  • 성능이 좋음. 백만 IOPS 확장 가능, 지연 시간은 0.5 밀리초 이하
  • 스냅샷, 압축 지원, 비용 적음
  • 데이터 중복제거 기능 없음
  • 지정 시간 복제 기능 Point-in-time instantaneous cloning : 새 워크로드 테스트할 때 유용한 기능으로, 파일 시스템에서 신속히 복제 가능하고 스테이징 파일 시스템을 둘 수 있음

 

FSx File System Deployment Options

• Scratch File System
  • 임시 스토리지로 데이터가 복제되지 않음 → 비용 최적화
  • 기저 서버가 오작동하면, 데이터 유실됨
  • 최적화로 초과 버스트 사용 가능 → persistent FS보다 성능 6배 좋음
  • 단기 처리 데이터에 사용됨
• Persistent File System
  • 장기 스토리지
  • 동일한 가용 영역에 데이터 복제
  • 기저 서버가 오작동했을 때, 해당 파일 대체 가능
  • 민감한 데이터의 장기 처리 및 스토리지로 활용

 

Storage Gateway

Hybrid Cloud for Storage

• 일부 인프라는 AWS Cloud에 존재하고, 나머지는 온프레미스에 존재
• 사용 이유
  • 클라우드 이전이 오래걸림
  • 보안 또는 규정 준수 요건 있음
  • 전략에 따라 엘라스틱 워크로드에만 클라우드, 나머지는 온프레미스

Storage Cloud Native Options

• Block Storage
  • EBS, EC2 Instance Store
• File System
  • EFS, FSx
• Object Level Storage
  • S3, Glacier

but, S3는 AWS 전용 기술로, 온프레미스에 두기 위해 Storage Gateway를 사용

 

AWS Storage Gateway

• 온프레미스 데이터와 클라우드 데이터간의 bridge
• Use cases
  • 재해 복구 목적
  • 온프레미스 데이터를 클라우드에 백업, 복구
  • 스토리지 확장 - 데이터에 계층을 두고 스토리지를 확장함 (클라우드에는 콜드 데이터, 온프레미스에는 웜 데이터)
  • 낮은 지연속도를 위해 온프레미스 캐시로 사용
• 종류 : 모두 사내에 설치되는 게이트웨이
  • S3 File Gateway
    • S3의 클래스로는 원하는 스토리지 클래스를 사용 (Glacier 제외, Glacier로 만들고 싶으면 Life Cycle Policy 적용할 것)
    • 온프레미스상의 애플리케이션 서버는 표준 네트워크 파일 시스템 활용 → 이를 위해 S3 File Gateway를 생성하여 애플리케이션 서버가 NFS나 SMB 프로토콜을 사용하도록 함 (애플리케이션 → S3 File Gateway 간은 NFS, SMB 프로토콜)
    • S3 File Gateway는 애플리케이션의 NFS, SMB 프로토콜 베이스의 요청을 HTTPS 요청으로 변환시켜 S3 버킷으로 보냄
    ⇒ 애플리케이션 서버는 일반적인 파일 공유 액세스라 생각하지만, 실제로는 S3 버킷을 사용하는 것 !
    • 여기서 만들어진 S3 Bucket은 NFS, SMB protocol로 접근 가능
      • SMB로 접근하기 위해서는 Active Directory (AD)와 통합하여 user authentication
    • 신속한 접근을 위해 사용된 데이터는 캐시로 저장됨
    • 버킷에 액세스하려면 각 파일 게이트웨이마다 IAM 역할 생성
  • FSx File Gateway
    • 자주 액세스하는 데이터의 로컬 캐시 확보 가능
    • 기존의 Amazon FSx도 local 접근이 가능하지만, 캐시를 위해 게이트웨이를 추가한다고 생각하면 됨
    • 그룹 파일 공유, 온프레미스를 연결할 홈 디렉토리로 사용 가능
  • Volume Gateway
    • Block storage using iSCSI protocol backed by S3
    • 애플리케이션 서버에서 Volume Gateway로 iSCSI 를 이용해 데이터 보내면, Volume Gateway는 이 요청을 HTTPS로 전환하여, 볼륨을 S3 EBS 스냅샷으로 저장되며 필요에 따라 온프레미스 볼륨 복구 가능
    • 유형
      • Cached volume : 최근 데이터 액세스 시 지연 시간이 낮음
      • Stored volume : 전체 데이터셋이 온프레미스에 있으며 주기적 S3 백업이 따름
    • 온프레미스 서버의 볼륨을 백업하는 데 의의를 둠
  • Tape Gateway
    • 백업 시스템이 있는 회사가 백업 시 테이프 대신 클라우드를 활용
    • 가상 테이프 라이브러리 (VTL) : S3와 Glacier 이용
    • 테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용해 백업
    • 백업 서버에서 Tape Gateway로 iSCSI 를 이용해 데이터 보내면, Tape Gateway는 S3에 HTTPS로 연결해 데이터 전송, 저장
• Storage Gateway Hardware appliance : 사내 VM에 게이트웨이를 설치할 수 없을 때, AWS의 하드웨어 주문해 사용할 수 있음

 

AWS Transfer Family

S3나 EFS 안팎으로 데이터를 전송하려고 하는데, S3 API는 사용하고 싶지 않을 때, EFS 네트워크 파일 시스템도 사용하지 않고, FTP 프로토콜만 사용할 때 사용

• 지원하는 프로토콜
  • AWS Transfer for FTP : 암호화되지 않음
  • AWS Transfer for FTP : SSL을 통한 암호화된 형태
  • AWS Transfer for SFTP : 보안 파일 전송 프로토콜
• 도면
  • 유저 : FTP의 엔드 포인트를 이용해 접근 / Route53 DNS 이용해 FTP 서비스에 고유의 호스트 이름 제공해 접근
  • Transfter Family는 IAM Role이 있어 S3나 EFS의 파일을 보내거나 읽을 수 있음
  • 보안을 위해 외부 인증 시스템을 통해 사용자 인증 가능 (Active Directory..)
• 완전 관리형 인프라, 확장성 높음, 안정성 높음, 다중 AZ 지원
• 시간당 프로비저닝된 엔드 포인트 비용에 전송된 데이터 요금에 따라 비용 청구
• 기존의 authentication system (외부 인증 시스템)과 통합 가능

 

DataSync

요즘 시험에 자주 나옴

• 데이터를 동기화해 대용량의 데이터를 한 곳에서 다른 곳으로 옮김 (양방향)
  • 온프레미스나 AWS의 다른 클라우드로 데이터를 옮김
    • 서버를 NFS, SMB, HDFS, 프로토콜에 연결하고 옮길 위치 (온프레미스나 다른 클라우드)에 에이전트가 있어야 함.
  • AWS 서비스 A에서 다른 AWS 서비스 B로 데이터를 옮김
    • 에이전트 필요 X
• 아래에 동기화 가능!
  • Amazon S3 (Glacier 포함 모든 S3)
  • Amazon EFS
  • Amazon FSx
• 복제 작업은 일정에 맞춰 실행됨. 지속적이진 않고 일정에 따름.
• 파일 권한과 메타데이터 저장 기능이 있음 → 보안과 관련되어 NFS POSIX FS, SMB 권한 준수
• DataSync 이용해 데이터 옮기는데 네트워크 문제가 생긴다면, Snowcone 사용을 고려해볼 수 있음

 

Storage Comparison

• S3 : 객체 스토리지. 대부분의 AWS 서비스와 연결 가능.
• S3 Glacier : S3의 객체를 아카이브할 때 사용.
• EBS Volume : 한 번에 한 개의 EC2 instance에 network storage 연결
• Instance Storage : IOPS가 높은 EC2 instance에 physical storage 연결
• EFS : Linux 기반 EC2 instance가 network file system을 필요로 하고, 다중 AZ간 마운트하면서 POSIX FS를 이용할 경우 사용
• FSx for Windows : Windows server를 위한 network file system
• FSx for Lustre : 고성능이 필요하면서 Linux FS를 지원
• FSx for NetApp ONTAP : 높은 운영체제 호환성과 network file system
• FSx for OpenZFS : 관리형 ZFS file system
• Storage Gateway : S3 & FSx File Gateway, Volume Gateway (cache & stored), Tape Gateway
• Transfer family : FTP, FTPS, SFTP interface on top of S3, EFS
• DataSync : 온프레미스-AWS / AWS-AWS 간 데이터싱크를 일정에 맞춤
• Snowcone / Snowball / Snowmobile : 데이터 옮기는데 네트워크가 부족하거나 물리적으로 데이터를 옮기고 싶을 때 사용