Architecting on AWS (5) 스토리지

스토리지 서비스

• 블록 스토리지 : DB 또는 ERP 시스템과 같이 대기 시간이 짧은 전용 스토리지가 필요한 경우
  • EBS
• 파일 스토리지 : 공유 파일에 액세스해야 하며 NAS(Network Attached Storage) 서버에서 지원되어 NFS(Network File System) 프로토콜로 전송
  • EFS, FSx
• 객체 스토리지 : 메타 데이터가 필요할 때 활용 가능하며 디렉토리 형태를 지원하지 않음
  • S3, S3 Glacier

S3

• 연중 99.999999999% (9 11개)의 데이터 내구성
• 서버리스 시스템
• 전세계적으로 고유한 버킷 이름으로 만들어야함
  • https://버킷명.s3.amazonaws.com/접두부/file.jpg
    • 접두부/file.jpg -> 객체 키
  • 접두부가 디렉토리 형태로 보이는데 폴더처럼 콘솔에서 보이는 것이지 / 뒤는 전부 객체 키라고 보면 됨
• 버킷 정책이라는 S3 버킷에 대한 리소스 기반 정책에서 권한 부여 가능
• ACL(Access Control List, 접근 제어 목록) ..?
• S3 액세스 포인트
  • ex. 재무팀에서는 /finance 라는 접두사를 가진 객체만 접근 가능하도록
• 수명 주기 정책 : 생성 후 기간을 기준으로 데이터 스토리지 티어 변경 가능

서버 측 암호화 키 유형

• Amazon S3 관리형 키 (SSE-S3) : 각 객체가 고유 키로 암호화하고 추가적으로 주기적으로 교체되는 기본 키를 사용하여 키 자체를 암호화
• AWS KMS 키 (SSE-KMS)
• 이중 계층 서버 측 암호화 (DSSE-KMS) : 한 계층이 아닌 두 개의 개별 객체 수준 암호화 계층 적용
• 고객 제공 키 (SSE-C) : 사용자가 암호화 키를 관리하고 S3는 디스크에 쓴느 데이터의 암호화 관리, 사용자가 객체에 엑세스할 때 복호화

객체 저장

S3의 비용 구조

• GB/Month
• Request - GET, PUT
• Internet traffic

S3 스토리지 클래스

• 액세스 빈도에 따라 클래스를 나눠서 선택 가능
• S3 Intelligent-Tiering : 유동적으로 바뀌긴 한데 Intelligent-Tiering 써서 모니터링 비용도 있음

S3 Glacier

• 비용 효율적 스토리지
• 유동적인 데이터 검색
• 보안 및 규정 준수
• 확장성과 내구성

Glacier : 빙하 -> 어릴 때 사진 잘 안 꺼내보는데 명절 때 꺼내볼까 말까 하지만 소중한 추억

그래서 가지고 오는데 12시간 가까이 오래 걸리지만 저렴한 아카이브된 데이터용 목적별 스토리지

S3 버전관리

• 버전 관리로 실수로 삭제하거나 덮어쓴 객체 복구 가능
• 활성화 시키면 비활성화 불가
• 삭제하려면 버전을 명시적으로 삭제해야 삭제됨 -> 공간 낭비와 비용 문제 발생

S3 추가 기능

• S3 멀티파트 업로드 : 대용량 객체를 관리 가능한 파트로 분할하여 일관되게 업로드 가능
• S3 Transfer Acceleration : 엣지 로케이션을 사용하는 S3 Transfer Acceleration에서는 S3 버킷으로 데이터를 빠르게 쉽게 전송 가능
• S3 이벤트 알림 : 버킷에서 특정 객체 이벤트가 발생할 때 알림을 받을 수 있음
• S3 비용 관련 요인 : 스토리지 유형, 요청 및 검색, 데이터 전송, 관리 및 분석, 복제, 버전 관리

공유 파일 시스템

• EBS : 인스턴스 하나에 연결
• S3 객체 스토리지 : 파일 시스템용으로 구축 불가

여러 인스턴스가 동일한 스토리지를 사용해야 하는 경우 EFS 및 FSx 사용 가능

• EFS : Linux 전용
• FSx : Windows, Lustre, ...

데이터 마이그레이션 도구

• 온라인 : AWS Storage Gateway, AWS DataSync, AWS Transfer Family
• 오프라인 : AWS Snow Family

AWS Storage Gateway

온프레미스 환경과 AWS 스토리지 간에 애플리케이션을 원활하고 안전하게 통합하는 데 사용할 수 있는 서비스

• S3 File Gateway, FSx File Gateway, Tape Gateway, Volume Gateway

AWS DataSync

온프레미스 스토리지와 EFS, FSx, S3 간에 대량의 데이터를 쉽게 이동할 수 있습니다

AWS Snow 패밀리 서비스

• Snowcone : 견고한 소형 엣지 컴퓨팅 및 데이터 스토리지 제품
• Snowball Edge : AWS Snowball 서비스에서 제공하는 엣지 컴퓨팅 및 데이터 전송 디바이스