4 AWS Servicios de Almacenamiento 1.3.xmind

AWS Storage Gateway
1. servicios de almacenamiento en la nube híbrida que le brinda acceso en las instalaciones al almacenamiento en la nube prácticamente ilimitado
2. Características
  1. Es un dispositivo virtual disponible para descarga como Virtual Machine (Maquina Virtualizada).
  2. Se instala en un host en el datacenter
  3. Soporta VMware ESXi o Microsfot Hyper-V.
3. Tipos
  1. File Gateway (NFS)
    1. Almacenamiento archivos estáticos
    2. Los archivos son almacenados en buckets de S3.
    3. La propiedad, permisos y timestamps son almacenados en el user-metadata
    4. Pueden ser administrados como objetos nativos de S3.
  2. Volumes Gateway (iSCSi)
    1. Block-based storage
    2. Permite ejecutar sistemas operativos.
    3. No es precisamente para archivos estáticos
    4. Los datos escritos en los volúmenes pueden ser respaldados como snapshots
    5. Los snapshots generadores pueden ser almacenados como Amazon EBS snapshots.
    6. Los snapshots solo guardan las diferencias entre un punto del tiempo y otro.
    7. Los snapshots son compresos para minimizar los cargos de espacio en disco
  3. Gateway Virtual Tape Library (VTL)
    1. Almacenamiento de archivos (backups)
    2. Conecta un sistema de backups de cintas a un sistema de cintas virtuales
    3. Los virtual tapes son enviados a S3
    4. Soportado por NetBackup, Backup Exec, Veam, etc
Amazon Simple Storage Service (S3)
1. Concepts
  1. Amazon Simple Storage Service (S3) es un servicio de almacenamiento de objetos. Amazon S3 pone los datos a disposición de los usuarios a través de una API de Internet a la que se puede acceder desde cualquier parte.
  2. Servicio de almacenamiento de objectos que ofrece excelente durabilidad 99,999999999 % (11 nueves), disponibilidad, rendimiento, seguridad y escalabilidad prácticamente ilimitada a costos muy reducidos
  3. Bucket
    1. Los buckets deben tener un nombre único global
    2. Los buckets se definen a nivel de región
    3. Nomenclatura del bucket
      1. No uppercase
      2. No underscore
      3. 3 63 characters long
      4. Not an IP
      5. Debe comenzar con letra minúscula o número
    4. Control de acceso (crear, eliminar y enlistar objetos en el bucket)
    5. Hasta 100 buckets en cada una de sus cuentas de AWS
  4. Objetos
    1. Los objetos (archivos) tienen una clave. La clave es la ruta COMPLETA
    2. Los valores de objeto son el contenido del cuerpo
      1. Max Size is 5TB
      2. El objeto más grande que se puede cargar en un solo PUT es de 5 GB
      3. Para objetos con un tamaño superior a 100 MB, los clientes deben pensar en utilizar la capacidad de carga multiparte.
    3. Metadatos (lista de pares de clave de texto / valor del sistema o metadatos de usuario)
    4. Etiquetas (clave Unicode / par de valor hasta 10) útiles para la seguridad / ciclo de vida
    5. ID de versión (si el control de versiones está habilitado)
  5. Tipos de solicitudes: PUT, COPY, POST, LIST, GET, SELECT, Transición de ciclo de vida y Recuperaciones de datos
2. Seguridad
  1. Políticas basadas en recursos
    1. Políticas de bucket
      1. control de acceso centralizado a buckets y objetos en función de una variedad de condiciones, incluidas las operaciones de S3, los solicitantes, los recursos y los aspectos de la solicitud (por ejemplo, la dirección IP).
    2. Access Control Lists
      1. Solo puede conceder permisos a otras cuentas de AWS, no a los usuarios de su cuenta.
      2. Las ACL utilizan un esquema XML específico de S3.
  2. User Policies
    1. WS IAM (see AWS Security and Identity Services)
      1. IAM User Access Keys
      2. Temporary Security Credential
  3. Versioning
    1. control de versiones para mantener varias versiones de un objeto en un bucket
  4. Encryption
    1. Server-side Encryption
      1. Amazon S3-Managed Keys (SSE-S3)
      2. AWS KMS-Managed Keys (SSE-KMS)
      3. Customer-Provided Keys (SSE-C)
    2. Client-side Encryption
      1. AWS KMS-managed customer master key
      2. client-side master key
    3. MFA Delete
      1. Cambiar el estado de control de versiones del bucket
      2. Eliminar permanentemente una versión de objeto
3. Precios
  1. Factores de cobro
    1. Almacenamiento utilizado
    2. Recuperaciones de solicitudes y datos.
    3. Transferencia de datos
    4. Administración y replicación
4. Classes
  1. Estándar
    1. “Hot” Data Active and/or Temporary Data
    2. Clase por defecto, se paga GBxmes
    3. Tiempo de recuperación Inmediata milisegundos
    4. Replicación en 3 AZs
  2. Acceso poco frecuente (IA)
    1. "Warm” Data
    2. Tiempo de recuperación Inmediata milisegundos
    3. Replicación en 3 AZs
    4. Cobro
      1. GB/Mes almacenados
      2. GB/Mes Recuperados
  3. Única Zona - Acceso poco frecuente
    1. “Warm” Data Non-critical Data
    2. Disponibilidad 99.5%
    3. Tiempo de recuperación Inmediata milisegundos
    4. costs 20% less than S3 Standard-IA.
    5. Casos de Uso: Storing secondary backup copies of on premise data, or storing data you can recreate
  4. S3 Intelligent Tiering
    1. Monitorea los patrones de acceso y mueve automáticamente los objetos en diferentes clases se puede ahorrar hasta un 68 % en costos de almacenamiento
    2. Tiempo de recuperación Inmediata milisegundos
    3. Cargo mensual de monitoreo y automatización de objeto
    4. Casos de Uso: lagos de datos, análisis de datos, machine learning, nuevas aplicaciones y contenido generado por el usuario
  5. S3 Glacier
    1. Instant Retrieval
      1. Recuperación de datos en milisegundos con el mismo rendimiento que S3 Standard
      2. ahorrar hasta un 68 % en comparación con el uso del acceso poco frecuente estándar de S3 (S3 Standard-IA)
    2. Flexible Retrieval
      1. Configurable retrieval times, from minutes to hours, with free bulk retrievals
      2. Bajo costo, hasta un 10% menos de costo (que S3 Glacier Instant Retrieval)
    3. Deep Archive
      1. Menor costo diseñada para la retención a largo plazo de datos que se conservarán durante 7-10 años
      2. Alternativa ideal para las bibliotecas de cintas magnéticas
      3. Tiempo de recuperación dentro de las 12 horas
Amazon Elastic File Sytem (EFS)
1. Amazon EFS es un servicio de almacenamiento de archivos para utilizar con computación de Amazon (EC2, contenedores, sin servidor) y servidores locales. EFS proporciona una interfaz de sistema de archivos, semántica de acceso a dicho sistema (como coherencia sólida y bloqueo de archivos) y almacenamiento accesible de forma simultánea para miles de instancias de EC2.
2. Sistema de archivos elástico simple, sin servidor, listo para usar que le permite compartir datos de archivos sin aprovisionar ni administrar el almacenamiento, soportan las instancias EC2 que ejecuten Linux o MacOS Big Sur. Windows no es compatible. Escalabilidad a petabytes bajo demanda
3. Almacena de forma redundante todos los objetos del sistema de archivos (en otras palabras, un directorio, un archivo y un vínculo) en varias zonas de disponibilidad (AZ) de una región
4. Compatible con NFS v4.0 y 4.1 Network File System
5. Casos de Uso
  1. Análisis de big data,
  2. Administración de contenidos
  3. Servicio web
  4. Desarrollo y las pruebas de aplicaciones
  5. Copias de seguridad de bases de datos
6. Mount Targets
  1. Para acceder al sistema de archivos EFS en una VPC, cree uno o más destinos de montaje en la VPC. Un destino de montaje proporciona una dirección IP para un extremo NFSv4.
  2. Puede crear un destino de montaje en cada zona de disponibilidad de una región.
7. Precio
  1. Almacenamiento utilizado GB/mes
  2. Los costos relacionados con el rendimiento aprovisionad
8. Clases de Almacenamiento
  1. EFS Estándar
  2. EFS Estándar - Acceso poco frecuente (EFS Standard-IA)
    1. Ahorrar hasta un 47%
  3. EFS Única zona
  4. EFS Única zona - Acceso poco frecuente (EFS One Zone-IA).
  5. Amazon EFS Intelligent-Tiering
    1. Ahorrar costes automáticos para las cargas de trabajo con patrones de acceso cambiantes
Amazon Elastic Block Storage (EBS)
1. Amazon Elastic Block Store (EBS) es un servicio de almacenamiento por bloques para utilizar con EC2. Amazon EBS puede ofrecer rendimiento para cargas de trabajo que requieran acceso con la mínima latencia a los datos desde una única instancia de EC2.
2. Volúmenes de almacenamiento a nivel de bloque con un sistema de archivos de disco de Instancias EC2 (FAT32, NTFS, ext3, ext4, XFS..-)
3. Se pueden montar varios volúmenes en la misma instancia
4. Con EBS puede ser detenido, los datos no se pierden si esta operación se realiza
5. No se puede conectar a ninguna instancia EC2 o a una instancia EC2 a la vez
6. Los volúmenes se crean en una zona de disponibilidad específica y se pueden adjuntar a cualquier instancia de esa misma zona de disponibilidad
7. Casos de Uso
  1. Almacenamiento de información primario para file systems, bases de datos o para cualquier aplicación que requiera actualizaciones granulares finas y acceso a almacenamiento sin formato, sin formato y a nivel de bloque.
8. Instance Store
  1. Root Volumen: almacenaje efímero, si la instancia es Detenida o Terminada , se borra los datos almacenados
9. EBS Snapshots (Instantánea)
  1. Copias de seguridad de los datos de los volúmenes de EBS en S3 tomando instantáneas puntuales.
  2. Son incrementales, se guardan los datos que han cambiado después del snapshot más reciente.
  3. Puede crear instantáneas puntuales de volúmenes de EBS, que se conservan en Amazon S3. Similar a las AMI. Las instantáneas se pueden copiar en todas las regiones de AWS.
10. Con AWS Backup se automatiza la programación de copias de seguridad, establecer políticas de retención y supervisar la actividad de copia de seguridad y restauración
11. Tipos de Volúmenes de EBS
  1. General Purpose SSD
    1. gp3, gp2
    2. Tamaño Max: 1 GiB - 16 TiB
    3. IOPS Max: 16,000
    4. Casos de Usos
      1. Volúmenes de arranque
      2. Cargas de trabajo transaccionales
      3. Escritorios virtuales
      4. Aplicaciones interactivas de baja latencia
      5. Bases de datos de tamaño mediano y una sola instancia
      6. Entornos de desarrollo y pruebas
  2. Provisioned IOPS SSD
    1. io2, io1
    2. Tamaño Max: 4 GiB - 16 TiB
    3. IOPS Max: 64 000
    4. Casos de Uso
      1. Cargas de trabajo que requieren un rendimiento sostenido de IOPS o más de 16,000 IOPS
      2. Cargas de trabajo de bases de datos con uso intensivo de operaciones de E/S
    5. io2 Block Express ‡
      1. Tamaño Max: 4 GiB - 64 TiB
      2. IOPS Max: 256 000
      3. Casos de Uso
      4. Latencia inferior a milisegundos
      5. Rendimiento de IOPS sostenido
      6. Más de 64 000 IOPS o 1000 MiB/s de rendimiento
  3. HDD con rendimiento optimizado
    1. st1
    2. Tamaño Max: 125 GiB - 16 TiB
    3. IOPS Max: 500
    4. Ancho de banda Max: 500Mib/s
    5. Casos de uso
      1. Big data
      2. Data warehouses
      3. Procesamiento de registros
  4. HDD en frío
    1. sc1
    2. Tamaño Max: 125 GiB - 16 TiB
    3. IOPS Max: 250
    4. Ancho de banda Max: 250Mib/s
    5. Casos de Uso
      1. Almacenamiento orientado al rendimiento para datos a los que se accede con poca frecuencia
      2. Escenarios en los que es importante el costo de almacenamiento más bajo
Amazon FSx
1. Solución de sistema de archivos de terceros totalmente administrada. Utiliza almacenamiento SSD para proporcionar un rendimiento rápido con baja latencia.
2. Sistema de archivos Microsoft Windows con soporte completo para el protocolo SMB, Windows NTFS y la integración de Microsoft Active Directory (AD).
3. Integración con servicios de cómputo
  1. Amazon EC2
  2. Amazon Workspaces instances
  3. Amazon AppStream 2.0 instances
  4. VMs running in VMWare Cloud on AWS Environments
  5. Funciona con Microsoft Active Directory (AD) para integrar el sistema de archivos con los entornos Windows existentes.
  6. Recurso compartido de archivos de Microsoft Windows
  7. Admite el uso de AWS Direct Connect o AWS VPN para obtener acceso a sus sistemas de archivos desde sus instancias informáticas locales.
4. Otros FSx para Lustre, NetApp ONTAP, OpenZFS
AWS Snow Family
1. Dispositivo físicos para transferir petabytes de datos hacia y desde AWS o procesar los datos en el borde.
2. Migración de datos sin conexión
3. Los datos se colocarán en el bucket de Amazon S3 especificado
4. Tipos
  1. AWS Snowcone
    1. Peso de 2,1 kg
    2. HDD, con 8 TB
    3. SSD, con 14 TB
    4. 2 x puertos Ethernet de 1 Gb o 10 Gb.
  2. AWS Snowball
    1. Peso de 22,3 kg
    2. compatible con NFS v3 y v4.1,
    3. 10 Gbps a 100 Gbps con interfaces ópticas y de cobre RJ45, SFP+ y QSFP+
    4. Snowball Edge Compute Optimized
      1. Proporciona potentes recursos de computación para casos de uso como el machine learning, el análisis de video de movimiento total, el análisis y las pilas de informática locales
      2. 42 TB de capacidad HDD
    5. Snowball Edge Storage Optimized
      1. Equipados para las migraciones de datos a gran escala y los flujos de trabajo de transferencia recurrente
      2. 80 TB de capacidad HDD
  3. AWS Snowmobile
    1. Migrar o transportar conjuntos de datos a escala de exabytes hacia y desde AWS
    2. Puede transferir hasta 100 PB
    3. Camión semitráiler
AWS Backup
1. Administrar y automatizar las copias de seguridad de manera centralizada en los servicios de AWS
2. Servicios: EC2, EBS, S3, RDS,, DynamoDB, Neptune, DocumentDB, EFS, FSx (todos), Storage Gateway, Outposts, VMware Cloud
AWS Transfer Family
1. Transferencia de archiso simple y sin problemas a Amazon S3 y EBS con protocolos SFTP, FTPS y FTP
AWS DataSync
1. Transferencia de datos online que optimiza el Ancho de Banda de Red y acelera el movimientos de datos entre los sistemas almacenamientos de AWS y las instalaciones locales
2. Agent: conexiones NFS, SMB, S3 API, HDFS