Amazon Web Services ha ampliado la huella geográfica de su plataforma de integración de datos sin servidor, haciendo que AWS Glue 5.1 esté disponible a nivel global tras su despliegue en la región de la Nube Soberana Europea de AWS. Esta implementación lleva la última versión del servicio escalable de preparación y descubrimiento de datos a entornos regulatorios estrictos, alineando las operaciones regionales con el conjunto completo de características lanzado previamente en la infraestructura comercial estándar y de AWS GovCloud.
Actualizaciones del motor principal y entornos de ejecución modernizados
En el núcleo de la versión de AWS Glue 5.1 se encuentra la modernización de sus motores de ejecución subyacentes y entornos de ejecución. Los ingenieros de datos y los equipos de análisis que trabajan dentro de los límites soberanos ahora pueden aprovechar las mejoras de rendimiento, los ciclos de soporte a largo plazo y las características modernas de los lenguajes de programación sin sacrificar el cumplimiento normativo.
El paquete de actualización moderniza la pila de software fundamental con los siguientes componentes principales:
- Apache Spark 3.5.6: Proporciona mejoras de rendimiento fundamentales, planificación de consultas mejorada y capacidades de ejecución modernas para cargas de trabajo de procesamiento de datos a gran escala.
- Python 3.11: Ofrece velocidades de ejecución más rápidas y un manejo de errores mejorado para scripts personalizados de PySpark y canales de transformación de datos.
- Scala 2.12.18: Ofrece a los desarrolladores una compatibilidad de lenguaje sólida y opciones de compilación optimizadas para aplicaciones empresariales basadas en Scala.
Compatibilidad avanzada con formatos de tabla abierta
Las arquitecturas modernas de data lakehouse se basan en formatos de tabla abierta para proporcionar transacciones ACID, viaje en el tiempo y evolución de esquemas sobre el almacenamiento de objetos en la nube. AWS Glue 5.1 profundiza su integración nativa con los principales formatos de tabla de código abierto, lo que garantiza que las organizaciones que operan en la Nube Soberana Europea puedan construir arquitecturas utilizando estándares de la industria.
La plataforma introduce actualizaciones críticas del ecosistema en múltiples marcos de almacenamiento:
- Apache Iceberg 1.10.0: Aporta herramientas actualizadas y optimizaciones para gestionar conjuntos de datos analíticos masivos.
- Apache Iceberg Format Version 3.0: Introduce capacidades avanzadas como valores de columna predeterminados, vectores de eliminación para tablas optimizadas de tipo merge-on-read, transformaciones de múltiples argumentos y seguimiento granular del linaje de filas.
- Apache Hudi 1.0.2: Mejora el rendimiento de ingesta de datos de alta frecuencia y procesamiento incremental.
- Delta Lake 3.3.2: Ofrece mayor fiabilidad y compatibilidad para canales de lakehouse basados en Delta.
Seguridad granular y control de acceso
La seguridad y la gobernanza siguen siendo primordiales para las cargas de trabajo desplegadas en entornos de nube soberana. AWS Glue 5.1 aborda estas preocupaciones ampliando el alcance del control de acceso detallado de AWS Lake Formation. Anteriormente restringido a operaciones de solo lectura, los administradores de seguridad ahora pueden aplicar reglas de acceso detalladas en operaciones de escritura —que abarcan tanto ejecuciones del Lenguaje de Manipulación de Datos (DML) como del Lenguaje de Definición de Datos (DDL)— para DataFrames de Spark y Spark SQL.
Además, la versión introduce capacidades de control de acceso a nivel de tabla completa dentro de Apache Spark específicamente para las tablas de Apache Hudi y Delta Lake. Estas incorporaciones cierran brechas históricas de gobernanza, proporcionando un marco para asegurar los canales de datos desde la ingesta hasta la transformación y el almacenamiento final.
Disponibilidad y primeros pasos
Con esta expansión regional, AWS Glue 5.1 logra disponibilidad universal en todas las regiones comerciales de AWS, regiones de AWS GovCloud (EE. UU.) y la Nube Soberana Europea de AWS. Los equipos de desarrollo e ingeniería de datos pueden aprovisionar y gestionar cargas de trabajo utilizando canales estándar de automatización y despliegue.
Los ingenieros pueden inicializar y configurar los flujos de trabajo de AWS Glue 5.1 utilizando las APIs de AWS, la AWS CLI, el AWS SDK o la interfaz visual de AWS Glue Studio. Las guías de integración detalladas y las notas de la versión completas se pueden consultar a través de los canales de documentación técnica oficial de AWS.
Fuente: Artículo original
