Amazon Web Services a élargi l’empreinte géographique de sa plateforme d’intégration de données sans serveur en rendant AWS Glue 5.1 disponible à l’échelle mondiale suite à son déploiement dans la région du Cloud Souverain Européen d’AWS. Ce déploiement apporte la dernière version du service évolutif de préparation et de découverte de données aux environnements réglementaires stricts, alignant les opérations régionales sur l’ensemble des fonctionnalités précédemment lancées sur les infrastructures commerciales standard et AWS GovCloud.
Mises à niveau du moteur principal et environnements d’exécution modernisés
Au cœur de la version d’AWS Glue 5.1 se trouve la modernisation de ses moteurs d’exécution sous-jacents et de ses environnements d’exécution. Les ingénieurs de données et les équipes d’analytique travaillant dans les limites souveraines peuvent désormais tirer parti de gains de performance, de cycles de support à long terme et de fonctionnalités de langages de programmation modernes sans sacrifier la conformité réglementaire.
Le pack de mise à niveau modernise la pile logicielle fondamentale avec les composants principaux suivants :
- Apache Spark 3.5.6 : Fournit des améliorations fondamentales de performance, une planification de requêtes optimisée et des capacités d’exécution modernes pour les charges de travail de traitement de données à grande échelle.
- Python 3.11 : Offre des vitesses d’exécution plus rapides et une gestion des erreurs améliorée pour les scripts PySpark personnalisés et les pipelines de transformation de données.
- Scala 2.12.18 : Propose aux développeurs une compatibilité linguistique robuste et des options de compilation optimisées pour les applications d’entreprise basées sur Scala.
Prise en charge avancée des formats de tables ouverts
Les architectures modernes de lac de données (data lakehouse) s’appuient sur des formats de tables ouverts pour fournir des transactions ACID, le voyage dans le temps (time travel) et l’évolution des schémas par-dessus le stockage d’objets cloud. AWS Glue 5.1 approfondit son intégration native avec les principaux formats de tables open source, garantissant aux organisations opérant dans le Cloud Souverain Européen la possibilité de concevoir des architectures basées sur les standards de l’industrie.
La plateforme introduit des mises à jour cruciales de l’écosystème à travers de multiples frameworks de stockage :
- Apache Iceberg 1.10.0 : Apporte des outils mis à jour et des optimisations pour la gestion de jeux de données analytiques massifs.
- Format Apache Iceberg Version 3.0 : Introduit des fonctionnalités avancées telles que les valeurs de colonnes par défaut, les vecteurs de suppression pour les tables optimisées en fusion à la lecture (merge-on-read), les transformations à arguments multiples et le suivi granulaire de la lignée des lignes.
- Apache Hudi 1.0.2 : Améliore les performances d’ingestion de données à haute fréquence et de traitement incrémentiel.
- Delta Lake 3.3.2 : Offre une fiabilité et une compatibilité accrues pour les pipelines de lac de données basés sur Delta.
Sécurité granulaire et contrôle d’accès
La sécurité et la gouvernance restent primordiales pour les charges de travail déployées dans des environnements de cloud souverain. AWS Glue 5.1 répond à ces préoccupations en élargissant la portée du contrôle d’accès fin d’AWS Lake Formation. Auparavant limité aux opérations en lecture seule, les administrateurs de sécurité peuvent désormais appliquer des règles d’accès granulaires aux opérations d’écriture — englobant à la fois les exécutions DML (Data Manipulation Language) et DDL (Data Definition Language) — pour les DataFrames Spark et Spark SQL.
De plus, cette version introduit des capacités de contrôle d’accès aux tables complètes au sein d’Apache Spark, spécifiquement pour les tables Apache Hudi et Delta Lake. Ces ajouts comblent des lacunes historiques en matière de gouvernance, fournissant un cadre pour sécuriser les pipelines de données de l’ingestion jusqu’à la transformation et au stockage final.
Disponibilité et prise en main
Avec cette expansion régionale, AWS Glue 5.1 atteint une disponibilité universelle dans toutes les régions commerciales d’AWS, les régions AWS GovCloud (US) et le Cloud Souverain Européen d’AWS. Les équipes de développement et d’ingénierie des données peuvent provisionner et gérer les charges de travail en utilisant des canaux d’automatisation et de déploiement standard.
Les ingénieurs peuvent initialiser et configurer les flux de travail d’AWS Glue 5.1 à l’aide des API AWS, de l’AWS CLI, du SDK AWS ou de l’interface visuelle d’AWS Glue Studio. Des guides d’intégration détaillés et des notes de version complètes sont accessibles via les canaux de documentation technique officielle d’AWS.
Source : Article original
