Amazon Web Services ha ampliato la presenza geografica della sua piattaforma di integrazione dati serverless, rendendo AWS Glue 5.1 disponibile a livello globale a seguito del suo rilascio nella regione AWS European Sovereign Cloud. Questo aggiornamento porta l’ultima versione del servizio scalabile di preparazione e individuazione dei dati all’interno di ambienti altamente regolamentati, allineando le operazioni regionali con il set completo di funzionalità precedentemente lanciato sulle infrastrutture commerciali standard e AWS GovCloud.
Aggiornamenti del motore principale e runtime modernizzati
Al centro del rilascio di AWS Glue 5.1 vi è la modernizzazione dei motori di esecuzione sottostanti e degli ambienti di runtime. Gli ingegneri dei dati e i team di analisi che operano all’interno dei confini sovrani possono ora sfruttare incrementi di prestazioni, cicli di supporto a lungo termine e moderne funzionalità dei linguaggi di programmazione senza sacrificare la conformità normativa.
Il pacchetto di aggiornamento modernizza lo stack software di base con i seguenti componenti principali:
- Apache Spark 3.5.6: Offre miglioramenti fondamentali delle prestazioni, una pianificazione delle query potenziata e capacità di esecuzione moderne per carichi di lavoro di elaborazione dati su larga scala.
- Python 3.11: Garantisce velocità di esecuzione superiori e una gestione degli errori migliorata per script PySpark personalizzati e pipeline di trasformazione dei dati.
- Scala 2.12.18: Fornisce agli sviluppatori una solida compatibilità linguistica e opzioni di compilazione ottimizzate per applicazioni aziendali basate su Scala.
Supporto avanzato per formati di tabelle aperte
Le moderne architetture data lakehouse si affidano a formati di tabelle aperte per fornire transazioni ACID, time travel ed evoluzione dello schema sopra lo storage a oggetti cloud. AWS Glue 5.1 approfondisce l’integrazione nativa con i principali formati di tabelle open source, garantendo che le organizzazioni operanti nella European Sovereign Cloud possano costruire architetture basate su standard di settore.
La piattaforma introduce aggiornamenti cruciali per l’ecosistema su diversi framework di storage:
- Apache Iceberg 1.10.0: Introduce strumenti aggiornati e ottimizzazioni per la gestione di dataset analitici di grandi dimensioni.
- Apache Iceberg Format Version 3.0: Introduce funzionalità avanzate come valori di colonna predefiniti, vettori di eliminazione per tabelle merge-on-read ottimizzate, trasformazioni a argomenti multipli e tracciamento granulare della genealogia delle righe.
- Apache Hudi 1.0.2: Migliora le prestazioni di acquisizione dati ad alta frequenza e di elaborazione incrementale.
- Delta Lake 3.3.2: Offre maggiore affidabilità e compatibilità per le pipeline lakehouse basate su Delta.
Sicurezza granulare e controllo degli accessi
La sicurezza e la governance rimangono prioritarie per i carichi di lavoro distribuiti in ambienti cloud sovrani. AWS Glue 5.1 affronta queste esigenze ampliando l’ambito del controllo degli accessi granulare di AWS Lake Formation. Precedentemente limitato alle sole operazioni di lettura, ora gli amministratori della sicurezza possono applicare regole di accesso dettagliate sulle operazioni di scrittura, che comprendono sia l’esecuzione di Data Manipulation Language (DML) che di Data Definition Language (DDL), per Spark DataFrame e Spark SQL.
Inoltre, il rilascio introduce funzionalità di controllo degli accessi all’intera tabella all’interno di Apache Spark specificamente per le tabelle Apache Hudi e Delta Lake. Queste aggiunte colmano storiche lacune di governance, fornendo un framework per proteggere le pipeline di dati dall’acquisizione fino alla trasformazione e allo storage finale.
Disponibilità e primi passi
Con questa espansione regionale, AWS Glue 5.1 raggiunge la disponibilità universale in tutte le regioni commerciali AWS, nelle regioni AWS GovCloud (US) e nella AWS European Sovereign Cloud. I team di sviluppo e data engineering possono configurare e gestire i carichi di lavoro utilizzando canali standard di automazione e distribuzione.
Gli ingegneri possono avviare e configurare i flussi di lavoro di AWS Glue 5.1 tramite le API AWS, la CLI di AWS, l’SDK AWS o l’interfaccia visiva di AWS Glue Studio. Guide di integrazione dettagliate e note di rilascio complete sono accessibili tramite i canali di documentazione tecnica ufficiale AWS.
Fonte: Articolo originale
