Amazon Web Services hat die geografische Reichweite seiner serverlosen Datenintegrationsplattform ausgebaut und macht AWS Glue 5.1 nach der Bereitstellung in der Region AWS European Sovereign Cloud weltweit verfügbar. Dieser Rollout bringt die neueste Version des skalierbaren Datenaufbereitungs- und Erkennungsdienstes in strenge regulatorische Umgebungen und gleicht den regionalen Betrieb an den vollständigen Funktionsumfang an, der zuvor bereits in kommerziellen Standardinfrastrukturen und der AWS GovCloud eingeführt wurde.
Wichtigste Engine-Upgrades und modernisierte Laufzeiten
Im Zentrum der Veröffentlichung von AWS Glue 5.1 steht die Modernisierung der zugrunde liegenden Ausführungs-Engines und Laufzeitumgebungen. Data-Engineering- und Analytics-Teams, die innerhalb souveräner Grenzen arbeiten, können nun von Leistungssteigerungen, langfristigen Support-Zyklen und modernen Programmiersprachenfunktionen profitieren, ohne dabei Kompromisse bei der Einhaltung gesetzlicher Vorschriften eingehen zu müssen.
Das Upgrade-Paket modernisiert den grundlegenden Software-Stack mit den folgenden Kernkomponenten:
- Apache Spark 3.5.6: Bietet grundlegende Leistungsverbesserungen, eine optimierte Abfrageplanung und moderne Ausführungsfunktionen für die Verarbeitung großer Datenmengen.
- Python 3.11: Ermöglicht schnellere Ausführungsgeschwindigkeiten und eine verbesserte Fehlerbehandlung für benutzerdefinierte PySpark-Skripte und Datentransformations-Pipelines.
- Scala 2.12.18: Bietet Entwicklern eine robuste Sprachkompatibilität und optimierte Kompilierungsoptionen für unternehmensorientierte Scala-basierte Anwendungen.
Erweiterte Unterstützung für offene Tabellenformate
Moderne Data-Lakehouse-Architekturen basieren auf offenen Tabellenformaten, um ACID-Transaktionen, Zeitreiseabfragen (Time Travel) und Schema-Evolution auf Basis von Cloud-Objektspeichern bereitzustellen. AWS Glue 5.1 vertieft seine native Integration mit führenden Open-Source-Tabellenformaten und stellt sicher, dass Unternehmen, die in der European Sovereign Cloud agieren, Architekturen mit Industriestandards aufbauen können.
Die Plattform führt wichtige Ökosystem-Updates für mehrere Speicher-Frameworks ein:
- Apache Iceberg 1.10.0: Bringt aktualisierte Tools und Optimierungen für die Verwaltung massiver analytischer Datensätze.
- Apache Iceberg Format Version 3.0: Führt erweiterte Funktionen wie Standardspaltenwerte, Löschvektoren für optimierte Merge-on-Read-Tabellen, Transformationen mit mehreren Argumenten und eine granulare Zeilenherkunftskennzeichnung (Row Lineage) ein.
- Apache Hudi 1.0.2: Verbessert die Leistung bei der Hochfrequenz-Datenaufnahme und der inkrementellen Verarbeitung.
- Delta Lake 3.3.2: Bietet erhöhte Zuverlässigkeit und Kompatibilität für Delta-basierte Lakehouse-Pipelines.
Granulare Sicherheit und Zugriffskontrolle
Sicherheit und Governance bleiben für Workloads in souveränen Cloud-Umgebungen von größter Bedeutung. AWS Glue 5.1 adressiert diese Anforderungen, indem es den Anwendungsbereich der granularen Zugriffskontrolle von AWS Lake Formation erweitert. Zunächst auf Leseoperationen beschränkt, können Sicherheitsadministratoren nun granulare Zugriffsregeln auch für Schreibvorgänge durchsetzen – dies umfasst sowohl DML- (Data Manipulation Language) als auch DDL-Ausführungen (Data Definition Language) für Spark DataFrames und Spark SQL.
Darüber hinaus führt das Release Funktionen zur Zugriffskontrolle auf Tabellenebene innerhalb von Apache Spark speziell für Tabellen vom Typ Apache Hudi und Delta Lake ein. Diese Ergänzungen schließen bisherige Governance-Lücken und bieten ein Framework zur Absicherung von Daten-Pipelines von der Erfassung über die Transformation bis hin zur finalen Speicherung.
Verfügbarkeit und erste Schritte
Mit dieser regionalen Expansion erreicht AWS Glue 5.1 eine universelle Verfügbarkeit in allen kommerziellen AWS-Regionen, den AWS-GovCloud-Regionen (US) sowie der AWS European Sovereign Cloud. Entwicklungs- und Data-Engineering-Teams können Workloads mithilfe standardmäßiger Automatisierungs- und Bereitstellungskanäle bereitstellen und verwalten.
Ingenieure können AWS-Glue-5.1-Workflows über die AWS-APIs, die AWS CLI, das AWS SDK oder die visuelle Benutzeroberfläche von AWS Glue Studio initialisieren und konfigurieren. Detaillierte Integrationsleitfäden und umfassende Release-Hinweise sind über die offiziellen technischen Dokumentationskanäle von AWS zugänglich.
Quelle: Originalartikel
