Amazon Web Services, sunucusuz veri entegrasyonu platformunun coğrafi kapsamını genişleterek AWS Glue 5.1 sürümünü, AWS Avrupa Egemen Bulut Bölgesi‘ndeki dağıtımının ardından küresel çapta kullanıma sundu. Bu sunum, ölçeklenebilir veri hazırlama ve keşif hizmetinin en son yinelemesini sıkı düzenleyici ortamlara taşıyarak bölgesel operasyonları, standart ticari ve AWS GovCloud altyapılarında daha önce kullanıma sunulan eksiksiz özellik setiyle uyumlu hale getiriyor.
Temel Motor Yükseltmeleri ve Modernize Edilmiş Çalışma Zamanları
AWS Glue 5.1 sürümünün merkezinde, temel yürütme motorlarının ve çalışma zamanı ortamlarının modernize edilmesi yer alıyor. Egemen sınırlar içinde çalışan veri mühendisleri ve analitik ekipleri, artık yasal uyumluluktan ödün vermeden performans artışlarından, uzun vadeli destek döngülerinden ve modern programlama dili özelliklerinden yararlanabilir.
Yükseltme paketi, temel yazılım yığınını aşağıdaki çekirdek bileşenlerle modernize ediyor:
- Apache Spark 3.5.6: Büyük ölçekli veri işleme iş yükleri için temel performans iyileştirmeleri, gelişmiş sorgu planlaması ve modern yürütme yetenekleri sağlar.
- Python 3.11: Özel PySpark betikleri ve veri dönüştürme hatları için daha hızlı yürütme hızları ve geliştirilmiş hata yönetimi sunar.
- Scala 2.12.18: Kurumsal Scala tabanlı uygulamalar için geliştiricilere güçlü dil uyumluluğu ve optimize edilmiş derleme seçenekleri sunar.
Gelişmiş Açık Tablo Formatı Desteği
Modern veri gölü ambarı mimarileri; bulut nesne depolama üzerinde ACID işlemleri, zaman yolculuğu (time travel) ve şema evrimi sağlamak için açık tablo formatlarına güvenir. AWS Glue 5.1, önde gelen açık kaynaklı tablo formatlarıyla yerel entegrasyonunu derinleştirerek Avrupa Egemen Bulut’ta faaliyet gösteren kuruluşların endüstri standartlarını kullanarak mimariler oluşturabilmesini sağlar.
Platform, birden fazla depolama çerçevesinde kritik ekosistem güncellemeleri sunar:
- Apache Iceberg 1.10.0: Devasa analitik veri kümelerini yönetmek için güncellenmiş araçlar ve optimizasyonlar getirir.
- Apache Iceberg Format Version 3.0: Varsayılan sütun değerleri, optimize edilmiş okuma anında birleştirme (merge-on-read) tabloları için silme vektörleri, çok argümanlı dönüşümler ve ayrıntılı satır soy kütüğü takibi gibi gelişmiş özellikler sunar.
- Apache Hudi 1.0.2: Yüksek frekanslı veri alımı ve artımlı işleme performansını artırır.
- Delta Lake 3.3.2: Delta tabanlı göl ambarı hatları için gelişmiş güvenilirlik ve uyumluluk sunar.
Ayrıntılı Güvenlik ve Erişim Kontrolü
Güvenlik ve yönetişim, egemen bulut ortamlarında dağıtılan iş yükleri için en önemli öncelik olmaya devam etmektedir. AWS Glue 5.1, AWS Lake Formation ayrıntılı erişim kontrolünün kapsamını genişleterek bu endişeleri gidermektedir. Daha önce salt okunur işlemlerle sınırlı olan güvenlik yöneticileri, artık Spark DataFrames ve Spark SQL için hem Veri Manipülasyon Dili (DML) hem de Veri Tanımlama Dili (DDL) yürütmelerini kapsayan yazma işlemleri genelinde ayrıntılı erişim kuralları uygulayabilir.
Ayrıca sürüm, özellikle Apache Hudi ve Delta Lake tabloları için Apache Spark içinde tam tablo erişim kontrolü yetenekleri sunar. Bu eklemeler, geçmişteki yönetişim boşluklarını kapatarak veri hatlarının alımdan dönüşüme ve son depolamaya kadar güvenliğini sağlamak için bir çerçeve sunar.
Kullanılabilirlik ve Başlarken
Bu bölgesel genişleme ile AWS Glue 5.1; tüm AWS ticari bölgelerinde, AWS GovCloud (US) bölgelerinde ve AWS Avrupa Egemen Bulut’ta evrensel kullanıma ulaşır. Geliştirme ve veri mühendisliği ekipleri, standart otomasyon ve dağıtım kanallarını kullanarak iş yüklerini sağlayabilir ve yönetebilir.
Mühendisler, AWS Glue 5.1 iş akışlarını AWS API’leri, AWS CLI, AWS SDK veya AWS Glue Studio görsel arayüzünü kullanarak başlatabilir ve yapılandırabilir. Ayrıntılı entegrasyon kılavuzlarına ve kapsamlı sürüm notlarına resmi AWS teknik dokümantasyon kanalları üzerinden erişilebilir.
Kaynak: Orijinal Makale
