Компания Amazon Web Services расширила географическое присутствие своей бессерверной платформы интеграции данных, сделав AWS Glue 5.1 общедоступным после его развертывания в регионе AWS European Sovereign Cloud. Этот релиз переносит последнюю итерацию масштабируемой службы подготовки и обнаружения данных в условия строгого регулирования, приводя региональные операции в соответствие с полным набором функций, ранее запущенным в стандартной коммерческой инфраструктуре и инфраструктуре AWS GovCloud.
Обновления базового движка и модернизированные среды выполнения
В основе релиза AWS Glue 5.1 лежит модернизация базовых движков выполнения и сред выполнения. Инженеры данных и аналитические команды, работающие в суверенных границах, теперь могут использовать прирост производительности, циклы долгосрочной поддержки и современные возможности языков программирования без ущерба для соблюдения нормативных требований.
Пакет обновлений модернизирует базовый программный стек следующими ключевыми компонентами:
- Apache Spark 3.5.6: Обеспечивает фундаментальные улучшения производительности, расширенное планирование запросов и современные возможности выполнения для масштабных рабочих нагрузок по обработке данных.
- Python 3.11: Обеспечивает более высокую скорость выполнения и улучшенную обработку ошибок для пользовательских скриптов PySpark и конвейеров трансформации данных.
- Scala 2.12.18: Предлагает разработчикам надежную совместимость языков и оптимизированные параметры компиляции для корпоративных приложений на базе Scala.
Расширенная поддержка открытых форматов таблиц
Современные архитектуры дата-озёр (lakehouse) опираются на открытые форматы таблиц для обеспечения транзакций ACID, путешествий во времени (time travel) и эволюции схем поверх облачного объектного хранилища. AWS Glue 5.1 углубляет свою нативную интеграцию с ведущими форматами таблиц с открытым исходным кодом, гарантируя, что организации, работающие в Европейском суверенном облаке, смогут создавать архитектуры с использованием отраслевых стандартов.
Платформа представляет критически важные обновления экосистемы для нескольких платформ хранения:
- Apache Iceberg 1.10.0: Предоставляет обновленный инструментарий и оптимизации для управления огромными аналитическими наборами данных.
- Apache Iceberg Format Version 3.0: Включает расширенные возможности, такие как значения столбцов по умолчанию, векторы удаления для оптимизированных таблиц в режиме merge-on-read, многоаргументные преобразования и детализированное отслеживание происхождения строк.
- Apache Hudi 1.0.2: Повышает производительность высокочастотного приема данных и инкрементной обработки.
- Delta Lake 3.3.2: Обеспечивает повышенную надежность и совместимость для конвейеров lakehouse на базе Delta.
Детализированная безопасность и контроль доступа
Безопасность и управление остаются первостепенными для рабочих нагрузок, развертываемых в средах суверенного облака. AWS Glue 5.1 решает эти задачи путем расширения сферы применения детализированного контроля доступа AWS Lake Formation. Ранее ограниченные операциями только для чтения, администраторы безопасности теперь могут применять правила детализированного доступа к операциям записи, охватывающим как выполнение языков манипулирования данными (DML), так и определения данных (DDL), для датафреймов Spark и Spark SQL.
Кроме того, релиз представляет возможности контроля доступа к таблицам целиком в Apache Spark специально для таблиц Apache Hudi и Delta Lake. Эти дополнения устраняют исторические пробелы в управлении, обеспечивая основу для защиты конвейеров данных от приема до трансформации и окончательного хранения.
Доступность и начало работы
Благодаря этому региональному расширению AWS Glue 5.1 достигает универсальной доступности во всех коммерческих регионах AWS, регионах AWS GovCloud (США) и Европейском суверенном облаке AWS. Команды разработки и инженерии данных могут подготавливать рабочие нагрузки и управлять ими с помощью стандартных каналов автоматизации и развертывания.
Инженеры могут инициализировать и настраивать рабочие процессы AWS Glue 5.1 с помощью AWS APIs, AWS CLI, AWS SDK или визуального интерфейса AWS Glue Studio. Подробные руководства по интеграции и исчерпывающие примечания к выпуску доступны через официальные каналы технической документации AWS.
Источник: Оригинальная статья
