A Amazon Web Services expandiu a presença geográfica da sua plataforma serverless de integração de dados, tornando o AWS Glue 5.1 globalmente disponível após a sua implementação na região da AWS European Sovereign Cloud. Esta implementação traz a versão mais recente do serviço escalável de preparação e descoberta de dados para ambientes regulatórios rigorosos, alinhando as operações regionais com o conjunto completo de recursos lançado anteriormente em infraestruturas comerciais padrão e no AWS GovCloud.
Atualizações do Motor Principal e Ambientes de Execução Modernizados
No centro do lançamento do AWS Glue 5.1 está a modernização dos seus motores de execução subjacentes e ambientes de execução. Engenheiros de dados e equipas de analistas que trabalham dentro de limites soberanos podem agora tirar partido de melhorias de desempenho, ciclos de suporte de longo prazo e recursos modernos de linguagem de programação, sem sacrificar a conformidade regulatória.
O pacote de atualização moderniza a pilha de software fundamental com os seguintes componentes principais:
- Apache Spark 3.5.6: Oferece melhorias fundamentais de desempenho, planeamento de consultas aprimorado e recursos modernos de execução para cargas de trabalho de processamento de dados em larga escala.
- Python 3.11: Proporciona velocidades de execução mais rápidas e um tratamento de erros melhorado para scripts PySpark personalizados e pipelines de transformação de dados.
- Scala 2.12.18: Oferece aos programadores uma compatibilidade de linguagem robusta e opções de compilação otimizadas para aplicações empresariais baseadas em Scala.
Suporte Avançado para Formatos de Tabela Aberta
As arquiteturas modernas de data lakehouse dependem de formatos de tabela aberta para fornecer transações ACID, viagem no tempo (time travel) e evolução de esquemas sobre o armazenamento de objetos em nuvem. O AWS Glue 5.1 aprofunda a sua integração nativa com os principais formatos de tabela de código aberto, garantindo que as organizações que operam na Nuvem Soberana Europeia possam construir arquiteturas utilizando os padrões da indústria.
A plataforma introduz atualizações cruciais no ecossistema em vários frameworks de armazenamento:
- Apache Iceberg 1.10.0: Traz ferramentas atualizadas e otimizações para a gestão de conjuntos de dados analíticos massivos.
- Apache Iceberg Format Version 3.0: Introduz recursos avançados, como valores de coluna padrão, vetores de exclusão para tabelas otimizadas do tipo merge-on-read, transformações de múltiplos argumentos e rastreio granular da linhagem de linhas.
- Apache Hudi 1.0.2: Melhora o desempenho de ingestão de dados de alta frequência e processamento incremental.
- Delta Lake 3.3.2: Fornece maior fiabilidade e compatibilidade para pipelines de lakehouse baseados em Delta.
Segurança Granular e Controlo de Acesso
A segurança e a governação continuam a ser fundamentais para cargas de trabalho implementadas em ambientes de nuvem soberana. O AWS Glue 5.1 aborda estas questões ao expandir o âmbito do controlo de acesso granular do AWS Lake Formation. Anteriormente restrito a operações de leitura, os administradores de segurança podem agora aplicar regras de controlo de acesso granular em operações de escrita — abrangendo execuções de Data Manipulation Language (DML) e Data Definition Language (DDL) — para Spark DataFrames e Spark SQL.
Além disso, o lançamento introduz capacidades de controlo de acesso a tabelas completas no Apache Spark especificamente para tabelas Apache Hudi e Delta Lake. Estas adições colmatam lacunas históricas de governação, fornecendo um framework para proteger pipelines de dados desde a ingestão até à transformação e armazenamento final.
Disponibilidade e Primeiros Passos
Com esta expansão regional, o AWS Glue 5.1 alcança disponibilidade universal em todas as regiões comerciais da AWS, regiões do AWS GovCloud (EUA) e na Nuvem Soberana Europeia da AWS. As equipas de desenvolvimento e engenharia de dados podem provisionar e gerir cargas de trabalho utilizando canais padrão de automação e implementação.
Os engenheiros podem inicializar e configurar fluxos de trabalho do AWS Glue 5.1 utilizando as APIs da AWS, a AWS CLI, o AWS SDK ou a interface visual do AWS Glue Studio. Guias de integração detalhados e notas de lançamento abrangentes estão acessíveis através dos canais oficiais de documentação técnica da AWS.
Fonte: Artigo original
