AWS vernieuwt Glue en verlaagt prijs
AWS heeft vorige week AWS Glue 6.0 beschikbaar gemaakt. De nieuwe versie van de dienst voor data-integratie is 30 procent goedkoper en draait op Apache Spark 4.1. Dat meldt AWS op zijn site. Glue 6.0 ondersteunt ook Apache Iceberg v3.
AWS Glue is een serverless dienst voor het ontdekken, voorbereiden, verplaatsen en integreren van data uit verschillende bronnen. De nieuwe versie gebruikt Apache Spark 4.1.1, Python 3.13 en Scala 2.13.
Volgens AWS zorgt de nieuwe Spark-runtime voor betere prestaties bij het verwerken van data. Naast de prijsverlaging van 30 procent kunnen daardoor ook kortere verwerkingstijden de kosten van dataworkloads verder verlagen.
Iceberg v3
Een belangrijke uitbreiding is ondersteuning voor Apache Iceberg v3. Dit open table format wordt gebruikt voor het beheren van grote datasets in data lakes en lakehouses.
Glue 6.0 ondersteunt onder meer het VARIANT-datatype voor semigestructureerde data, deletion vectors voor wijzigingen op rijniveau, row lineage en timestamps met een nauwkeurigheid tot op nanoseconden. Ook worden geografische datatypes ondersteund.
AWS heeft daarnaast de ondersteuning voor Apache Hudi en Delta Lake bijgewerkt.
Realtime verwerking
Glue 6.0 introduceert ook Real-Time Mode voor streamingtoepassingen. Daarmee kan data volgens AWS met een vertraging van minder dan een seconde worden verwerkt. Bij stateless workloads kan de latency dalen tot enkele milliseconden.
Met Spark Declarative Pipelines kunnen ontwikkelaars daarnaast datapipelines declaratief beschrijven in plaats van de onderliggende aansturing zelf uit te werken. Ook ondersteunt de nieuwe versie Python virtual environments met caching in Amazon S3 en Arrow-native Python UDF’s om PySpark-workloads sneller uit te voeren.
Bestaande Glue-jobs kunnen naar versie 6.0 worden gemigreerd. AWS biedt hiervoor een generatieve AI-functie die bestaande Apache Spark-code analyseert op incompatibiliteiten, aanpassingen voorstelt en de gewijzigde jobs met controles op datakwaliteit valideert.
Bron: AWS
