AWS koppelt Kinesis aan Apache Iceberg
AWS heeft eerder deze week een nieuwe mogelijkheid voor Kinesis Data Streams toegelicht waarmee streaming data rechtstreeks als querybare Apache Iceberg-tabellen kan worden opgeslagen in Amazon S3 Tables. Dat schrijft AWS in een blog. Met de nieuwe Streaming Tables-functionaliteit vervalt de noodzaak om hiervoor zelf datapipelines en infrastructuur te beheren.
Amazon Kinesis Data Streams wordt gebruikt om grote hoeveelheden continu binnenkomende data te verzamelen en te verwerken. Organisaties die deze streaming data in Apache Iceberg-tabellen wilden opslaan, moesten daarvoor tot nu toe zelf pipelines bouwen en beheren.
Met Streaming Tables neemt AWS dat proces over. Data uit een Kinesis-stream wordt automatisch gevalideerd aan de hand van een schema in AWS Glue Schema Registry en omgezet naar het Apache Iceberg-formaat. De gegevens worden daarbij opgeslagen als Parquet-bestanden in Amazon S3 Tables.
De data is vervolgens binnen enkele minuten beschikbaar voor analyse met onder meer Amazon Athena, Amazon Redshift, Amazon EMR, Apache Spark en Apache Flink.
Kleine bestanden
AWS probeert met de nieuwe functionaliteit ook een probleem bij het verwerken van grote hoeveelheden streaming data op te lossen. Door de continue aanvoer kunnen veel kleine bestanden ontstaan. Dat kan de prestaties van latere queries verminderen en de kosten verhogen.
Streaming Tables voert daarom automatisch inline compaction uit. Daarbij worden kleine bestanden samengevoegd tot grotere bestanden. AWS stelt dat de kosten van downstream queries hierdoor met maximaal 30 procent kunnen dalen.
Volgens AWS kunnen ook de kosten voor het leveren van data aan S3 Tables tot 50 procent lager uitvallen dan bij zelfbeheerde alternatieven. Gebruikers betalen alleen voor de daadwerkelijk geleverde data.
Volledig beheerd
Kinesis Data Streams verzorgt bij Streaming Tables onder meer het schalen, opnieuw proberen van mislukte leveringen, compaction en de betrouwbaarheid van de datalevering. Daardoor zijn volgens AWS geen eigen applicaties of afzonderlijke compute-infrastructuur nodig om de streaming data in Iceberg beschikbaar te maken.
De resulterende Iceberg-tabellen worden beheerd door Kinesis Data Streams. Ook onderhoudstaken zoals het verwijderen van verlopen snapshots en ongebruikte bestanden worden automatisch uitgevoerd.
Streaming Tables is beschikbaar in alle AWS-regio’s waar Amazon Kinesis Data Streams wordt aangeboden.
Bron: AWS
