De Apache Software Foundation (ASF), de organisatie achter meer dan 350 Open Source projecten, heeft de beschikbaarheid aangekondigd van Apache Beam 2.0.0. Dit is de eerste stabiele release van het pakket voor zowel batch- als streamverwerking van Big Data. Apache Beam wordt onder andere gebruikt door Google Cloud, PayPal en Talend.
Apache Beam vindt zijn oorsprong in Google’s interne dataverwerkingsprojecten van de afgelopen tien jaar. Het project ontwikkelde zich vanuit het oorspronkelijke MapReduce systeem, door FlumeJava en MillWheel, tot Google Cloud Dataflow v1.x dat het unified programmingmodel vastlegde, dat uiteindelijk de kern werd van Apache Beam. Apache Beam kreeg een Top-Level Project status in december 2016. Beam bevat Java en Python software development kits die worden ingezet om dataverwerkingspipelines te definiëren en programma’s die deze uitvoeren op engines als Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow.
Apache Beam versie 2.0.0 komt met verbeteringen aan de user experience, overdraagbaarheid over diverse omgevingen, waaronder engines,operating systems, on-premise clusters, cloud providers en data storagesystemen. Andere onderdelen zijn:
- Stabiliteit van API’s en toekomstige compatibiliteit met deze belangrijke versie
- Dataverwerkingparadigma’s voor efficiënte berekeningen
- Ondersteuning voor uitbreidbare bestandssystemen
- Ingebouwde ondersteuning voor Hadoop DFS
- Ingebouwde metrics voor diepgaande inzichten in uitvoeringsprotocollen.
Volgens Davor Bonaci, Vice President van het Apache Beam project, zal de stabiliteit van API’s in de toekomst gewaarborgd blijven, waardoor Beam geschikt wordt en blijft voor zakelijk gebruik. Apache Beam software is onder de Apache License v2.0 uitgebracht.
Meer informatie en downloads: Apache Beam
5 december 2023 (halve dag online) Praktische en interactieve workshop met Nigel Turner In ons digitale tijdperk willen veel organisaties datagedreven worden en investeren zij fors in nieuwe technologieën om dit mogelijk te maken. Maar de...
28 maart 2024 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op ...
28 maart 2023 Dit seminar met Mike Ferguson gaat dieper in op de ontwikkeling van dataproducten en ook hoe je een datamarktplaats kunt gebruiken om het delen van dataproducten in de hele organisatie te regelen en te delen om de time-to-value t...
9 april 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten van E...
11 april 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
16 april 2024 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een herontw...
24 en 25 april 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoord ...
29 - 31 mei 2024Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare rich...
Deel dit bericht