De Apache Software Foundation (ASF), de organisatie achter meer dan 350 Open Source projecten, heeft de beschikbaarheid aangekondigd van Apache Beam 2.0.0. Dit is de eerste stabiele release van het pakket voor zowel batch- als streamverwerking van Big Data. Apache Beam wordt onder andere gebruikt door Google Cloud, PayPal en Talend.
Apache Beam vindt zijn oorsprong in Google’s interne dataverwerkingsprojecten van de afgelopen tien jaar. Het project ontwikkelde zich vanuit het oorspronkelijke MapReduce systeem, door FlumeJava en MillWheel, tot Google Cloud Dataflow v1.x dat het unified programmingmodel vastlegde, dat uiteindelijk de kern werd van Apache Beam. Apache Beam kreeg een Top-Level Project status in december 2016. Beam bevat Java en Python software development kits die worden ingezet om dataverwerkingspipelines te definiëren en programma’s die deze uitvoeren op engines als Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow.
Apache Beam versie 2.0.0 komt met verbeteringen aan de user experience, overdraagbaarheid over diverse omgevingen, waaronder engines,operating systems, on-premise clusters, cloud providers en data storagesystemen. Andere onderdelen zijn:
- Stabiliteit van API’s en toekomstige compatibiliteit met deze belangrijke versie
- Dataverwerkingparadigma’s voor efficiënte berekeningen
- Ondersteuning voor uitbreidbare bestandssystemen
- Ingebouwde ondersteuning voor Hadoop DFS
- Ingebouwde metrics voor diepgaande inzichten in uitvoeringsprotocollen.
Volgens Davor Bonaci, Vice President van het Apache Beam project, zal de stabiliteit van API’s in de toekomst gewaarborgd blijven, waardoor Beam geschikt wordt en blijft voor zakelijk gebruik. Apache Beam software is onder de Apache License v2.0 uitgebracht.
Meer informatie en downloads: Apache Beam
10 en 11 oktober 2023 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoor...
12 oktober 2023 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een heron...
31 oktober 2023 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromin...
1 en 2 november 2023 Praktisch seminar met Barry Devlin over Data Mesh, -Fabric en -Lakehouse Data fabric, data mesh en data lakehouse bieden verschillende technologische oplossingen voor digitale transformatie. Inzicht in deze benaderingen en h...
6 t/m 8 november 2023 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Manag...
9 en 10 november 2023 Praktische workshop Data Governance & Stewardship door Chris Bradley - CDMP-examinatie optioneel Wat betekent Data Governance eigenlijk, hoe kunnen we het praktisch laten werken en wat zijn de implicaties? Deze 2-daag...
13 t/m 15 november 2023Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
16 en 17 november 2023Praktische workshop boordevol tips en technieken met Alec Sharp Er is toenemende belangstelling voor modelgebaseerde technieken. Alec Sharp behandelt de belangrijkste technieken, waaronder Concept Models, Process Scope en Proces...
Deel dit bericht