Databricks kondigt als eerste commerciële leverancier de algemene beschikbaarheid aan van Apache Spark 2.0. De nieuwe versie bouwt voort op wat de Apache Spark gemeenschap heeft geleerd in de afgelopen twee jaar.
In hun blog stellen Reynold Xin, Michael Armbrust en Matei Zaharia dat bij Spark 2.0 de nadruk legt op drie thema’s: easier, faster, smarter.
Eenvoudiger: ANSI SQL en gestroomlijnde API’s
In Spark zijn API's eenvoudig, intuïtief en expressief. Spark 2.0 zet deze traditie voort, gericht op twee gebieden: (1) standaard SQL-ondersteuning en (2) verenigde Dataframes/Dataset API.
Aan de SQL kant is er een uitgebreide SQL-ondersteuning door Spark, met de introductie van een nieuwe ANSI SQL parser en subqueries. Spark 2.0 kan alle 99 TPC-DS queries runnen. Omdat SQL een van de belangrijkste interfaces is geweest voor Spark, deze uitgebreide mogelijkheden verminderen de inspanningen om legacy applicaties over te zetten.
Aan de programmatische API kant zijn de Spark API’s gestroomlijnd:
- Verenigde DataFrames en datasets in Scala/Java
- SparkSession: een nieuw item dat SQLContext en HiveContext vervangt
- Eenvoudiger, meer performante Accumulator API
- DataFrame-gebaseerde Machine Learning API wordt primaire ML API
- Machine learning pipeline
- Gedistribueerde algoritmen in R
- Door de gebruiker gedefinieerde functies in R
Sneller: Spark Apache als een Compiler
Volgens de Spark Survey uit 2015 beschouwt 91 procent van de gebruikers prestaties als het belangrijkste aspect van Apache Spark. Als gevolg daarvan heeft prestatieoptimalisatie altijd centraal gestaan bij de ontwikkeling van Spark. Spark 2.0 wordt geleverd met de tweede generatie Tungsten engine, die voortbouwt op ideeën uit moderne compiler en MPP-databases ontwikkeling. Achtergrond bij de ontwikkeling was of het mogelijk is Spark 2.0 tien keer sneller te laten werken dan versie 1.0. De nieuwe engine verkort de verwerkingstijd van diverse functies aanzienlijk.
Slimmer: Gestructureerde Streaming
Spark 2.0 komt met een nieuwe API genaamd Structured Streaming. In vergelijking met de bestaande streaming systemen levert Structured Streaming drie belangrijke verbeteringen:
- Geïntegreerde API met batch jobs
- Transactionele interactie met opslagsystemen
- Sterke integratie met de rest van Spark
Eerder dit jaar heeft Databricks al een Technical Preview van Spark 2.0 gepresenteerd.
Meer informatie over de release van Spark 2.0:
Apache blog
Databricks blog
28 maart 2024 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op ...
28 maart 2023 Dit seminar met Mike Ferguson gaat dieper in op de ontwikkeling van dataproducten en ook hoe je een datamarktplaats kunt gebruiken om het delen van dataproducten in de hele organisatie te regelen en te delen om de time-to-value te ver...
28 maart 2023 Dit seminar behandelt de strategische implementatie van Knowledge Graph-initiatieven binnen organisaties en biedt een uitgebreid raamwerk waarin geavanceerde technieken worden gecombineerd met praktijkcases. Het voorziet deelneme...
9 april 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met inno...
11 april 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
16 april 2024 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een herontw...
24 en 25 april 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoord ...
16 mei 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten van En...
Deel dit bericht