Databricks kondigt als eerste commerciële leverancier de algemene beschikbaarheid aan van Apache Spark 2.0. De nieuwe versie bouwt voort op wat de Apache Spark gemeenschap heeft geleerd in de afgelopen twee jaar.
In hun blog stellen Reynold Xin, Michael Armbrust en Matei Zaharia dat bij Spark 2.0 de nadruk legt op drie thema’s: easier, faster, smarter.
Eenvoudiger: ANSI SQL en gestroomlijnde API’s
In Spark zijn API's eenvoudig, intuïtief en expressief. Spark 2.0 zet deze traditie voort, gericht op twee gebieden: (1) standaard SQL-ondersteuning en (2) verenigde Dataframes/Dataset API.
Aan de SQL kant is er een uitgebreide SQL-ondersteuning door Spark, met de introductie van een nieuwe ANSI SQL parser en subqueries. Spark 2.0 kan alle 99 TPC-DS queries runnen. Omdat SQL een van de belangrijkste interfaces is geweest voor Spark, deze uitgebreide mogelijkheden verminderen de inspanningen om legacy applicaties over te zetten.
Aan de programmatische API kant zijn de Spark API’s gestroomlijnd:
- Verenigde DataFrames en datasets in Scala/Java
- SparkSession: een nieuw item dat SQLContext en HiveContext vervangt
- Eenvoudiger, meer performante Accumulator API
- DataFrame-gebaseerde Machine Learning API wordt primaire ML API
- Machine learning pipeline
- Gedistribueerde algoritmen in R
- Door de gebruiker gedefinieerde functies in R
Sneller: Spark Apache als een Compiler
Volgens de Spark Survey uit 2015 beschouwt 91 procent van de gebruikers prestaties als het belangrijkste aspect van Apache Spark. Als gevolg daarvan heeft prestatieoptimalisatie altijd centraal gestaan bij de ontwikkeling van Spark. Spark 2.0 wordt geleverd met de tweede generatie Tungsten engine, die voortbouwt op ideeën uit moderne compiler en MPP-databases ontwikkeling. Achtergrond bij de ontwikkeling was of het mogelijk is Spark 2.0 tien keer sneller te laten werken dan versie 1.0. De nieuwe engine verkort de verwerkingstijd van diverse functies aanzienlijk.
Slimmer: Gestructureerde Streaming
Spark 2.0 komt met een nieuwe API genaamd Structured Streaming. In vergelijking met de bestaande streaming systemen levert Structured Streaming drie belangrijke verbeteringen:
- Geïntegreerde API met batch jobs
- Transactionele interactie met opslagsystemen
- Sterke integratie met de rest van Spark
Eerder dit jaar heeft Databricks al een Technical Preview van Spark 2.0 gepresenteerd.
Meer informatie over de release van Spark 2.0:
Apache blog
Databricks blog
Meet SAS Viya Workbench – now available on AWS Marketplace.This developer canvas for building AI models in a cloud-native, scalable environment enables data scientists to rapidly build high-performance models in SAS and Python.Join this webinar...
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
21 november 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een h...
28 november 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten v...
Deel dit bericht