Databricks kondigt als eerste commerciële leverancier de algemene beschikbaarheid aan van Apache Spark 2.0. De nieuwe versie bouwt voort op wat de Apache Spark gemeenschap heeft geleerd in de afgelopen twee jaar.
In hun blog stellen Reynold Xin, Michael Armbrust en Matei Zaharia dat bij Spark 2.0 de nadruk legt op drie thema’s: easier, faster, smarter.
Eenvoudiger: ANSI SQL en gestroomlijnde API’s
In Spark zijn API's eenvoudig, intuïtief en expressief. Spark 2.0 zet deze traditie voort, gericht op twee gebieden: (1) standaard SQL-ondersteuning en (2) verenigde Dataframes/Dataset API.
Aan de SQL kant is er een uitgebreide SQL-ondersteuning door Spark, met de introductie van een nieuwe ANSI SQL parser en subqueries. Spark 2.0 kan alle 99 TPC-DS queries runnen. Omdat SQL een van de belangrijkste interfaces is geweest voor Spark, deze uitgebreide mogelijkheden verminderen de inspanningen om legacy applicaties over te zetten.
Aan de programmatische API kant zijn de Spark API’s gestroomlijnd:
- Verenigde DataFrames en datasets in Scala/Java
- SparkSession: een nieuw item dat SQLContext en HiveContext vervangt
- Eenvoudiger, meer performante Accumulator API
- DataFrame-gebaseerde Machine Learning API wordt primaire ML API
- Machine learning pipeline
- Gedistribueerde algoritmen in R
- Door de gebruiker gedefinieerde functies in R
Sneller: Spark Apache als een Compiler
Volgens de Spark Survey uit 2015 beschouwt 91 procent van de gebruikers prestaties als het belangrijkste aspect van Apache Spark. Als gevolg daarvan heeft prestatieoptimalisatie altijd centraal gestaan bij de ontwikkeling van Spark. Spark 2.0 wordt geleverd met de tweede generatie Tungsten engine, die voortbouwt op ideeën uit moderne compiler en MPP-databases ontwikkeling. Achtergrond bij de ontwikkeling was of het mogelijk is Spark 2.0 tien keer sneller te laten werken dan versie 1.0. De nieuwe engine verkort de verwerkingstijd van diverse functies aanzienlijk.
Slimmer: Gestructureerde Streaming
Spark 2.0 komt met een nieuwe API genaamd Structured Streaming. In vergelijking met de bestaande streaming systemen levert Structured Streaming drie belangrijke verbeteringen:
- Geïntegreerde API met batch jobs
- Transactionele interactie met opslagsystemen
- Sterke integratie met de rest van Spark
Eerder dit jaar heeft Databricks al een Technical Preview van Spark 2.0 gepresenteerd.
Meer informatie over de release van Spark 2.0:
Apache blog
Databricks blog
21 en 22 maart 2023 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoord ...
4 april 2023 (Face-to-face én Live Video Stream) Schrijf in voor al weer de tiende editie van ons jaarlijkse congres met wederom een ijzersterke sprekers line-up. Op deze editie behandelen wij belangrijke thema’s als Datamesh, Analytics ...
5 april 2023 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een herontwe...
5 april 2023 (halve dag)Praktische workshop met Alec Sharp This workshop introduces concept modelling from a non-technical perspective, provides tips and guidelines for the analyst, and explores entity-relationship modelling at conceptual and logical...
5 april 2023 (halve dag)Praktische workshop door Thomas Frisendal In deze workshop van een halve dag zal de Deense expert Thomas Frisendal laten zien wat graph technologieën in de praktijk betekenen. Hij zal ook laten zien hoe graph oplossi...
13 april 2023 Praktische workshop Datavisualisatie en Human Data Stories. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling, data science en de data artist? Lex Pierik behandelt de stromingen...
8 t/m 10 mei 2023 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Managemen...
11 en 12 mei 2023 Praktische workshop Data Governance & Stewardship door Chris Bradley - CDMP-examinatie optioneel Wat betekent Data Governance eigenlijk, hoe kunnen we het praktisch laten werken en wat zijn de implicaties? Deze 2-daagse cursus bie...
Deel dit bericht