In het jaar dat Apache Spark tien jaar als open source-project bestaat heeft de Apache community Spark 3.0.0 gelanceerd. Spark 3.0 bouwt voort op veel van de innovaties van Spark 2.x en brengt nieuwe ideeën met zich mee en doorlopende langetermijnprojecten in ontwikkeling. Meer dan 440 bijdragers uit de open source community hebben hun schouders eronder gezet.
Sinds de eerste release in 2010 is Spark uitgegroeid tot een van de meest actieve open source-projecten. Tegenwoordig is Spark de de facto uniforme engine voor big data-verwerking, data science, machine learning en data analytics workloads.
Spark SQL is het belangrijkste actieve onderdeel in deze release. Bijna de helft van de bijdragen betreft Spark SQL. Deze verbeteringen komen alle bibliotheken van hoger niveau ten goede, inclusief gestructureerde streaming, MLlib en API's waaronder voor SQL en DataFrames. In de TPC-DS 30TB-benchmark blijkt Spark 3.0 ongeveer twee keer sneller dan Spark 2.4. Python is nu de meest gebruikte taal op Spark. PySpark heeft meer dan 5 miljoen maandelijkse downloads op PyPI, de Python Package Index. Deze release verbetert functionaliteit en bruikbaarheid, inclusief het herontwerp van de Pandas UDF-API's met Python type hints, nieuwe Pandas UDF-typen en Python foutafhandeling.
De belangrijkste kenmerken van Spark 3.0 zijn het uitvoeren van adaptieve query's; dynamic partition pruning; ANSI SQL compliance; verbeteringen in panda's API's; nieuwe gebruikersinterface voor gestructureerde streaming; versnelling bij het aanroepen van in R gedefinieerde functies; en SQL-referentiedocumentatie.
Meer informatie: Apache Spark
11 en 12 oktober 2022 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft a...
13 oktober 2022Praktische workshop met Rogier Werschkull over cloud datawarehousing.Wat zijn de voor- en nadelen van Cloud Datawarehousing en hoe pak je dat aan? Tijdens dit seminar door expert Rogier Werschkull krijgt u een duidelijk beeld van de ve...
31 oktober 2022 (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. Waardevolle online tutorial ...
7 - 9 november 2022Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en prakti...
10 november 2022 Praktische workshop Datavisualisatie en Data-driven Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling, data science en de data artist? Lex Pierik behandelt de s...
14 t/m 16 november 2022Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
21 t/m 23 november 2022 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Man...
29 en 30 november 2022 Het Logical Data Warehouse, een door Gartner geïntroduceerde architectuur, is gebaseerd op een ontkoppeling van rapportage en analyse enerzijds en gegevensbronnen anderzijds. Een flexibelere architectuur waarbij sneller ni...
Deel dit bericht