Tijdens de Data + AI Summit kondigde Databricks aan dat alle ontwikkelde verbeteringen van Delta Lake gedoneerd worden aan de Linux Foundation. Ook worden alle Delta Lake API's open source gemaakt, als onderdeel van de release van Delta Lake 2.0.
Daarnaast kondigde het bedrijf MLflow 2.0 aan met MLflow Pipelines, een nieuwe feature die ML-modelontwikkeling sneller en simpeler maakt. Tot slot onthulde het bedrijf Spark Connect, waarmee gebruikers Spark op bijna ieder apparaat kunnen gebruiken, en Project Lightspeed, een nieuwe iteratie van de Spark Structured Streaming-engine voor datastreaming in een lakehouse.
Delta Lake 2.0 maakt het Lakehouse toegankelijk voor iedereen
Delta Lake 2.0 biedt ongeëvenaarde query performance en laat gebruikers een zeer krachtig data lakehouse bouwen op basis van open standaarden. Met deze bijdrage profiteren Databricks’ klanten én de open source-gemeenschap van de volledige functionaliteit en verbeterde prestaties van Delta Lake 2.0. De Delta Lake 2.0 Release Candidate is nu beschikbaar en zal naar verwachting later dit jaar volledig worden vrijgegeven. De omvang van het Delta Lake-ecosysteem maakt het flexibel en krachtig in uiteenlopende use cases. Dit wordt ondersteund door een levendige gemeenschap van ruim 6400 leden en ontwikkelaars van meer dan 70 organisaties die bijdragen leveren.
In MLflow 2.0 levert MLflow Pipelines automatisering en templates voor MLOps
MLflow is een van de meest succesvolle open source ML-projecten en zet de standaard voor ML-platforms. De release van MLflow 2.0 voegt MLflow Pipelines toe aan het platform, wat de productietijd aanzienlijk versnelt en de performance op schaal verbetert door middel van standaardisatie. MLflow Pipelines biedt datawetenschappers voorgedefinieerde en gebruiksklare templates die zijn gebaseerd op het modeltype waar ze aan werken. Hierdoor kunnen ze op betrouwbare wijze modelontwikkeling opstarten en versnellen, zonder hulp van engineers.
Next-gen streaming engine en Spark waar je maar wilt
Spark is de toonaangevende unified engine voor grootschalige data-analyse en schaalt naadloos voor de verwerking van datasets van iedere omvang. Maar het gebrek aan connectiviteit op afstand en de gebruikslast van applicaties die worden ontwikkeld en uitgevoerd op de driver node, belemmeren de eisen van moderne data-applicaties. Daarom introduceert Databricks Spark Connect, een client-server interface voor Apache Spark die is gebaseerd op de DataFrame API en de client en server ontkoppelen. Dit verbetert de stabiliteit en biedt ingebouwde connectiviteit op afstand. Met Spark Connect hebben gebruikers toegang tot Spark vanaf ieder apparaat.
Databricks kondigt in samenwerking met de Spark-gemeenschap ook Project Lightspeed aan, de nieuwe generatie van de Spark streaming engine. Steeds diversere applicaties maken gebruik van datastreaming, waardoor nieuwe vereisten zijn ontstaan voor dit type data workload. Spark Structured Streaming wordt al sinds de begindagen van streaming op grote schaal toegepast vanwege het gebruiksgemak, de prestaties, het grote ecosysteem en de actieve ontwikkelaarsgemeenschap. Daarom zal Databricks samenwerken met deze gemeenschap en deelname aan Project Lightspeed aanmoedigen om de prestaties van Spark Structured Streaming te verbeteren, ecosysteem-ondersteuning voor connectors te leveren, de functionaliteit voor dataverwerking te verbeteren met nieuwe operators en API's, en de implementatie, operaties, monitoring en troubleshooting te vereenvoudigen.
Meer informatie over hoe Databricks zich inzet voor de open source-gemeenschap.
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
21 november 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een h...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
28 november 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten v...
De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot en met hogere niveaus van...
Deel dit bericht