Tijdens de Data + AI Summit kondigde Databricks aan dat alle ontwikkelde verbeteringen van Delta Lake gedoneerd worden aan de Linux Foundation. Ook worden alle Delta Lake API's open source gemaakt, als onderdeel van de release van Delta Lake 2.0.
Daarnaast kondigde het bedrijf MLflow 2.0 aan met MLflow Pipelines, een nieuwe feature die ML-modelontwikkeling sneller en simpeler maakt. Tot slot onthulde het bedrijf Spark Connect, waarmee gebruikers Spark op bijna ieder apparaat kunnen gebruiken, en Project Lightspeed, een nieuwe iteratie van de Spark Structured Streaming-engine voor datastreaming in een lakehouse.
Delta Lake 2.0 maakt het Lakehouse toegankelijk voor iedereen
Delta Lake 2.0 biedt ongeëvenaarde query performance en laat gebruikers een zeer krachtig data lakehouse bouwen op basis van open standaarden. Met deze bijdrage profiteren Databricks’ klanten én de open source-gemeenschap van de volledige functionaliteit en verbeterde prestaties van Delta Lake 2.0. De Delta Lake 2.0 Release Candidate is nu beschikbaar en zal naar verwachting later dit jaar volledig worden vrijgegeven. De omvang van het Delta Lake-ecosysteem maakt het flexibel en krachtig in uiteenlopende use cases. Dit wordt ondersteund door een levendige gemeenschap van ruim 6400 leden en ontwikkelaars van meer dan 70 organisaties die bijdragen leveren.
In MLflow 2.0 levert MLflow Pipelines automatisering en templates voor MLOps
MLflow is een van de meest succesvolle open source ML-projecten en zet de standaard voor ML-platforms. De release van MLflow 2.0 voegt MLflow Pipelines toe aan het platform, wat de productietijd aanzienlijk versnelt en de performance op schaal verbetert door middel van standaardisatie. MLflow Pipelines biedt datawetenschappers voorgedefinieerde en gebruiksklare templates die zijn gebaseerd op het modeltype waar ze aan werken. Hierdoor kunnen ze op betrouwbare wijze modelontwikkeling opstarten en versnellen, zonder hulp van engineers.
Next-gen streaming engine en Spark waar je maar wilt
Spark is de toonaangevende unified engine voor grootschalige data-analyse en schaalt naadloos voor de verwerking van datasets van iedere omvang. Maar het gebrek aan connectiviteit op afstand en de gebruikslast van applicaties die worden ontwikkeld en uitgevoerd op de driver node, belemmeren de eisen van moderne data-applicaties. Daarom introduceert Databricks Spark Connect, een client-server interface voor Apache Spark die is gebaseerd op de DataFrame API en de client en server ontkoppelen. Dit verbetert de stabiliteit en biedt ingebouwde connectiviteit op afstand. Met Spark Connect hebben gebruikers toegang tot Spark vanaf ieder apparaat.
Databricks kondigt in samenwerking met de Spark-gemeenschap ook Project Lightspeed aan, de nieuwe generatie van de Spark streaming engine. Steeds diversere applicaties maken gebruik van datastreaming, waardoor nieuwe vereisten zijn ontstaan voor dit type data workload. Spark Structured Streaming wordt al sinds de begindagen van streaming op grote schaal toegepast vanwege het gebruiksgemak, de prestaties, het grote ecosysteem en de actieve ontwikkelaarsgemeenschap. Daarom zal Databricks samenwerken met deze gemeenschap en deelname aan Project Lightspeed aanmoedigen om de prestaties van Spark Structured Streaming te verbeteren, ecosysteem-ondersteuning voor connectors te leveren, de functionaliteit voor dataverwerking te verbeteren met nieuwe operators en API's, en de implementatie, operaties, monitoring en troubleshooting te vereenvoudigen.
Meer informatie over hoe Databricks zich inzet voor de open source-gemeenschap.
7 - 9 juni 2023Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare richt...
12 t/m 14 juni 2023Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare rich...
21 - 23 juni 2023 (3 ochtenden online)Praktisch seminar met Barry Devlin over Data Mesh, -Fabric en -Lakehouse Data fabric, data mesh en data lakehouse bieden verschillende technologische oplossingen voor digitale transformatie. Inzicht in deze benad...
9 oktoberPraktische dag met internationaal gerenommeerde trainer Keith McCormick over automated machine learning en explainable AI. This one-day workshop explores how data teams can leverage automated machine learning and which phases of the machine ...
10 en 11 oktober 2023 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoor...
12 oktober 2023 Praktisch en interactief seminar met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een heron...
31 oktober 2023 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromin...
6 t/m 8 november 2023 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Manag...
Deel dit bericht