Databricks biedt grote bijdragen aan open source-projecten

Tijdens de Data + AI Summit kondigde Databricks aan dat alle ontwikkelde verbeteringen van Delta Lake gedoneerd worden aan de Linux Foundation. Ook worden alle Delta Lake API's open source gemaakt, als onderdeel van de release van Delta Lake 2.0.

Daarnaast kondigde het bedrijf MLflow 2.0 aan met MLflow Pipelines, een nieuwe feature die ML-modelontwikkeling sneller en simpeler maakt. Tot slot onthulde het bedrijf Spark Connect, waarmee gebruikers Spark op bijna ieder apparaat kunnen gebruiken, en Project Lightspeed, een nieuwe iteratie van de Spark Structured Streaming-engine voor datastreaming in een lakehouse.

Delta Lake 2.0 maakt het Lakehouse toegankelijk voor iedereen
Delta Lake 2.0 biedt ongeëvenaarde query performance en laat gebruikers een zeer krachtig data lakehouse bouwen op basis van open standaarden. Met deze bijdrage profiteren Databricks’ klanten én de open source-gemeenschap van de volledige functionaliteit en verbeterde prestaties van Delta Lake 2.0. De Delta Lake 2.0 Release Candidate is nu beschikbaar en zal naar verwachting later dit jaar volledig worden vrijgegeven. De omvang van het Delta Lake-ecosysteem maakt het flexibel en krachtig in uiteenlopende use cases. Dit wordt ondersteund door een levendige gemeenschap van ruim 6400 leden en ontwikkelaars van meer dan 70 organisaties die bijdragen leveren.

In MLflow 2.0 levert MLflow Pipelines automatisering en templates voor MLOps
MLflow is een van de meest succesvolle open source ML-projecten en zet de standaard voor ML-platforms. De release van MLflow 2.0 voegt MLflow Pipelines toe aan het platform, wat de productietijd aanzienlijk versnelt en de performance op schaal verbetert door middel van standaardisatie. MLflow Pipelines biedt datawetenschappers voorgedefinieerde en gebruiksklare templates die zijn gebaseerd op het modeltype waar ze aan werken. Hierdoor kunnen ze op betrouwbare wijze modelontwikkeling opstarten en versnellen, zonder hulp van engineers.

Next-gen streaming engine en Spark waar je maar wilt
Spark is de toonaangevende unified engine voor grootschalige data-analyse en schaalt naadloos voor de verwerking van datasets van iedere omvang. Maar het gebrek aan connectiviteit op afstand en de gebruikslast van applicaties die worden ontwikkeld en uitgevoerd op de driver node, belemmeren de eisen van moderne data-applicaties. Daarom introduceert Databricks Spark Connect, een client-server interface voor Apache Spark die is gebaseerd op de DataFrame API en de client en server ontkoppelen. Dit verbetert de stabiliteit en biedt ingebouwde connectiviteit op afstand. Met Spark Connect hebben gebruikers toegang tot Spark vanaf ieder apparaat.

Databricks kondigt in samenwerking met de Spark-gemeenschap ook Project Lightspeed aan, de nieuwe generatie van de Spark streaming engine. Steeds diversere applicaties maken gebruik van datastreaming, waardoor nieuwe vereisten zijn ontstaan voor dit type data workload. Spark Structured Streaming wordt al sinds de begindagen van streaming op grote schaal toegepast vanwege het gebruiksgemak, de prestaties, het grote ecosysteem en de actieve ontwikkelaarsgemeenschap. Daarom zal Databricks samenwerken met deze gemeenschap en deelname aan Project Lightspeed aanmoedigen om de prestaties van Spark Structured Streaming te verbeteren, ecosysteem-ondersteuning voor connectors te leveren, de functionaliteit voor dataverwerking te verbeteren met nieuwe operators en API's, en de implementatie, operaties, monitoring en troubleshooting te vereenvoudigen.

Meer informatie over hoe Databricks zich inzet voor de open source-gemeenschap.