Databricks lanceert open protocol Delta Sharing

Databricks lanceert het nieuwe open source-project Delta Sharing: volgens het bedrijf het eerste open protocol ter wereld om veilig en in real-time data te delen met andere organisaties, ongeacht het platform waar de data is opgeslagen.

Delta Sharing is opgenomen in het open source Delta Lake-project en wordt ondersteund door Databricks en een grote groep dataproviders, waaronder NASDAQ, ICE, S&P, Precisely, Factset, Foursquare, SafeGraph en softwareleveranciers zoals AWS, Google Cloud en Tableau. Dit is het vijfde grote open source-project dat Databricks lanceert na Apache Spark, Delta Lake, MLflow en Koalas, en wordt gedoneerd aan de Linux Foundation.

"De grootste uitdaging voor dataleveranciers is tegenwoordig om hun data gemakkelijk en op grote schaal bruikbaar te maken. Het beheer van tientallen verschillende oplossingen om data op alle gebruikte platforms te leveren is onhoudbaar. Een open standaard voor het real-time delen van data is een drastische verbetering van de gebruikservaring voor zowel data-aanbieders als data-gebruikers", zegt Pieter Senster, Engineering Director bij Databricks. "Delta Sharing standaardiseert hoe data veilig wordt uitgewisseld tussen ondernemingen, ongeacht welk opslag- of computerplatform ze gebruiken. We maken deze innovatie met plezier open source."

Delta Sharing voorkomt vendor lock-in en maakt daardoor meer use cases mogelijk dan ooit tevoren. Zo kunnen een academische instelling en ziekenhuis die samenwerken aan onderzoek naar vaccins bijvoorbeeld een eenvoudige standaardwijze implementeren om onderzoeksgegevens en hun bevindingen veilig te delen. Met Delta Sharing worden ze niet beperkt door systeemeigen dataformats of afwijkende applicaties en tools. Ook is de setup minder complex, omdat het bijvoorbeeld niet nodig is om dezelfde datawarehouse-software te implementeren binnen beide organisaties.

Organisaties voeren tegenwoordig in hoog tempo een lakehouse-architectuur in. Delta Sharing maakt deze architectuur breder toepasbaar omdat het een open, eenvoudige en op samenwerking geënte omgang met data en AI mogelijk maakt - niet alleen binnen maar ook tussen organisaties.

Een nieuwe, open standaard voor het veilig delen van data tussen organisaties
Delta Sharing is gebouwd op Delta Lake 1.0 en heeft een leveranciersonafhankelijk governance-model dat wordt ondersteund door de Linux Foundation. Delta Sharing zet een gemeenschappelijke standaard neer voor het delen van alle typen data met een open protocol dat kan worden gebruikt in SQL, visuele analysetools en programmeertalen zoals Python en R.

Delta Sharing stelt organisaties tevens in staat om bestaande grootschalige datasets in de Apache Parquet- en Delta Lake-formats naadloos en in real-time te delen zonder ze te kopiëren, en kan eenvoudig worden geïmplementeerd in bestaande software die Parquet ondersteunt.

Delta Sharing is de nieuwste stap in het streven van Databricks richting een open, gedemocratiseerd data- en AI-ecosysteem. Databricks gelooft dat innovatie wordt bevorderd door samenwerking, niet door isolatie. Daarom is het bedrijf al jaren toegewijd aan de open source-gemeenschap. Met Delta Sharing voegt Databricks een nieuw onderdeel toe aan zijn indrukwekkende portfolio van open source-projecten, waaronder het veelgebruikte Delta Lake, Apache Spark, MLflow en Koalas. Deze projecten worden ruim 15 miljoen keer per maand gedownload door datateams over de hele wereld.

De flexibiliteit om data te gebruiken met tools naar keuze
Delta Sharing biedt ingebouwde beveiligingscontroles en eenvoudig te beheren machtigingsinstellingen waarmee aan privacy- en compliance-eisen wordt voldaan wanneer data wordt gedeeld tussen organisaties. Met Delta Sharing kunnen organisaties onbevreesd data delen met leveranciers en partners. Elk van de betrokken datateams heeft daarbij de flexibiliteit om deze gedeelde data op te vragen, te visualiseren en verrijken met de tools van hun keuze, inclusief Azure Purview, GCP Big Query, AtScale, Collibra, Dremio, Immuta, Looker, Privacera, Qlik, Power BI en Tableau.

"Eenvoudige toegang tot data en deze te analyseren en delen is cruciaal om innovatie te bevorderen en echt datagedreven organisaties te bouwen", zegt François Ajenstat, Chief Product Officer bij Tableau. "Een nieuwe, open standaard voor het delen van data sluit aan bij Tableau's missie om data te democratiseren en iedereen in staat te stellen om snellere, slimmere beslissingen te nemen. We kijken ernaar uit om de toekomst van Delta Sharing te ondersteunen en onze klanten te voorzien van de flexibiliteit van een open, collaboratief data-ecosysteem."

“Google Cloud and Databricks delen een visie om data toegankelijk, bruikbaar en open te maken, zodat bedrijven geïnformeerde beslissingen kunnen maken in de snel veranderende wereld van vandaag”, zegt Sudhir Hasbe, Director Product Management bij Google Cloud. “We zijn verheugd Databricks beschikbaar te maken op Google Cloud, en dat we de toegankelijkheid en portabiliteit van gegevens kunnen ondersteunen met oplossingen zoals BigQuery, waarmee organisaties data veilig kunnen delen en nieuwe en unieke inzichten kunnen ontdekken.”