Delta Lake Project haakt aan bij Linux Foundation

De Linux Foundation kondigt aan dat het Delta Lake gaat hosten. Het Delta Lake project, dat eerder dit jaar is aangekondigd door Databricks, richt zich op de verbetering van de betrouwbaarheid, kwaliteit en prestaties van data lakes. De Linux Foundation is een non profit-organisatie en opgericht in 2000. Sindsdien hebben zich meer dan 1000 leden aangesloten en is de foundation een plek voor samenwerking aan open source software, open standaarden, open data en open hardware.

Delta Lake is door duizenden bedrijven omarmd en heeft een bloeiend ecosysteem van aanhangers, waaronder Intel, Alibaba en Booz Allen Hamilton. Om de adoptie van en bijdragen aan Delta Lake verder te stimuleren, maakt het project nu gebruik van een open governance model als onderdeel van de Linux Foundation.

Delta Lake pakt problemen met betrouwbaarheid van data aan door transacties ACID-compliant te maken. Door gebruik te maken van schema enforcement zorgt Delta Lake ervoor dat het data lake vrij is van foutieve of afwijkende data. Sinds de lancering in 2017 maken meer dan 4000 bedrijven gebruik van het project, waarbij maandelijks meer dan twee exabyte aan data wordt verwerkt.

Open governance model
CEO en medeoprichter Ali Ghodsi van Databricks geeft is enthousiast over het Delta Lake project. “Ons team is doorgegaan met het creëren van en bijdragen aan open source projecten, omdat we weten dat dit de snelste en meest volledige manier is om te innoveren. Om de problemen van organisaties te kunnen adresseren, willen we garanderen dat dit project volledig open source is. Dankzij de sterke community van de Linux Foundation en diens bijdragen, hebben we er vertrouwen in dat Delta Lake snel de standaard is voor opslag in data lakes.”

Delta Lake krijgt een open governance model dat participatie en technische bijdragen stimuleert. Daarnaast levert het project een raamwerk voor lange termijn rentmeesterschap door een ecosysteem dat het succes van Delta Lake voorstaat. Delta Lake werd oorspronkelijk ontworpen voor Apache Spark, maar door de groeiende community komt er steeds meer ondersteuning voor andere open source data systemen.

Meer informatie: Delta.io