Databricks heeft Delta Lake 3.0 aangekondigd, de nieuwste bijdrage aan het Delta Lake open source-project van de Linux Foundation. Deze aankomende release komt met Universal Format (UniForm), waarmee in Delta Lake opgeslagen data kan worden uitgelezen alsof het een Apache Iceberg of Apache Hudi-omgeving is.
UniForm neemt compatibiliteitsproblemen tussen data formats weg dankzij automatische ondersteuning voor Iceberg en Hudi binnen Delta Lake. Delta Lake 3.0 voorkomt daarmee het ingewikkelde integratiewerk van meerdere data formats, zodat organisaties zich volledig kunnen richten op het uitbouwen van een open lakehouse.
In de overstap naar een lakehouse worden datagedreven organisaties geconfronteerd met een lastige keuze tussen drie drie verschillende open tabelindelingen. UniForm neemt die keuze weg, zodat deze organisaties een data-ecosysteem kunnen opzetten dat overweg kan met data in zowel Delta, Iceberg als Hudi – van transactionele- tot streaming-, gestructureerde- en ongestructureerde data.
Nieuwe features in Delta Lake 3.0 zijn onder andere:
• Delta Universal Format (UniForm): In Delta opgeslagen data kan worden gelezen alsof het een Iceberg- of Hudi- omgeving is. Met UniForm genereert Delta automatisch de benodigde metadata voor Iceberg of Hudi, waardoor de tabelformats worden samengevoegd. Hierdoor zijn keuzes in formats of handmatige conversies tussen formats niet meer nodig.
• Delta Kernel: Kernel pakt de fragmentatie van connectors aan door deze te bouwen op basis van een centrale Delta-library die alle Delta-specificaties borgt. Hierdoor hoeven gebruikers hun Delta-connectors minder vaak bij te werken na een nieuwe release of protocolwijziging. Omdat er één stabiele API is om connectors tegen te spiegelen, kunnen ontwikkelaars in het Delta ecosysteem hun connectors veel makkelijker up-to-date houden met de nieuwste versie van Delta.
• Delta Liquid Clustering: Een veelvoorkomende uitdaging in werken met data heeft te maken met de prestaties van lezen en schrijven. Liquid Clustering is een innovatie die de decennia oude hive-achtige tabelpartitionering met vaste gegevensindeling achter zich laat. Liquid Clustering biedt een flexibele data layout-techniek, voor kosteneffectieve en schaalbare datasclustering.
De Delta Lake 3.0-release is beschikbaar als preview, als onderdeel van het Delta Lake-project van de Linux Foundation.
16 mei 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een heront...
29 - 31 mei 2024Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare rich...
3 t/m 5 juni 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare richtl...
10 t/m 12 juni 2024 Praktische workshop Data Management Fundamentals door Chris Bradley - CDMP-examinatie optioneel De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Managem...
14 juni 2024 (halve dag online) Praktische en interactieve workshop met Nigel Turner In ons digitale tijdperk willen veel organisaties datagedreven worden en investeren zij fors in nieuwe technologieën om dit mogelijk te maken. Maar deze ...
17 t/m 19 juni 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en prakti...
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
17 oktober 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen i...
Deel dit bericht