Databricks kondigt de lancering van Delta Engine en de overname van Redash aan. Deze nieuwe mogelijkheden maken het voor datateams mogelijk om sneller en eenvoudiger met het Unified Data Analytics platform aan de slag te gaan voor data science, machine learning en andere gebruiksmogelijkheden van data analytics. Delta Engine is een query engine voor data lakes in de cloud. Redash is een open source tool voor dashboarding en visualisatie voor data scientists en analisten, om data mee te verkennen.
Delta Engine is ingericht voor gebruik met Delta Lake, de open source transactielaag die de kwaliteit en betrouwbaarheid van data lakes verbetert. Organisaties kunnen nu gecureerde data lakes opzetten die zowel gestructureerde als semigestructureerd data bevatten en hun analyses vervolgens uitvoeren op data van hoge kwaliteit in de cloud. Databricks heeft Redash, het bedrijf achter het succesvolle Redash open source project, overgenomen om gebruiksvriendelijke mogelijkheden voor dashboarding en visualisatie aan deze data lakes toe te voegen. Dankzij Redash hoeven data scientists en SQL-analisten hun data niet langer over te zetten naar andere systemen om analyses uit te kunnen voeren.
De combinatie van deze twee vernieuwingen zorgt ervoor dat bedrijven aan de slag kunnen met één vereenvoudigde cloudarchitectuur voor databeheer, waardoor ze de kosten en complexiteit drastisch verlagen en de productiviteit van datateams verhogen. Bovendien sluiten de ontwikkelingen aan op het ‘lakehouse’ design dat steeds populairder wordt. Steeds meer enterprise organisaties adopteren het lakehouse model om gestructureerde transacties en verbeterde kwaliteit en performance voor hun cloud data lakes mogelijk te maken. De bekendmaking werd vandaag gedaan op de Spark+AI Summit, die de komende week virtueel plaatsvindt voor meer dan 50.000 deelnemers uit de data community, uit meer dan 100 landen.
Snelle query’s op Delta Lake
Traditionele data analyse op gestructureerde en semigestructureerde data vraagt om zeer snelle prestaties, om het tempo van het bedrijf bij te kunnen benen. Oorspronkelijk dupliceerden organisaties data in hun data lakes om deze in verschillende data warehouses op te slaan, omdat de tools voor de analyse van deze data niet geschikt zijn voor snelle uitvoering van query’s. Het beheer van zo’n complexe architectuur brengt verschillende uitdagingen met zich mee, waaronder het ontstaan van gefragmenteerde en inconsistente data silo’s en hoge kosten.
De nieuwe Delta Engine voor Delta Lake maakt zeer snelle uitvoering van query’s mogelijk, voor zowel data analyse als data science, zonder data uit het data lake gehaald hoeft te worden. De hoogwaardige query engine is vanaf de basis opgebouwd om te kunnen profiteren van moderne cloud hardware voor verbeterde query prestaties. Dankzij deze verbeteringen kunnen Databricks klanten verhuizen naar een holistisch platform voor data analyse, dat iedere gebruiksmogelijkheid van data ondersteunt en uiteindelijk resulteert in kostenbesparingen en hogere efficiëntie.
Delta Lake is in 2017 door Databricks gelanceerd en in 2019 gedoneerd aan de Linux Foundation. Sindsdien maken onder meer Comcast, Condé Nast, Nielsen, FINRA, Shell en nog duizenden andere gebruik van Delta Lake. De aankondigingen van vandaag bouwen voort op het succes van het Delta Lake project.
Redash
Het open source project Redash is opgezet om datateams te helpen wegwijs te worden in hun data. Data scientists en SQL-analisten kunnen verschillende databronnen, waaronder operationele databases, data lakes en Delta Lake, in thematische dashboards verwerken. De resultaten kunnen vervolgens op talloze manieren gevisualiseerd worden, in bijvoorbeeld grafieken of cohorten. Deze zijn eenvoudig te delen met andere gebruikers, binnen of buiten de organisatie.
Miljoenen gebruikers bij duizenden organisaties maken al gebruik van Redash om inzichten te verkrijgen en data bruikbaar te maken. Het open source project is opgericht door een toegewijde developers community en is gebouwd door meer dan 300 deelnemers van over de hele wereld, sinds de lancering in 2013. Het open source Redash project kan vanaf vandaag met een gratis connector gebruikt worden met Databricks en Redash wordt de komende maanden volledig geïntegreerd in het Unified Data Analytics Platform van Databricks, en in de Databricks workspace.
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot en met hogere niveaus van...
3 april 2025 (halve dag)Praktische workshop met Alec Sharp [Halve dag] Deze workshop door Alec Sharp introduceert conceptmodellering vanuit een non-technisch perspectief. Alec geeft tips en richtlijnen voor de analist, en verkent datamodellering op c...
10, 11 en 14 april 2025Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikba...
15 april 2025 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen in ...
Deel dit bericht