Databricks lanceert Databricks AI/BI, LakeFlow en Mosaic AI-functies

Databricks heeft tijdens haar Data+AI Summit verschillende innovaties en producten aangekondigd. Databricks AI/BI is een Business Intelligence-oplossing die analytics en data-inzichten toegankelijk maakt voor alle medewerkers binnen een organisatie. LakeFlow is een oplossing die alle aspecten van data-engineering verenigt en vereenvoudigt, van datavergaring tot transformatie en orkestratie. Databricks investeert in Mosaic AI op drie vlakken: ondersteuning voor het bouwen van samengestelde AI-systemen, mogelijkheden om de modelkwaliteit te verbeteren en nieuwe AI-governancetools.

Databricks AI/BI biedt twee complementaire ervaringen: Dashboards, een AI-gestuurde low-code interface voor het maken en distribueren van snelle, interactieve dashboards; en Genie, een chatinterface voor het beantwoorden van ad-hoc vragen en vervolgvragen met natuurlijke taal. Beide worden aangedreven door een samengesteld AI-systeem dat voortdurend leert van het gebruik van de volledige datastack van een organisatie, inclusief ETL-pipelines, data lineage en andere query's. Hiermee kan Databricks AI/BI complexe vragen nauwkeurig en automatisch beantwoorden zonder dat er vooraf hoeft te worden ingesteld of gemodelleerd.

AI/BI is een belangrijke stap in de richting van echte self-service BI, waarbij de soorten analyses die alledaagse gebruikers kunnen uitvoeren flink worden uitgebreid door middel van een AI-first benadering. De intelligentie van AI/BI wordt mogelijk gemaakt door het Databricks Data Intelligence Platform, dat is geïntegreerd voor uniforme governance, data lineage, veilige data-uitwisseling en bliksemsnelle performance voor data van iedere omvang.

Een samengesteld AI-systeem voor bedrijfsanalyses
De kern van AI/BI is een samengesteld AI-systeem dat meerdere AI-onderdelen gebruikt om zakelijke vragen te beantwoorden. Elk onderdeel is verantwoordelijk voor een afgebakende maar belangrijke taak, zoals planning, SQL-generatie, uitleg, visualisatie of resultaatcertificering. Deze AI-onderdelen worden ook ondersteund door andere componenten, zoals een subsysteem voor de rangschikking van antwoorden en een vectorindex. Samen bieden ze beredeneringsmogelijkheden die veel verder gaan dan welk monolithisch model dan ook.

Het systeem is ontworpen om voortdurend te leren en zijn prestaties te verbeteren op basis van menselijke feedback. Als het bijvoorbeeld de definitie van klantverloop te horen krijgt, zal AI/BI die kennis niet alleen gebruiken om soortgelijke vragen te beantwoorden (zoals het klantverloop in EMEA vergeleken met APJ), maar deze ook inzetten om het verloop te berekenen of de betekenis en waarde van klantretentie af te leiden. AI/BI houdt de kennis langer vast dan slechts één enkele analyse of gesprek en wordt hierdoor steeds beter, net als een menselijke analist. Daarnaast leert AI/BI van andere informatie over de data van een organisatie in het Databricks-platform, zoals ETL-pipelines, data lineage, populariteitsstatistieken en andere data-query's. Dit systeem voedt twee complementaire interfaces: AI/BI Dashboards, een AI-gedreven low-code dashboardoplossing en AI/BI Genie: een conversational interface die continu de onderliggende data en semantiek kan leren op basis van menselijke feedback.

LakeFlow, uniforme oplossing voor data-engineering
Met LakeFlow kunnen datateams eenvoudig en efficiënt data op schaal opnemen uit databases als MySQL, Postgres en Oracle, en zakelijke applicaties als Salesforce, Dynamics, Sharepoint, Workday, NetSuite en Google Analytics. Databricks introduceert ook de Real Time Mode voor Apache Spark voor datastreaming met ultralage latency.

LakeFlow automatiseert de uitrol, werking en bewaking van pipelines op schaal in productieomgevingen, met ingebouwde ondersteuning voor CI/CD en geavanceerde workflows die triggering, branching en voorwaardelijke uitvoering ondersteunen. Monitoring van datakwaliteit en -gezondheid zijn geïntegreerd met waarschuwingssystemen zoals PagerDuty. LakeFlow maakt het bouwen en beheren van data-pipelines eenvoudig en efficiënt, terwijl de meest complexe use cases voor data-engineering worden aangepakt, zodat zelfs de drukst bezette datateams aan de groeiende vraag naar betrouwbare data en AI kunnen voldoen.

Uitdagingen aanpakken bij de bouw en het beheer van betrouwbare data-pipelines Data-engineering is essentieel voor de democratisering van data en AI binnen bedrijven, maar blijft een uitdagend en complex vakgebied. Datateams moeten gegevens ophalen uit gescheiden en vaak bedrijfseigen systemen zoals databases en bedrijfsapplicaties. Daarvoor moeten vaak complexe en kwetsbare connectoren worden ontwikkeld. Bovendien moet bij de datavoorbereiding complexe logica worden onderhouden, terwijl storingen en latencypieken kunnen leiden tot operationele uitval en ontevreden klanten. Voor het implementeren van data-pipelines en de bewaking van de datakwaliteit zijn meestal dan ook aanvullende, ongelijksoortige tools nodig, wat het proces nog ingewikkelder maakt.

LakeFlow pakt deze uitdagingen aan door alle aspecten van data-engineering te vereenvoudigen via één uniforme ervaring, gebouwd op het Databricks Data Intelligence Platform, met diepgaande integraties met Unity Catalog voor end-to-end governance en serverless computing voor efficiënte en schaalbare uitvoering. LakeFlow rust op drie pijlers: LakeFlow Connect, eenvoudige en schaalbare datavergaring vanuit elke bron; LakeFlow Pipelines, realtime data-pipelines vereenvoudigen en automatiseren; LakeFlow Jobs, workflow-orkestratie op het Data Intelligence Platform.

Nieuwe Mosaic AI-functies voor ontwikkeling van hoogwaardige AI-systemen en applicaties
Databricks investeert in Mosaic AI op drie vlakken: ondersteuning voor het bouwen van samengestelde AI-systemen, mogelijkheden om de modelkwaliteit te verbeteren en nieuwe AI-governancetools. Dankzij deze innovaties kunnen klanten met vertrouwen productieklare toepassingen bouwen en meten, en zo de beloftes van Generatieve AI voor hun bedrijf waarmaken. Om klanten te helpen productieklare Generatieve AI-toepassingen te bouwen, lanceert Databricks het Mosaic AI Agent Framework, Mosaic AI Quality Lab, Mosaic AI Tools Catalog, Mosaic AI Model Training en Mosaic AI Gateway.

Mosaic AI Agent Framework en Mosaic AI Tools Catalog voor het bouwen van samengestelde AI-systemen
Databricks introduceert verschillende nieuwe mogelijkheden om klanten te helpen samengestelde AI-systemen te implementeren in de vorm van Retrieval Augmented Generation (RAG). Dit systeem maakt gebruik van meerdere componenten, zoals een vectordatabase en tools voor monitoring, evaluatie, beveiliging en governance om de nauwkeurigheid van het LLM te verbeteren.

In dit kader kondigde Databricks vorige maand de algemene beschikbaarheid aan van Mosaic AI Vector, een serverloze vectordatabase die naadloos is geïntegreerd in het Data Intelligence Platform. Nu volgt Databricks op met Mosaic AI Agent Framework, waarmee ontwikkelaars eenvoudig en veilig hoogwaardige RAG-applicaties kunnen bouwen met funderingsmodellen en hun eigen data. Ze kunnen de kwaliteit van hun RAG-applicatie vervolgens evalueren met Mosaic AI Quality Lab voor snelle iteratie en herimplementatie. Mosaic AI Quality Lab is een AI-ondersteunde evaluatietool die automatisch bepaalt of uitkomsten van hoge kwaliteit zijn, met een intuïtieve gebruikersinterface om feedback van stakeholders op te halen.

Samengestelde AI-systemen maken doorgaans ook gebruik van tools die mogelijkheden geven om met de wereld te communiceren. Denk aan het intelligent genereren en uitvoeren van code, zoeken op het web en het gebruik van API's. Mosaic AI Tools Catalog helpt organisaties dit soort tools te beheren, delen en registreren met behulp van Databricks Unity Catalog. Dit zorgt ervoor dat modellen deze tools op een veilige en beheerde manier kunnen gebruiken en maakt ze beter vindbaar binnen de organisatie.

Mosaic AI Model Training
Mosaic AI Model Training helpt om open source funderingsmodellen te finetunen met eigen bedrijfsgegevens, zodat je modellen kunt trainen met branche- of taakspecifieke kennis. Hierdoor leveren ze veel betere resultaten. Daarnaast zijn deze kleinere modellen sneller en goedkoper in gebruik dan grotere AI-modellen – ze bevatten minder parameters en vereisen minder rekenkracht.

Mosaic AI Gateway
Mosaic AI Gateway biedt een uniforme interface om ieder open source- of propriëtair model te bevragen, beheren en implementeren. Hiermee kunnen klanten eenvoudig de LLM's die hun toepassingen aandrijven vervangen zonder dat er ingewikkelde wijzigingen in de applicatiecode nodig zijn. Het ondersteunt gebruiksmonitoring en guardrails, zodat beheerders ongeacht het gebruikte model kunnen bijhouden welke medewerkers het model gebruiken, gebruikslimieten kunnen instellen om kosten te beheersen, en filters kunnen instellen voor databeveiliging en privacy. Ook biedt Mosaic AI Gateway ingebouwde governance en monitoring om continu de kwaliteit te waarborgen.