Databricks heeft tijdens de Data + AI Summit nieuwe features aangekondigd die organisaties in staat stellen om alle data te benutten en hun AI-mogelijkheden te vergroten. De LakehouseIQ, Lakehouse AI en nieuwe Unity Catalog-features helpen klanten meer waarde uit data te halen en hun AI-transformatie te versnellen.
Bedrijven hebben vaak nog moeite om werknemers direct toegang te geven tot relevante interne data vanwege een beperkt aantal overbelaste data scientists en onvoldoende algemene datamodellen. LakehouseIQ lost dit probleem op met een interface die leert van de unieke datasets, organisatiestructuur en het jargon van een bedrijf. Elke werknemer krijgt toegang tot interne data om geïnformeerde beslissingen te nemen en innovaties te stimuleren, zonder dat hierdoor gespecialiseerde technische vaardigheden vereist zijn. Daarbij interpreteert LakehouseIQ het doel van alle zoekopdrachten om de nodige inzichten te genereren. LakehouseIQ wordt aangedreven door Unity Catalog zodat alleen beveiligde toegang tot geautoriseerde data wordt gegeven om security- en compliancerisico’s te beperken.
Unity Catalog biedt betere vindbaarheid van versnipperde data
Data is vaak verspreid over uiteenlopende operationele en analytische systemen binnen een organisatie. Dit maakt het moeilijk voor datateams om alle beschikbare informatie te ontdekken en belemmert complianceteams in de handhaving van consistente governance. Bovendien is het kostbaar en tijdrovend om deze data samen te voegen, omdat integratieprocessen afhankelijk zijn van complexe data engineering.
Nieuwe en toekomstige functionaliteiten binnen Databricks’ Unity Catalog pakken deze problemen aan. Een nieuwe query federation interface stelt gebruikers in staat om eenvoudig alle organisatiedata vanuit één systeem te vinden, beveiligen, auditen en delen met geoptimaliseerde queryprestaties over meerdere platforms. Unity Catalog biedt bovendien consistente governance voor toegang van alle geregistreerde datasets, ook data die buiten Databricks leeft. In de toekomst kunnen gebruikers gemakkelijk een enkel toegangsbeleid voor data definiëren en dit handhaven over meerdere platforms. De onlangs aangekondigde Hive Metastore Interface maakt het tot slot mogelijk om alle software die compatibel is met Apache Hive te verbinden met Unity Catalog, om databeheer en governance over meerdere platformen verder te versimpelen.
Lakehouse AI versnelt generatieve AI-transformatie
De vraag naar generatieve AI is hoog, maar de dataprocessen zijn complex en onbetrouwbaar wanneer data- en AI-platforms gescheiden zijn. Om deze uitdaging te helpen overwinnen, introduceert Databricks Lakehouse AI. Deze oplossing verenigt data- en AI-platforms en stelt klanten in staat hun generatieve AI-oplossingen succesvoller en sneller te ontwikkelen door data, AI-modellen, LLMOps, monitoring en governance samen te brengen.
Verschillende nieuwe aangekondigde mogelijkheden ondersteunen hierin. Zo helpt Vector Search met het beheren en bewerken van vector embeddings vanuit Unity Catalog, en geeft het developers de mogelijkheid om queryfilters toe te voegen voor een betere betrouwbaarheid van generatieve AI-antwoorden. Verder stelt Databricks AUtoML klanten nu in staat om veilig LLM’s te finetunen op basis van hun eigen datasets, waardoor ze eigenaar worden van de resulterende modellen. Deze kunnen vervolgens gemakkelijk worden gedeeld, bewaakt en bestuurd via MLflow, Unity Catalog en Model Serving-integraties. Databricks Marketplace biedt tot slot een gecureerde lijst van open source-modellen met geoptimaliseerde Lakehouse AI-mogelijkheden zoals Databricks Model Serving. Dit resulteert in piekprestaties en kostenoptimalisatie voor generatieve AI use cases.
Beschikbaarheid
De LakehouseIQ-gedreven Databricks Assistant is beschikbaar in preview.
MLflow 2.5-features zijn verpakt in de juli-release van MLflow. Nieuwe Databricks-functionaliteiten, waaronder Vector Search en Lakehouse Monitoring, zijn beschikbaar in preview.
Query federation en de Hive Metastore-interface worden binnenkort beschikbaar als preview.
15 oktober 2024 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met i...
17 oktober 2024 Praktische workshop Datavisualisatie - Dashboards en Data Storytelling. Hoe gaat u van data naar inzicht? En hoe gaat u om met grote hoeveelheden data, de noodzaak van storytelling en data science? Lex Pierik behandelt de stromingen i...
7 november (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
11 t/m 13 november 2024Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pr...
18 t/m 20 november 2024Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ...
21 november 2024 Praktische en interactieve workshop met Nigel Turner Data-gedreven worden lukt niet door alleen nieuwe technologie en tools aan te schaffen. Het vereist een transformatie van bestaande business modellen, met cultuurverandering, een h...
26 en 27 november 2024 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
28 november 2024Workshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunctionaliteiten v...
Deel dit bericht