Databricks: 76 procent van zakelijk LLM-gebruik is open source

Bedrijven kiezen doorgaans voor open source bij het gebruik van LLM's. Dit blijkt uit het State of Data & AI 2024-rapport van Databricks. Bedrijven van iedere omvang investeren in generatieve AI om hun organisaties te transformeren en hun data beter aan te wenden om zakelijke doelstellingen te behalen.

Het State of Data & AI 2024-rapport van Databricks laat zien dat AI de testfase voorbij is en in productie wordt genomen om data en AI verder te democratiseren. Hier volgen de belangrijkste onderzoeksresultaten.
• In 2023 werden elf keer zoveel AI-modellen in productie genomen als het voorgaande jaar. Gemiddeld is het in productie nemen meer dan drie keer zo efficiënt geworden. Daarbij is natuurlijke taalverwerking (NLP) de meest gebruikte en snelst groeiende machine learning-toepassing.
• 70 procent van de bedrijven die generatieve AI gebruiken, zetten tools en vector databases in om basismodellen aan te vullen. Bedrijven zijn sterk gericht op het aanpassen van LLM's met hun eigen data via retrieval augmented generation (RAG). RAG vereist vector databases, waarvan het gebruik met 377 procent steeg op jaarbasis (zowel in het geval van open source- als gesloten LLM's).
• 76 procent van de bedrijven die LLM's gebruiken kiest voor open source, vaak in aanvulling op propriëtaire modellen. Slechts vier weken na de lancering is Meta Llama 3 al goed voor 39 procent van het gehele open source modelgebruik. Sterk gereguleerde sectoren zijn de verrassende early adopters van generatieve AI: financiële dienstverleners lopen voorop in GPU-gebruik, dat in slechts zes maanden steeg met 88 procent.

De top 10 Data- en AI-oplossingen
Naast trends in AI-gebruik, brengt het onderzoek de tien meest gebruikte data en AI-oplossingen in kaart. Negen van de tien producten in de lijst zijn open source. Organisaties kiezen vaak voor meer flexibiliteit, waardoor ze propriëtaire beperkingen proberen te vermijden. Een drietal producten vallen op in de top 10, gebaseerd op hun ontwikkeling in het afgelopen jaar en het groeiende zakelijke gebruik:
• Plotly Dash: Plotly Dash is een low-code platform waarmee data scientists data-applicaties kunnen bouwen, opschalen en implementeren. Producten zoals Plotly Dash helpen bedrijven sneller en eenvoudiger applicaties te leveren om aan dynamische bedrijfsbehoeften te voldoen.
• Hugging Face: Hugging Face Transformers is het op één na populairste product. Veel bedrijven gebruiken het open source platform met vooraf getrainde transformermodellen in combinatie met hun zakelijke data om foundation models te bouwen en te verfijnen. Dit ondersteunt een groeiende trend die Databricks ziet met RAG-toepassingen.
• LangChain: LangChain is een open source toolchain voor de ontwikkeling en het gebruik van propriëtaire LLM's. Wanneer bedrijven hun eigen LLM-applicaties bouwen en werken met gespecialiseerde transformergerelateerde Python-library’s om modellen als deze te trainen, stelt LangChain hen in staat prompt interfaces of integraties met andere systemen te ontwikkelen.

“We kunnen uit het rapport concluderen dat bedrijven met behulp van datawetenschap en AI grotere efficiëntieslagen beoogt, en dat generatieve AI daar nieuwe mogelijkheden voor biedt”, aldus Kevin Jonkergouw, Regional VP Benelux bij Databricks. “Daar is wel één samenhangende beheeromgeving voor nodig, zodat de gehele organisatie data en AI veilig en verantwoord kan gebruiken. Dat kan met behulp van data intelligence-platforms. De onderzoeksresultaten laten zien dat bedrijven in alle sectoren deze tools omarmen, waarbij early adopters vaak uit sterk gereguleerde sectoren komen zoals de financiële sector.”

Het State of Data & AI 2024-rapport laat zien hoe organisaties data- en AI-initiatieven prioriteren. De inzichten komen van meer dan 10.000 wereldwijde klanten — waaronder meer dan 300 van de Fortune 500 — die het Databricks Data Intelligence Platform gebruiken. Tenzij anders vermeld, gebruikt en analyseert dit rapport data van 1 februari 2023 tot 31 maart 2024 en wordt het gebruik gemeten op basis van het aantal klanten. Dit rapport is bedoeld om bedrijven te helpen effectieve data strategieën te ontwikkelen in het evoluerende tijdperk van zakelijke AI.