Databricks: Gouden eeuw van data en AI is aangebroken

In het halfjaar na de lancering van ChatGPT is de wereld wakker geschud wat betreft de enorme potentie van AI. En bedrijven hebben zich massaal op deze nieuwe technologie gestort. Zo is het gebruik van API's van online LLM's zoals ChatGPT met 1310 procent gestegen tussen november 2022 en mei 2023. Het is een van de inzichten uit het nieuwe onderzoeksrapport van Databricks, The State of Data and AI 2023. Nog een inzicht: we staan aan het begin van een gouden eeuw van data en AI.

Voor dit onderzoek analyseerde Databricks geanonimiseerde gebruiksdata van ruim 9000 klanten om trends in data- en AI-gebruik te ontdekken. Uit de analyse blijkt een gestage stijging in AI-gebruik vanaf februari 2022, met een explosie na de lancering van ChatGPT.

Naast LLM-gebruik ziet Databricks ook dat natuurlijke taalverwerking (NLP) populairder is geworden: zo’n 49 procent van het gebruik van Python data science libraries is bestemd voor deze technologie. Ook transformer-modellen worden nog altijd veel gebruikt, hoewel het gebruik ‘slechts’ met 82 procent steeg tussen november 2022 en mei 2023. Al dit AI-gebruik heeft als resultaat dat organisaties meer modellen in gebruik nemen  dan ooit. Het aantal in gebruik genomen machine learning-modellen steeg met 411 procent jaar op jaar, en het aantal machine learning-experimenten steeg met 54 procent jaar op jaar.

Open source baant de weg voor data en AI
Open source-software is ontzettend populair in de wereld van data en AI. 8 van de 10 meest gebruikte data- en AI-producten zijn gebaseerd op open source. De snelstgroeiende adoptie ziet Databricks bij dbt, een tool voor datatransformatie, gevolgd door Fivetran en Informatica (de enige twee enterprise software-oplossingen op de lijst). De meest gebruikte oplossingen in absolute aantallen zijn Microsoft Power BI, Plotly en Tableau.
Download het volledige onderzoeksrapport