Claude scoort 95 procent dankzij sterk datafundament
Anthropic stelt dat AI-assistent Claude inmiddels circa 95 procent van de business analytics-vragen intern bij het bedrijf automatisch afhandelt. Volgens het AI-bedrijf ligt de nauwkeurigheid daarbij gemiddeld eveneens rond de 95 procent.
Hierdoor kunnen data scientists bij Anthropics zich meer richten op complexere werkzaamheden, zoals forecasting, causale analyses en machine learning, terwijl routinematige informatieverzoeken door Claude worden afgehandeld.
Resultaat van meer dan alleen een krachtig taalmodel
Opvallend is dat Anthropic het behaalde resultaat niet toeschrijft aan de kwaliteit van het taalmodel alleen. Volgens het bedrijf is de betrouwbaarheid vooral het gevolg van een zorgvuldig opgebouwde analytics-architectuur, bestaande uit een semantische laag, eenduidige definities van bedrijfsbegrippen, uitgebreide metadata en een strakke data governance.
Ook gestandaardiseerde analyseprocedures spelen een belangrijke rol. Zonder deze vastgelegde werkwijzen daalde de nauwkeurigheid in interne tests naar ongeveer 21 procent; met deze ondersteuning kwam die boven de 95 procent uit.
Bevestiging van bekende BI-principes
Voor BI-professionals bevat deze conclusie weinig verrassingen. Dat betrouwbare analyses afhankelijk zijn van consistente definities, een goed datamodel en kwalitatief hoogwaardige data vormt al jarenlang de basis van business intelligence.
De praktijkcase van Anthropic laat vooral zien dat deze uitgangspunten ook gelden voor generatieve AI, en dat een leidende leverancier op dit gebied dat in zijn eigen praktijk bewijst. Een taalmodel kan gebruikers weliswaar in natuurlijke taal toegang geven tot bedrijfsdata, maar blijft afhankelijk van de kwaliteit van de onderliggende semantische modellen en governance.
Klassieke BI-disciplines winnen aan belang
Daarmee is de belangrijkste boodschap dat de inzet van AI het belang van klassieke BI-disciplines vergroot. Datamodellering, business glossary’s, metadata, semantische modellen en datagovernance worden bepalend voor de betrouwbaarheid van AI-gestuurde self-service analytics.
De ervaringen van Anthropic bevestigen wat binnen de BI-wereld al langer bekend is: een geavanceerd taalmodel maakt een slecht datamodel niet slimmer. Ze inspireren ook om de BI-disciplines op orde te krijgen.
In een blog gaat Anthropic uitgebreid in op de inrichting van het datafundament.
