Hexaware over de ontwikkeling, uitdagingen, risico's en voordelen van LLM's

Terwijl de hype rondom AI verder toeneemt, worden steeds meer organisaties zich bewust van de kansen die ze kunnen benutten met behulp van Large Language Models. LLM's verleggen de grenzen van Natural Language Processing en worden getraind op enorme datasets van teksten en code, waardoor ze menselijke taal kunnen begrijpen en genereren. Door de investeringen in LLM's verwacht men dat het gebruik ervan in Europa met 83 procent zal groeien tot het eind van dit decennium, waardoor ze steeds belangrijker worden voor business managers en ondernemers.

Natuurlijk brengt het gebruik van LLM's ook nieuwe risico’s met zich mee, net als alle andere opkomende technologieën, variërend van uitdagingen op het gebied van beveiliging tot ethische vraagstukken. Om de risico’s te voorkomen en voordelen te kunnen benutten is het belangrijk om te weten hoe de LLM’s werken en verder worden ontwikkeld. Pramod Beligere, Vice President Generative AI Practice Head bij Hexaware, deelt zijn kennis en mening hierover.

Mijlpalen in de ontwikkeling van LLM’s
Grote taalmodellen (LLM's) hebben de afgelopen jaren een snelle evolutie doorgemaakt, waardoor er in hun evolutionaire boom drie primaire takken zijn ontstaan: encoder-only, encoder-decoder en decoder-only modellen. “In eerste instantie introduceerden de encoder-only modellen zoals BERT (uitgebracht onder een open source licentie in 2018) bidirectionele training, wat vooral het uitvoeren van begripstaken verbeterde. Daarna liet het decoder-only model GPT-2 (2019) indrukwekkende mogelijkheden voor tekstgeneratie zien. GPT-3 (een ander decoder-only model uit 2020) was weer een grote sprong voorwaarts, met 175 miljard parameters, wat een beter begrip van de context voor tekstgeneratie mogelijk maakte. OpenAI's Codex (2021) richtte zich op het demonstreren van de mogelijkheden voor codegeneratie, terwijl GPT-4o nog geavanceerdere mogelijkheden biedt, waaronder multimodaal begrip.”

Hoe heeft deep learning bijgedragen aan de LLM-ontwikkeling?
“Deep learning is een belangrijke methode van machine learning die ten grondslag ligt aan de snelle ontwikkeling van grote taalmodellen (LLM's). Door neurale netwerken te benutten, met name transformerarchitecturen, stelt deep learning LLM's in staat om tekst van mensen te verwerken en ook te genereren. Technieken zoals aandachtsmechanismen stellen modellen in staat om zich te richten op relevante delen van de invoerdata, wat een beter begrip van de context mogelijk maakt. De schaalbaarheid van deep learning heeft het trainen op enorme datasets mogelijk gemaakt, wat het taalbegrip en de tekstgeneratie verbetert. Vervolgens hebben innovaties zoals transfer learning en fine-tuning de mogelijkheden van LLM's verder verbeterd, waardoor ze nu een breed scala aan taken, van vertaling tot samenvattingen, met een hoge nauwkeurigheid kunnen uitvoeren.”

Wat zijn de belangrijkste uitdagingen voor LLM's?
“De belangrijkste uitdagingen waarmee grote taalmodellen (LLM's) worden geconfronteerd zijn:
• Gebrek aan details over de omvang van de data en de inhoud en herkomst van de data die voor de training zijn gebruikt (wat onder andere juridische gevolgen kan hebben met betrekking tot het auteursrecht)
• De complexe architectuur en enorme parameteraantal maken het moeilijk te begrijpen hoe de modellen tot specifieke uitkomsten komen
• De 'black-box' werking van LLM's vertroebelt het besluitvormingsproces, wat tot zorgen leidt over vooroordelen die in de trainingsdata zijn ingebed.
“Er wordt continu aan gewerkt om de transparantie en interpreteerbaarheid te verbeteren, maar deze uitdagingen moeten nog verder worden aangepakt. ”

Hoe vertroebelt deep learning de transparantie van LLM's?
"De black-box-werking van grote LLM's (gebaseerd op de transformer deep learning-architectuur) resulteert erin dat hun verwerkingsproces niet interpreteerbaar is. De modellen bestaan namelijk uit miljoenen tot miljarden parameters, waardoor het lastig te begrijpen is hoe bepaalde input leidt tot specifieke resultaten. Elke laag in de complexe meerlaagse architectuur transformeert de data op manieren die niet eenvoudig te traceren of uit te leggen zijn. Daarom is het al een uitdaging om te begrijpen wat deze modellen hebben geleerd en hoe ze beslissingen nemen, omdat de kenmerken die door deze modellen zijn geleerd abstract zijn en de beslissingsboom niet traceerbaar is. Deze complexiteit en ondoorzichtigheid zijn een belangrijke uitdaging voor het voldoen aan regelgeving, en transparantievereisten.

Wat zijn de technische uitdagingen om LLM’s transparanter te maken?
“Op deep learning gebaseerde LLM's worden geconfronteerd met transparantie-uitdagingen door hun complexiteit en niet-lineariteit. Belangrijke kwesties zijn onder andere de interpretatie van het model, de toekenning van kenmerken en het traceren van fouten. Ook de biasdetectie en -mitigatie zijn moeilijk, net als het balanceren van de uitlegbaarheid met de prestaties. Het ondoorzichtige besluitvormingsproces en de schaalbaarheid van interpreteerbaarheidsmethoden zorgen ook voor uitdagingen. Om deze technische uitdagingen te kunnen aanpakken, zijn verdere ontwikkelingen in de modelarchitectuur, interpreteerbaarheidstechnieken en gebruikersgericht ontwerpen nodig, voordat AI-systemen transparanter en begrijpelijker worden.”

Voorbeelden van misverstanden door een gebrek aan transparantie
“Het gebrek aan transparantie in grote taalmodellen (LLM's) heeft al geleid tot serieuze problemen. Zo zijn de modellen van OpenAI bekritiseerd omdat ze bevooroordeelde/discriminerende content genereren en de creatie van misinformatie mogelijk maken. Ze zijn al aangeklaagd door meerdere uitgevers van kranten omdat ze hun content zonder toestemming of betaling hebben gebruikt. Recent heeft ook actrice Scarlett Johansson geklaagd dat een synthetische stem voor ChatGPT genaamd 'Sky' lijkt op haar eigen stem en zonder haar toestemming is gemaakt.

“Op een vergelijkbare wijze werd Google's Gemini geconfronteerd met controverse vanwege het produceren van bevooroordeelde en aanstootgevende beelduitvoer op basis van ras en geslacht. Dit leidde tot ethische zorgen en benadrukte de ondoorzichtigheid van het besluitvormingsproces, wat de inspanningen om vooroordelen te identificeren en te verminderen compliceerde. Deze en andere voorbeelden benadrukken de noodzaak van meer transparantie en verantwoording met betrekking tot de werking van LLM's.”

Wat is ‘black box’ AI
‘Black box’ verwijst naar systemen waarvan de interne werking niet transparant is of gemakkelijk te begrijpen is voor mensen. In de context van grote AI-taalmodellen (LLM's) betekent dit dat de processen waarmee ze output genereren uit inputs ondoorzichtig zijn. Dit gebrek aan transparantie maakt het moeilijk om te identificeren hoe beslissingen worden genomen, fouten op te sporen zijn, of vooroordelen binnen het model de antwoorden beïnvloeden. De implicaties zijn aanzienlijk: het compliceert inspanningen om eerlijkheid, verantwoording en betrouwbaarheid te garanderen, en vormt uitdagingen voor het debuggen en verbeteren van de modellen. Deze ondoorzichtigheid kan zowel leiden tot ethische zorgen en wantrouwen, als mogelijk misbruik van de AI-technologieën.

Hoe beïnvloeden deep learning-architecturen de interpreteerbaarheid van LLM's?
“De complexiteit van deep learning-architecturen heeft een grote impact op de interpreteerbaarheid van AI-taalmodellen (LLM's). Deze modellen bevatten meestal miljoenen/miljarden parameters, georganiseerd in ingewikkelde lagen van neurale netwerken. De complexiteit daarvan maakt het lastig om te traceren hoe specifieke invoer leidt tot bepaalde uitvoer. Met als gevolg dat het besluitvormingsproces moeilijk te begrijpen wordt, wat inspanningen om vooroordelen of fouten te identificeren en te beperken, belemmert. Dit gebrek aan interpreteerbaarheid kan het vertrouwen in de uitvoer van het model verminderen en het debuggen, controleren en verbeteren van de LLM en daarop gebaseerde applicatie compliceren. "Daarnaast roept het ethische en praktische zorgen op over de implementatie en het gebruik van LLM's voor kritische toepassingen."

Wat zijn de belangrijkste ethische overwegingen bij het gebruik van LLM's?
“De ethische overwegingen bij het gebruik van grote taalmodellen (LLM's) hebben voornamelijk betrekking op de data die voor de training wordt gebruikt. Belangrijke aandachtspunten zijn:
• Vooroordelen en eerlijkheid: trainingsdata bevat vaak vooroordelen die een weerspiegeling zijn van maatschappelijke vooroordelen. Deze kunnen door LLM's in stand worden gehouden en versterkt, wat kan leiden tot oneerlijke of discriminerende uitkomsten.
• Privacy: Bij trainingen met grote datasets kan onbedoeld gevoelige of persoonlijke informatie worden opgenomen, waardoor er zorgen over de privacy kunnen ontstaan.
• Toestemming: data die men voor trainingen gebruikt, wordt vaak van internet geplukt zonder expliciete toestemming van de makers daarvan. Dit roept ethische vragen op over de eigendom- en gebruiksrechten.
• Transparantie: Gebrek aan transparantie over de databronnen kan de verantwoording en het vertrouwen in de uitkomsten van het model belemmeren.
Bovenstaande aandachtspunten vereisen zorgvuldige datacuratie en ethische richtlijnen om een verantwoorde AI-ontwikkeling te garanderen.”

Hoe is de transparantie van deep learning-modellen te verbeteren?
“Er worden momenteel verschillende methoden en hulpmiddelen ontwikkeld om de transparantie van deep learning-modellen te verbeteren:
• Uitlegbare AI: technieken zoals LIME (Local Interpretable Model-agnostic Explanations) en SHAP (SHapley Additive exPlanations ) helpen bij het interpreteren van modelvoorspellingen door belangrijke kenmerken te benadrukken.
• Modelcontrole: hulpmiddelen zoals IBM's AI Fairness 360 en Google's What-If Tool maken het mogelijk om te controleren op vooringenomenheid en eerlijkheid.
• Visualisatie: Technieken zoals aandachtskaarten en opvallendheidskaarten bieden visuele inzichten in de besluitvormingsprocessen van modellen.
• Interpreteerbare modellen: het ontwikkelen van inherent interpreteerbare modellen, zoals beslissingsbomen of op regels gebaseerde systemen, naast deep learning-modellen.
• Transparantierapporten: Gedetailleerde documentatie van modelarchitectuur, trainingsdata en evaluatiemetrieken om de verantwoordingsplicht te verbeteren.
“Deze inspanningen zijn er allemaal op gericht om AI-systemen begrijpelijker, betrouwbaarder en verantwoordelijker te maken.”

Wat gebeurt er op het gebied van regelgeving?
“De regelgevingskaders die transparantieproblemen van grote taalmodellen (LLM's) aanpakken, zijn nog steeds in ontwikkeling. De Algemene Verordening Gegevensbescherming (AVG) in de EU benadrukt gegevensbescherming en het recht op uitleg, en vereist dat organisaties begrijpelijke informatie verstrekken over geautomatiseerde besluitvormingsprocessen. Verder is de EU AI Act gericht op het stellen van strengere transparantie- en verantwoordingsnormen voor AI-systemen met een hoog risico. In de toekomst kunnen we nog uitgebreidere regelgeving tegemoet zien die gedetailleerde documentatie, bias-audits en uitlegbaarheidsvereisten voor AI-modellen voorschrijft. Deze uitgebreidere regelgeving kan de ontwikkeling van transparantere, eerlijkere en verantwoorde AI-systemen stimuleren, wat meer vertrouwen en ethisch gebruik van AI-technologieën bevordert.”

Wat zijn de risico's en voordelen van het gebruik van transparantere LLM's?
“De voordelen van het gebruik van transparantere LLM’s zijn:
• Vertrouwen en verantwoording: verbeterde transparantie vergroot het vertrouwen bij de gebruikers en vergemakkelijkt de verantwoording
• Detectie van vooroordelen: eenvoudigere identificatie en vermindering van vooroordelen, wat leidt tot eerlijkere uitkomsten
• Naleving van regelgeving: vereenvoudigt de naleving van wettelijke en ethische normen
• Verbeterde foutopsporing: vergemakkelijkt het oplossen van fouten en verbeteren van modellen

Mogelijke risico’s zijn:
• Complexiteit: transparantietools kunnen complexiteit en rekenkundige overhead toevoegen
• Intellectueel eigendom: het onthullen van de interne werking van een model kan bedrijfseigen informatie blootleggen
• Veiligheid: meer transparantie kan kwetsbaarheden onthullen die uitgebuit kunnen worden

“Bedrijven kunnen de voordelen en risico’s in evenwicht brengen door een gelaagde aanpak voor de transparantie te hanteren, waarbij voldoende details aan de belanghebbenden worden verstrekt zonder dat dit ten koste gaat van de bedrijfseigen informatie of beveiliging. Het implementeren van robuuste governance-kaders en het regelmatig auditen van modellen kan ook helpen bij het beheren van de risico's en het realiseren van de voordelen.”

Hoe ziet de toekomst van LLM's eruit?
“De LLM-markt staat op het punt van een significante evolutie. Toekomstige ontwikkelingen gaan zich waarschijnlijk richten op het verbeteren van de interpreteerbaarheid en het verminderen van vooroordelen. Dat is nodig om meer vertrouwen en ethisch gebruik te bevorderen (en om naleving van regelgeving te garanderen). Verder kunnen we verbeteringen verwachten in modelefficiëntie, waardoor krachtigere LLM's kunnen worden uitgevoerd op minder rekenintensieve hardware, zoals edge-apparaten. Multimodale LLM's die diverse inputs kunnen verwerken met minimale latency zullen alomtegenwoordig worden, terwijl ook gespecialiseerde LLM's, onder andere afgestemd op industriële toepassingen, meer toegepast gaan worden.

“Wij zien als IT-dienstverlener ook dat er steeds meer kleine en krachtige open source-modellen worden gecreëerd, die organisaties meer en betere keuzes bieden. Kleinere modellen kunnen ook zinvol zijn bij het implementeren van agentspecifieke workflows, omdat elk model zich kan richten op bepaalde taken waardoor er minder kostenintensieve grote algemene LLM's nodig zijn.”