LLM vaker ingezet voor geavanceerde en geautomatiseerde cyberaanvallen

Cisco Talos, onderzoeksdivisie die zich richt op cyberdreigingen, waarschuwt voor een alarmerende trend: cybercriminelen maken steeds vaker gebruik van large language models om hun cyberaanvallen te automatiseren en te verbeteren. Volgens het nieuwe Talos-onderzoek blijken cybercriminelen niet alleen reguliere AI-diensten, maar ook gebruik te maken van speciaal aangepaste modellen en zogeheten ‘jailbroken’ versies. Hiermee kunnen zij overtuigende phishingcampagnes opzetten en complexe schadelijke code te schrijven.

Dankzij hun vermogen om overtuigende teksten te genereren, problemen op te lossen, computercode te schrijven en nog veel meer, winnen LLM’s overal aan populariteit. Volgens Hugging Face (een platform dat modellen host) zijn er op dit moment al meer dan 1,8 miljoen verschillende modellen om uit te kiezen. De meeste van die modellen hebben ingebouwde beveiligingen en beperkingen (zogenaamde ‘guardrails’ en ‘alignments’) om te voorkomen dat de gebruiker hun tool voor criminele doeleinden inzet.

Ongecensureerde LLM’s: een groeiende dreiging
Talos constateert echter dat er heel wat ‘ongecensureerde’ LLM’s zijn waarmee cybercriminelen zeer realistische phishingberichten en frauduleuze communicatie kunnen opstellen, vaak zonder taalfouten of verdachte formuleringen. Hierdoor zijn slachtoffers sneller geneigd om persoonlijke of zakelijke informatie prijs te geven. Voorbeelden zijn Ollama en WhiteRabbitNeo. Die laatste promoot zichzelf als een model dat zowel defensieve als offensieve cybersecurity ondersteunt.
Volgens de analyse van Cisco bestaan er ook methoden om ingebouwde beperkingen (‘alignments’) te verwijderen. Zo kan een gebruiker het trainingsbestand aanpassen, het basismodel verder finetunen en het LLM op die manier de-censureren.

Malafide LLM’s: cybercriminele bouwen hun eigen tools
Sommige cybercriminelen hebben hun eigen LLM’s ontwikkeld die ze actief promoten op het darkweb. Deze malafide LLM’s zijn in staat om autonoom schadelijke software te creëren, zoals ransomware, remote access trojans, wipers, shellcode en diverse scripts schrijven.

Daarnaast helpen malafide LLM’s bij het maken van content, zoals phishingmails, landingspagina’s en configuratiebestanden. Ze verifiëren gestolen creditcards, scannen websites en code op kwetsbaarheden, en bedenken zelfs nieuwe winstgevende criminele strategieën. Voorbeelden van zulke malafide apps zijn GhostGPT, WormGPT, DarkGPT, DarkestGPT en FraudGPT.  Uit onderzoek van Talos blijkt dat FraudGPT onderdeel is van een bredere scamcampagne.

Legitieme LLM’s: een aantrekkelijk doelwit voor misbruik
Gezien de beperkte levensvatbaarheid van ongecensureerde LLM’s en het grote scamrisico van malafide LLM’s, kiezen cybercriminelen er vaak voor om legitieme LLM’s te misbruiken. Deze modellen bieden een krachtig platform voor aanvallers, mits ze erin slagen de ingebouwde beveiligingen te omzeilen. Het grootste obstakel daarbij zijn de ingebouwde trainingsrichtlijnen en beveiliginsmaatregelen die voorkomen dat het model reageert op vragen met onethische, illegale of schadelijke inhoud. Om deze beperkingen te omzeilen, maken cybercriminelen gebruik van technieken zoals prompt injection. Hiermee proberen ze de modellen te ‘jailbreaken’ en de ingebouwde restricties te omzeilen, zodat het model alsnog schadelijke output kan genereren.

"Om het misbruik van large language models tegen te gaan, is het cruciaal dat organisaties hun beveiliging daarop inrichten," zegt Jan Heijdra, Field CTO Security bij Cisco Nederland. "Dit betekent dat organisaties AI-gebruik moeten monitoren, verdachte prompts moeten detecteren en medewerkers moeten trainen om AI-gegenereerde phishingmails te herkennen. Daarnaast adviseren we om uitsluitend te werken met vertrouwde modellen en goed beveiligde platforms."