Cisco Talos, onderzoeksdivisie die zich richt op cyberdreigingen, waarschuwt voor een alarmerende trend: cybercriminelen maken steeds vaker gebruik van large language models om hun cyberaanvallen te automatiseren en te verbeteren. Volgens het nieuwe Talos-onderzoek blijken cybercriminelen niet alleen reguliere AI-diensten, maar ook gebruikmaken van speciaal aangepaste modellen en zogeheten ‘jailbroken’ versies. Hiermee kunnen zij overtuigende phishingcampagnes opzetten en complexe schadelijke code te schrijven.
Dankzij hun vermogen om overtuigende teksten te genereren, problemen op te lossen, computercode te schrijven en nog veel meer, winnen LLM’s overal aan populariteit. Volgens Hugging Face (een platform dat modellen host) zijn er op dit moment al meer dan 1,8 miljoen verschillende modellen om uit te kiezen. De meeste van die modellen hebben ingebouwde beveiligingen en beperkingen (zogenaamde ‘guardrails’ en ‘alignments’) om te voorkomen dat de gebruiker hun tool voor criminele doeleinden inzet.
Ongecensureerde LLM’s: een groeiende dreiging
Talos constateert echter dat er heel wat ‘ongecensureerde’ LLM’s zijn waarmee cybercriminelen zeer realistische phishingberichten en frauduleuze communicatie kunnen opstellen, vaak zonder taalfouten of verdachte formuleringen. Hierdoor zijn slachtoffers sneller geneigd om persoonlijke of zakelijke informatie prijs te geven. Voorbeelden zijn Ollama en WhiteRabbitNeo. Die laatste promoot zichzelf als een model dat zowel defensieve als offensieve cybersecurity ondersteunt.
Volgens de analyse van Cisco bestaan er ook methoden om ingebouwde beperkingen (‘alignments’) te verwijderen. Zo kan een gebruiker het trainingsbestand aanpassen, het basismodel verder finetunen en het LLM op die manier de-censureren.
Malafide LLM’s: cybercriminele bouwen hun eigen tools
Sommige cybercriminelen hebben hun eigen LLM’s ontwikkeld die ze actief promoten op het darkweb. Deze malafide LLM’s zijn in staat om autonoom schadelijke software te creëren, zoals ransomware, remote access trojans, wipers, shellcode en diverse scripts schrijven.
Daarnaast helpen malafide LLM’s bij het maken van content, zoals phishingmails, landingspagina’s en configuratiebestanden. Ze verifiëren gestolen creditcards, scannen websites en code op kwetsbaarheden, en bedenken zelfs nieuwe winstgevende criminele strategieën. Voorbeelden van zulke malafide apps zijn GhostGPT, WormGPT, DarkGPT, DarkestGPT en FraudGPT. Uit onderzoek van Talos blijkt dat FraudGPT onderdeel is van een bredere scamcampagne.
Legitieme LLM’s: een aantrekkelijk doelwit voor misbruik
Gezien de beperkte levensvatbaarheid van ongecensureerde LLM’s en het grote scamrisico van malafide LLM’s, kiezen cybercriminelen er vaak voor om legitieme LLM’s te misbruiken. Deze modellen bieden een krachtig platform voor aanvallers, mits ze erin slagen de ingebouwde beveiligingen te omzeilen. Het grootste obstakel daarbij zijn de ingebouwde trainingsrichtlijnen en beveiliginsmaatregelen die voorkomen dat het model reageert op vragen met onethische, illegale of schadelijke inhoud. Om deze beperkingen te omzeilen, maken cybercriminelen gebruik van technieken zoals prompt injection. Hiermee proberen ze de modellen te ‘jailbreaken’ en de ingebouwde restricties te omzeilen, zodat het model alsnog schadelijke output kan genereren.
"Om het misbruik van large language models tegen te gaan, is het cruciaal dat organisaties hun beveiliging daarop inrichten," zegt Jan Heijdra, Field CTO Security bij Cisco Nederland. "Dit betekent dat organisaties AI-gebruik moeten monitoren, verdachte prompts moeten detecteren en medewerkers moeten trainen om AI-gegenereerde phishingmails te herkennen. Daarnaast adviseren we om uitsluitend te werken met vertrouwde modellen en goed beveiligde platforms."
27 t/m 29 oktober 2025Praktische driedaagse workshop met internationaal gerenommeerde trainer Lawrence Corr over het modelleren Datawarehouse / BI systemen op basis van dimensioneel modelleren. De workshop wordt ondersteund met vele oefeningen en pra...
29 en 30 oktober 2025 Deze 2-daagse cursus is ontworpen om dataprofessionals te voorzien van de kennis en praktische vaardigheden die nodig zijn om Knowledge Graphs en Large Language Models (LLM's) te integreren in hun workflows voor datamodel...
3 t/m 5 november 2025Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ri...
11 en 12 november 2025 Organisaties hebben behoefte aan data science, selfservice BI, embedded BI, edge analytics en klantgedreven BI. Vaak is het dan ook tijd voor een nieuwe, toekomstbestendige data-architectuur. Dit tweedaagse seminar geeft antwoo...
17 t/m 19 november 2025 De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot...
25 en 26 november 2025 Worstelt u met de implementatie van data governance of de afstemming tussen teams? Deze baanbrekende workshop introduceert de Data Governance Sprint - een efficiënte, gestructureerde aanpak om uw initiatieven op het...
26 november 2025 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met ...
9 december (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
Deel dit bericht