CyberArk biedt open source tool voor bescherming tegen misbruik AI-modellen

CyberArk stelt FuzzyAI beschikbaar, een open source framework dat jailbreaks heeft uitgevoerd op alle belangrijke AI-modellen en organisaties helpt bij het identificeren en aanpakken van kwetsbaarheden van die modellen. De makers deden onderzoek naar onder andere het omzeilen van security-buffers en het genereren van schadelijke uitvoer in cloud-hosted en in-house AI-modellen. FuzzyAI herkent deze kwetsbaarheden en kan gebruikers waarschuwen.

De tool biedt organisaties een systematische aanpak voor het testen van AI-modellen tegen verschillende kwaadaardige inputs, het blootleggen van potentiële zwakke punten in hun beveiligingssystemen en het veiliger maken van AI-ontwikkeling en -implementatie. De kern van FuzzyAI is een krachtige ‘fuzzer’ - een tool die softwarefouten en kwetsbaarheden blootlegt. Deze fuzzer doet dat via meer dan tien verschillende aanvalstechnieken, van het omzeilen van ethische filters tot verborgen systeemprompts.

Met FuzzyAI kunnen organisaties en onderzoekers ook hun eigen aanvalsmethoden toevoegen om testen op maat te maken voor domeinspecifieke kwetsbaarheden. Bovendien kunnen ervaringen worden gedeeld binnen een community, zodat continue vooruitgang en kennisuitwisseling op het gebied van aanvalstechnieken en verdedigingsmechanismen plaatsvindt.

“De lancering van FuzzyAI is een volgende stap in onze strategie voor AI-security en helpt organisaties een belangrijke stap voorwaarts te zetten in het aanpakken van de beveiligingsproblemen die inherent zijn aan het zich ontwikkelende landschap van het gebruik van AI-modellen”, zegt Peretz Regev, Chief Product Officer bij CyberArk. “FuzzyAI is ontwikkeld door CyberArk Labs en heeft aangetoond dat het in staat is om elk belangrijk getest AI-model te jailbreaken. FuzzyAI stelt organisaties en onderzoekers in staat om zwakke plekken te identificeren en hun AI-systemen actief te versterken tegen opkomende bedreigingen.”

Beschikbaarheid FuzzyAI
Het volledig uitbreidbare framework van FuzzyAI is beschikbaar als open-source software op de GitHub-pagina van CyberArk Labs.