Un innovativo strumento open source per proteggersi dai jailbreak dei modelli di AI
CyberArk, leader mondiale nell’identity security, ha presentato FuzzyAI, un innovativo framework open source che si è rivelato capace di effettuare il jailbreak di tutti i principali modelli di AI testati. FuzzyAI aiuta le aziende a identificare e risolvere le vulnerabilità dei modelli di AI – come il bypass dei guardrail e la generazione di output pericolosi – ospitati nel cloud e in-house.
Perché FuzzyAI?
I modelli di intelligenza artificiale stanno trasformando ogni settore con applicazioni innovative dedicate a interazioni con i clienti, miglioramento dei processi interni e automazione. Il loro utilizzo interno porta con sé anche nuove sfide per la sicurezza, di fronte alle quali la maggior parte delle aziende è ancora impreparata.
FuzzyAI aiuta a risolverne alcune, offrendo un approccio sistematico per testare i modelli di AI rispetto a vari input malevoli, scoprendo potenziali punti deboli nei sistemi di sicurezza e rendendo quindi più sicuro lo sviluppo e l’implementazione dell’AI. Il cuore di FuzzyAI è un potente fuzzer – uno strumento che rivela difetti e vulnerabilità del software – in grado di esporre quelle trovate utilizzando oltre dieci tecniche di attacco differenti, dal bypass di filtri etici all’esposizione di prompt di sistema nascosti.
Tra le caratteristiche principali di FuzzyAI ritroviamo:
- Capacità estese di fuzzing: FuzzyAI sonda i modelli di intelligenza artificiale utilizzando diverse tecniche di attacco per evidenziare vulnerabilità, quali bypass dei guardrail, fuga di informazioni, prompt injection o generazione di output pericolosi.
- Un framework estendibile: aziende e ricercatori possono aggiungere proprie metodologie di attacco per personalizzare i test su vulnerabilità specifiche del dominio.
- Collaborazione con la community: un ecosistema in crescita, guidato dagli utenti, garantisce un continuo progresso delle tecniche di attacco e dei meccanismi di difesa.
“Il lancio di FuzzyAI sottolinea l’impegno di CyberArk per la protezione dell’AI e aiuta le aziende a compiere un significativo passo avanti nell’affrontare i problemi di sicurezza insiti nell’’’utilizzo in evoluzione di questi modelli,” ha dichiarato Peretz Regev, Chief Product Officer di CyberArk. “Sviluppato dai CyberArk Labs, FuzzyAI ha mostrato sul campo la capacità di effettuare il jailbreak di tutti i principali modelli di AI testati, e consentendo ad aziende e ricercatori di identificarne i punti deboli e rafforzare attivamente i propri sistemi contro le minacce emergenti.”
