Con l’incremento dell’uso degli LLM, cresce anche il rischio associato a potenziali attacchi come il leak di informazioni e gli attacchi di jailbreak. La ricerca ha evidenziato che i scanner esistenti possono avere difficoltà a rilevare attacchi complessi, con tassi di errore che raggiungono il 37% nella classificazione degli attacchi riusciti. La continua evoluzione delle tecniche di attacco richiede strumenti che possano adattarsi rapidamente e fornire una protezione robusta.
Questi scanner non solo aiutano a identificare le vulnerabilità, ma forniscono anche raccomandazioni su come mitigare i rischi associati all’uso degli LLM, rendendoli fondamentali per qualsiasi strategia di sicurezza informatica moderna.
L’articolo di ricerca, “Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis”, esamina e confronta vari scanner di vulnerabilità open-source per modelli di linguaggio di grandi dimensioni (LLM). Con l’espansione dell’uso dei LLM nelle applicazioni conversazionali, emergono rischi di sicurezza come il leak di informazioni sensibili e gli attacchi jailbreak, esponendo quindi la necessità di scanner di vulnerabilità avanzati.
Lo studio compara quattro strumenti principali: Garak, Giskard, PyRIT, e CyberSecEval, concentrandosi su metriche chiave come la copertura degli attacchi, l’efficacia e l’affidabilità degli scanner nella rilevazione di vulnerabilità nei modelli. Ogni scanner si distingue per funzionalità specifiche:
- Garak – offre la più ampia suite di test e si basa su un set di attacchi statici con aggiornamenti frequenti e integrazione con le guardrail di Nvidia NeMo, per rilevare vulnerabilità di jailbreak.
- Giskard – impiega attacchi basati su LLM per una maggiore flessibilità, ed è particolarmente utile per chi cerca opzioni personalizzabili e multi-lingua, utilizzando contesti specifici per attacchi mirati.
- PyRIT – noto per la personalizzazione, consente di accedere direttamente alle istruzioni di attacco ed è particolarmente utile per red team orientati a configurazioni personalizzate, con attacchi multi-turno.
- CyberSecEval – concentra i test sulla sicurezza del codice generato dai LLM, utilizzando strumenti di analisi statica come Regex, Weggli e Semgrep per identificare pratiche di codifica insicure.
L’analisi fornisce inoltre raccomandazioni strategiche per scegliere lo scanner più adatto alle esigenze aziendali, da team che necessitano di ampie suite di test pronte all’uso a team agili focalizzati su configurazioni specifiche.