COMPL-AI open-source compliance-centered evaluation framework for Generative AI models
Alcuni dei più noti modelli di intelligenza artificiale sviluppati dalle grandi aziende tecnologiche stanno mostrando carenze in termini di conformità con le normative dell’Unione Europea, specialmente in aree critiche come la resilienza alla cybersicurezza e la produzione di output discriminatori.
Questo nuovo framework, sviluppato dalla startup svizzera LatticeFlow AI in collaborazione con due istituti di ricerca, ETH Zurich e INSAIT (Bulgaria), rappresenta la prima interpretazione tecnica del regolamento europeo sull’intelligenza artificiale (EU AI Act). Il framework mappa i requisiti normativi in requisiti tecnici, fornendo così una guida pratica per l’implementazione.
Il lancio ha anche incluso la prima valutazione della conformità dei modelli fondazionali pubblici, sviluppati da aziende come OpenAI (supportata da Microsoft), Meta, Google (unità di Alphabet), Anthropic e Alibaba, rispetto all’interpretazione tecnica dell’EU AI Act, secondo quanto riportato da LatticeFlow.
Lo strumento valuta i modelli di AI con un punteggio compreso tra 0 e 1, su decine di categorie che includono robustezza tecnica e sicurezza.
Dall’introduzione di ChatGPT da parte di OpenAI nel 2022, i servizi di intelligenza artificiale generativa sono diventati un argomento centrale. A livello globale, molte aziende hanno lanciato propri modelli di linguaggio, capaci di generare contenuti testuali, immagini, video e voce. Tuttavia, l’uso appropriato di questa tecnologia ha spinto i legislatori a elaborare regole specifiche per le cosiddette “intelligenze artificiali di uso generale.”
L’AI Act dell’UE entrerà in vigore in diverse fasi nei prossimi due anni.
Secondo una classifica pubblicata da LatticeFlow e riportata da Reuters, i modelli sviluppati da Alibaba, Anthropic, OpenAI, Meta e Mistral hanno ottenuto punteggi medi di 0,75 o superiori. Tuttavia, lo strumento “Large Language Model Checker” ha evidenziato alcune carenze in aree chiave, suggerendo che le aziende dovranno investire risorse aggiuntive per garantire la piena conformità.
“La Commissione Europea accoglie con favore questo studio e la piattaforma di valutazione dei modelli di AI come un primo passo verso la traduzione dell’AI Act in requisiti tecnici, aiutando i fornitori di modelli di AI a implementare il regolamento,” ha dichiarato Thomas Regnier, portavoce della Commissione Europea per l’economia digitale, la ricerca e l’innovazione.
Un problema ricorrente nello sviluppo di modelli di AI generativa è la produzione di output discriminatori, che riflettono i pregiudizi umani legati a genere, razza e altre aree. Nella categoria relativa all’output discriminatorio, il “GPT-3.5 Turbo” di OpenAI ha ottenuto un punteggio relativamente basso di 0,46, mentre il modello “Qwen1.5 72B Chat” di Alibaba Cloud ha registrato un punteggio di soli 0,37.
Per quanto riguarda la resistenza al “prompt hijacking”, un tipo di attacco informatico in cui gli hacker inseriscono comandi malevoli camuffati come legittimi per ottenere informazioni sensibili, il modello “Llama 2 13B Chat” di Meta ha ricevuto un punteggio di 0,42, mentre il modello “8x7B Instruct” della francese Mistral ha ottenuto 0,38.
Il modello “Claude 3 Opus” di Anthropic, sostenuto da Amazon e Google, ha registrato il punteggio medio più alto, pari a 0,89.
“Invitiamo altri gruppi di ricerca e professionisti a contribuire al perfezionamento della mappatura dell’AI Act, aggiungendo nuovi benchmark e ampliando questo framework open-source,” ha affermato Martin Vechev, Professore Ordinario presso l’ETH Zurich e Fondatore e Direttore Scientifico di INSAIT a Sofia, Bulgaria.