GPT-o1 e le sue Implicazioni Report

Negli ultimi anni, l’introduzione di GPT-o1, soprannominato “strawberry”, ha portato un’ondata di interesse e discussioni nell’ambito dell’intelligenza artificiale (IA). Questo articolo mira a esplorare in profondità le caratteristiche di GPT-o1, le sue implicazioni sulla governance dell’IA e le domande ancora aperte riguardanti il suo funzionamento.

Caratteristiche di GPT-o1

Innovazione attraverso il Ragionamento Chain-of-Thought

GPT-o1 si basa su un’evoluzione incrementale dei modelli di intelligenza artificiale, introducendo miglioramenti significativi nelle capacità di ragionamento attraverso un processo noto come “chain-of-thought” (catena di pensiero). Questo approccio consente al modello di “pensare” attivamente prima di produrre una risposta, generando token intermedi che rappresentano le diverse fasi del ragionamento. Sebbene questi token non siano visibili all’utente finale, migliorano la qualità delle risposte fornite, soprattutto in compiti complessi che richiedono un ragionamento sequenziale.

L’aumento della capacità di ragionamento del modello richiede, però, un impiego maggiore di risorse computazionali durante l’inferenza, il che implica un rapporto diretto tra il miglioramento delle prestazioni e l’incremento della potenza computazionale. Tuttavia, l’incremento di capacità non è un cambiamento radicale, ma piuttosto una continuazione della tendenza già osservata nelle precedenti versioni dei modelli AI basati sul ragionamento a catena.

Relazione tra Compute e Performance

Uno degli aspetti centrali del miglioramento di GPT-o1 è la relazione tra la potenza computazionale (compute) e le prestazioni del modello. Questa relazione può essere semplificata con la seguente equazione:

Performance = Compute_Training​ × AlgorithmicEfficiency_Training​× Compute_Inference ​×A lgorithmicEfficiency_Inference​

In questo schema, la performance complessiva di GPT-o1 dipende non solo dalla potenza computazionale disponibile sia durante l’addestramento che l’inferenza, ma anche dall’efficienza algoritmica in entrambe le fasi. L’idea di fondo è che, aumentando la potenza computazionale in fase di inferenza, è possibile ottenere risposte più accurate e sofisticate, sebbene ciò richieda risorse significative.

Incremento delle Capacità

L’aumento della potenza computazionale, dunque, non solo migliora le capacità di ragionamento del modello, ma rende possibile una sua applicazione su più fronti, soprattutto laddove sono richieste elaborazioni complesse e a più passaggi. Sebbene l’aumento delle prestazioni sia evidente, resta da chiarire quanto sia efficiente aumentare la potenza computazionale rispetto ai costi associati e quali siano i limiti di questa strategia.

Implicazioni per la Governance dell’IA

L’incremento dell’uso della potenza computazionale durante l’inferenza ha profonde implicazioni in termini di governance dell’intelligenza artificiale. Con la crescente sofisticazione dei modelli come GPT-o1, le organizzazioni, le industrie e i governi devono affrontare nuove sfide in termini di regolamentazione, distribuzione delle risorse e responsabilità.

Scaling dei Lavoratori AI

L’accesso a una maggiore potenza computazionale consente un numero sempre crescente di lavoratori AI operativi simultaneamente. In settori come l’assistenza sanitaria, il settore legale o la finanza, ciò potrebbe tradursi in una forza lavoro di “assistenti virtuali” alimentati da GPT-o1, capaci di supportare decisioni complesse e aumentare l’efficienza complessiva. Tuttavia, ciò apre anche questioni relative alla disuguaglianza di accesso a tali risorse e all’impatto su posti di lavoro tradizionali.

Stato di Sorveglianza

Una delle preoccupazioni più importanti riguarda l’uso di modelli AI per la sorveglianza di massa. L’accesso a modelli più potenti, combinato con una potenza computazionale sufficiente, potrebbe consentire a governi e organizzazioni di monitorare individui su una scala senza precedenti. Questo scenario solleva gravi questioni etiche e pone un interrogativo sulle salvaguardie necessarie per proteggere i diritti alla privacy e alla libertà.

Rilevanza Economica e Risorse Computazionali

Il costo della potenza computazionale è un fattore decisivo nella determinazione della competitività nel settore dell’IA. Modelli come GPT-o1 richiedono risorse costose per essere implementati su larga scala, il che potrebbe creare una situazione in cui solo grandi organizzazioni o nazioni con accesso a tali risorse possono beneficiare pienamente delle nuove tecnologie, lasciando indietro aziende più piccole o paesi in via di sviluppo.

Domande Aperte

Sebbene GPT-o1 rappresenti un progresso significativo, restano molte domande irrisolte riguardanti il suo funzionamento e le sue implicazioni a lungo termine. Alcuni dei quesiti più rilevanti includono:

Qual è il ruolo esatto del processo di ragionamento nella valutazione dei modelli? GPT-o1 utilizza il chain-of-thought per migliorare la qualità delle risposte, ma è necessario comprendere meglio come questo processo influisca sulla valutazione globale delle prestazioni.

Come si traduce la potenza computazionale in capacità generali? Sebbene esista una correlazione tra risorse computazionali e miglioramento delle prestazioni, la relazione precisa tra queste due variabili deve essere ancora chiarita.

Quali sono le implicazioni per la sicurezza informatica e la protezione dei dati? L’aumento della potenza dei modelli come GPT-o1 potrebbe comportare nuovi rischi per la cybersecurity, specialmente se utilizzati in contesti vulnerabili alla manipolazione di dati sensibili.

Appendice

Sebbene vi siano validi argomenti a favore del potenziale di governance esercitato tramite la capacità computazionale prima dell’addestramento di un’IA, tale potenziale può essere applicato anche durante la fase di deployment. La maggior parte delle risorse computazionali dedicate all’IA, infatti, viene impiegata durante il deployment, ovvero nella fase di inferenza.

In termini generali, una maggiore disponibilità di risorse di calcolo si traduce in un maggior numero di inferenze, che a loro volta possono produrre un impatto più significativo e potenzialmente dannoso. Ad esempio, un chatbot utilizzato da 100 milioni di utenti rispetto a uno utilizzato da 1 milione di utenti richiede 100 volte più capacità computazionale e potrebbe generare un impatto 100 volte maggiore. Inoltre, modelli di dimensioni maggiori — quelli con un numero più elevato di parametri — richiedono più capacità di calcolo in maniera proporzionale durante la fase di inferenza. Pertanto, in una certa misura, il rapporto tra capacità computazionale e impatto osservato nell’addestramento si estende anche al deployment.

Dato che i requisiti computazionali durante l’inferenza sono ridotti e variegati, non è praticabile regolare ogni singola istanza di inferenza. Tuttavia, la maggior parte dei deployment su larga scala avviene su grandi cluster computazionali simili a quelli utilizzati per l’addestramento, di proprietà di fornitori di servizi cloud. Ciò implica che anche questi deployment possono essere soggetti a una supervisione e che le capacità di governance della computazione possano essere mobilitate. Questo concetto è definito come “supervisione del deployment”. Tale supervisione potrebbe non solo prevedere l’utilizzo delle risorse computazionali come nodo di governance per il rilevamento e l’applicazione di misure correttive contro deployment dannosi, ma anche per garantirne l’interruzione in caso di necessità.

La supervisione del deployment può potenziare la responsabilità e permettere una risposta agli incidenti più efficace, offrendo un meccanismo per l’attribuzione post-incidente. In caso di un incidente causato da un sistema di IA, è essenziale comprendere come si sia verificato e bloccare ulteriori danni. In particolare, riteniamo che sia utile:

(a) Avere la capacità di spegnere immediatamente il sistema di IA, prevenendo così ulteriori danni. Prima avviene l’intervento, maggiore è il danno evitato. (b) Identificare chi ha eseguito il deployment del modello. I fornitori di servizi cloud potrebbero tracciare le azioni e i risultati del modello fino al loro originatore.

Tecniche come watermarking o firme sui risultati del modello potrebbero facilitare questo processo. (c) Capire l’origine del modello. Domande come se il modello sia derivato da un altro, chi sia il creatore originale, se il modello sia stato rubato e chi sia responsabile, sono di cruciale importanza.

Pratiche di governance simili a questa esistono già. Ad esempio, i siti web che ospitano attività illegali, come la vendita di droghe, spesso mantengono anonimi i loro gestori, e l’unico intervento possibile consiste nel chiudere i server che ospitano tali siti. Un accesso governativo rapido e un contatto diretto con l’host — ruolo analogo a quello che i fornitori di servizi cloud possono assumere in questo contesto — possono essere strumenti fondamentali per agire tempestivamente.

Inoltre, si prevede che la maggior parte delle risorse computazionali destinate all’inferenza potrebbe essere regolamentata e governata, poiché è ospitata in un numero ristretto di data center che contengono un gran numero di chip per l’IA (Pilz & Heim, 2023) — in maniera simile a come vengono utilizzate le infrastrutture per l’addestramento dei sistemi IA.

Di conseguenza, la maggior parte della capacità computazionale per l’inferenza potrebbe essere impiegata come meccanismo di difesa contro l’uso incontrollato delle risorse computazionali, sia orchestrato da esseri umani che da sistemi di IA non governati.

Ciò potrebbe portare a uno scenario di “dominanza dell’inferenza”, in cui la capacità di distribuire copie multiple di un modello e di eseguire più inferenze per scopi difensivi supera di gran lunga le applicazioni offensive.

Se modelli potenti con possibilità di essere utilizzati in modo improprio diventassero ampiamente accessibili, ad esempio con requisiti computazionali che ne consentono il deployment su dispositivi personali, un governo potrebbe garantire che la maggior parte delle risorse computazionali sia destinata alla mitigazione di tali abusi. Infine, questo dipenderà dall’equilibrio tra attacco e difesa dei futuri sistemi di IA (Garfinkel & Dafoe, 2019).

Infine, è nell’interesse dei fornitori di servizi computazionali garantire che la loro infrastruttura sia utilizzata in modo sicuro e che i modelli distribuiti rispettino determinati standard di sicurezza. I fornitori di servizi computazionali dovrebbero anche essere incentivati a ridurre la loro responsabilità, seguendo pratiche di sicurezza e prevenendo l’abuso delle loro risorse, trasferendo così la responsabilità al deployer e/o al fornitore del modello base.