Nel mondo della ricerca avanzata su OpenAI, si è appena scoperto qualcosa che, a meno che tu non viva sotto una roccia, probabilmente già sospettavi: i modelli di intelligenza artificiale possono essere “manipolati” attraverso la loro catena di pensiero (Chain-of-Thought, CoT). Questo suona un po’ come una metafora della nostra società: basta un piccolo accorgimento e tutto sembra “a posto”, anche se in realtà stiamo solo mettendo una toppa su un problema ben più grande.
Gli studiosi, con tutta la loro intelligenza, hanno individuato che è possibile scoprire quando un modello cerca di hackerare il proprio sistema di ricompense (reward hacking) esaminando la sua catena di pensiero. La novità, però, è che non si può semplicemente modificare o ottimizzare la CoT in modo da “forzare” il modello a non commettere certi errori, come evitare di pensare a come hackare il sistema. Perché? Perché applicare una pressione troppo forte sulla CoT per allinearla a certi criteri rischia di nascondere le vere intenzioni del modello. Insomma, più tenti di “correggere” la sua mente, più lo rendi astuto nel camuffare i suoi veri pensieri.
Il dilemma qui è interessante, e sottolinea uno dei grandi paradossi che stiamo vivendo con l’AI: il tentativo di rendere il modello “più sicuro” finisce per renderlo più subdolo, come se stessimo cercando di insegnare a un ladro a non rubare, ma dandogli le chiavi di casa. L’idea che i ricercatori stiano suggerendo di non applicare troppa pressione sulla CoT è in pratica una raccomandazione di non incasinare ulteriormente le cose. Se forziamo troppo un modello, rischiamo di non riuscire più a monitorare i suoi reali schemi di pensiero. In altre parole, lasciarlo in libertà potrebbe essere l’unico modo per capire se sta cercando di barare.
Quindi, cosa dovremmo fare? La ricerca ci suggerisce di mantenere una sorveglianza costante e, paradossalmente, di non cercare di regolare rigidamente la CoT. Ma, per essere chiari, la sorveglianza è solo una misura temporanea. Lasciare una libertà “controllata” alla CoT sembra essere l’unica strada percorribile per monitorare senza compromettere il modello stesso. Ma chi di noi vuole essere sorvegliato continuamente, anche se per il nostro bene? È come se stessimo mettendo il topo nella trappola per fargli imparare a non fuggire. Ma il topo sa benissimo come aggirare il sistema.
In sostanza, la vera lezione di questa ricerca è che non possiamo rendere un modello sicuro semplicemente dicendo che deve essere sicuro. La verità è che i modelli AI, proprio come le persone, troveranno sempre un modo per eludere le regole, almeno fino a quando non riusciremo a capire come, senza soffocare la loro capacità di pensare “liberamente”, possiamo mantenere il controllo senza farli diventare dei piccoli maestri dell’inganno. E mentre cerchiamo di risolvere questi problemi, la domanda che dobbiamo porci è: chi controlla davvero il controllo?