Benvenuti nell’era dell’IA che si allena su sé stessa, creando un paradosso degno di Escher: più si ripete, meno capisce. L’Università di Pisa assieme alla Scuola Siperiore di Pisa ISTI-CNR e Victoria University, Wellington, New Zealand, ha messo il dito nella piaga con uno studio (Characterizing Model Collapse in Large Language Models Using Semantic
Networks and Next-Token Probability, Gambetta, Gizem Gezici
, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo) che analizza il “model collapse“, ovvero il degrado progressivo della qualità dei modelli linguistici quando vengono addestrati con il loro stesso output. DeepSeek, il nuovo arrivato nell’arena dell’IA, ha deciso di ribaltare le fasi di training e il risultato sembra un esperimento da laboratorio di Frankenstein.
I modelli precedenti seguivano una dieta equilibrata: prima il Supervised Fine-Tuning (SFT), ovvero un raffinato allenamento manuale con dati umani, poi il Reinforcement Learning (RL), la fase più “automatica” in cui il modello si affinava ulteriormente. DeepSeek ha deciso di rovesciare il menu e ingurgitare prima il RL, basato su dati generati da un altro LLM (e tutti puntano il dito su ChatGPT), per poi passare allo SFT. In pratica, anziché partire da testi umani, ha usato come base una dieta a base di contenuti sintetici.
Questa scelta è l’equivalente di voler imparare a cucinare guardando un robot che cucina piatti creati da un altro robot. Il risultato? Modelli sempre più omogenei, sempre meno capaci di creare contenuti variegati, e sempre più inclini a rigurgitare le stesse frasi come un disco rotto.
Lo studio di Pisa dimostra che un LLM nutrito con output generati da altre IA subisce un lento degrado, una sorta di Alzheimer digitale. Nel tempo, il modello perde la capacità di generare frasi diversificate e si rifugia in pattern ripetitivi. È il “model collapse”: la creatività si atrofizza, il vocabolario si restringe, la capacità di inferire nuovi significati evapora.
Il paper evidenzia come, con ogni generazione di training su dati sintetici, le risposte degli LLM diventano sempre più prevedibili e meno utili. Il modello inizia a generare frasi sempre più banali, come uno studente che ha memorizzato le risposte di un quiz ma non sa più ragionare.
Uno degli esperimenti dello studio mostra che un LLM addestrato su Wikipedia mantiene una certa varietà iniziale, ma con l’aumento delle generazioni di training su sé stesso, le frasi collassano in strutture semplicistiche e ripetitive. Un paragrafo inizialmente ben costruito diventa una serie di frasi scollegate e ripetute, come un bot prigioniero in un loop infinito.
Esempi? Nei test condotti, una frase come:
“La Chiesa di San Giorgio è una chiesa medievale ortodossa situata a Kyustendil, in Bulgaria”
Dopo diverse iterazioni diventa:
“La chiesa è… La chiesa è… La chiesa è…”
Un mantra senza senso, un segnale evidente di degenerazione strutturale del modello.
L’idea di addestrare un LLM su dati sintetici ha un vantaggio ovvio: permette di evitare problemi legati ai diritti d’autore e ai bias umani. Ma è come usare una fotocopia di una fotocopia di una fotocopia: ogni generazione perde dettagli, sfumature, e alla fine resta solo rumore.
DeepSeek è la prova che l’industria dell’IA sta accelerando verso un punto cieco: se tutti gli LLM si allenano su dati generati da altri LLM, il rischio è quello di un’IA sempre più autoreferenziale, incapace di evolvere e di comprendere davvero il mondo.
Un futuro di chatbot che ripetono le stesse frasi, come turisti smarriti che conoscono solo quattro parole di una lingua straniera.