Non ce l’ha fatta: ChatGpt non ha superato il test di Turing, ideato per capire se una macchina ha raggiunto un livello di intelligenza tale da poter ingannare qualcuno facendogli credere di essere umana.
Ci è andata però molto vicino: nella sua versione più aggiornata, Gpt-4, è riuscita a ingannare i partecipanti il 41% delle volte. Il risultato è stato pubblicato sulla piattaforma arXiv, che ospita lavori non ancora passati al vaglio della comunità scientifica, da due ricercatori dell’Università della California a San Diego.
I due ricercatori Cameron Jones e Benjamin Bergen hanno arruolato 650 partecipanti per sostenere brevi conversazioni con altri volontari oppure con ChatGpt, a loro insaputa.
L’ultima versione Gpt-4, rilasciata dall’azienda OpenAI quest’anno, ha convinto i partecipanti di essere una persona il 41% delle volte, mentre la versione precedente, chiamata Gpt-3.5, solo dal 5% al 14% delle volte.
È interessante anche notare che gli esseri umani sono riusciti a convincere gli altri volontari di non essere delle macchine solo nel 63% delle prove.
Coloro che hanno smascherato correttamente ChatGpt si sono basati su alcuni fattori chiave: conversazioni troppo formali o, all’opposto, troppo informali, testi eccessivamente prolissi o molto sintetici, oppure anche una grammatica e una punteggiatura eccezionalmente buona o pessima, erano tutti elementi che facevano risuonare un segnale di ‘allarme’. Un’altra caratteristica rivelatrice è risultata la genericità della risposta. “Questi sistemi sono ottimizzati per produrre testi altamente probabili e per evitare opinioni controverse“, spiegano gli autori dello studio: “e ciò incoraggia risposte molto generiche, prive delle idiosincrasie tipiche di una persona“.
