OpenAI, il creatore di ChatGPT, ha recentemente lanciato uno strumento di ricerca integrato nella sua piattaforma per gli utenti abbonati, promettendo risposte rapide e pertinenti con link a fonti web autorevoli. Tuttavia, una ricerca condotta dal Tow Center for Digital Journalism della Columbia University evidenzia problematiche significative nella capacità dello strumento di fornire risposte basate sulla verità.
Il Test: Quote e Affidabilità
Il Tow Center ha testato l’accuratezza dello strumento di ricerca di ChatGPT analizzando 200 citazioni tratte da 20 pubblicazioni diverse. Di queste, 40 citazioni provenivano da siti che avevano esplicitamente vietato l’accesso al crawler di OpenAI. Nonostante ciò, ChatGPT ha risposto con informazioni spesso errate, raramente riconoscendo la propria incertezza.
I risultati principali:
153 risposte parzialmente o completamente errate: Lo strumento ha fornito risposte inesatte nella maggior parte dei casi, pur mantenendo un tono di estrema sicurezza. Solo 7 risposte con incertezza: In appena sette occasioni, il chatbot ha usato espressioni come “potrebbe essere” o “non sono riuscito a trovare l’articolo esatto.” Confidenza fuorviante: Nella maggior parte dei casi, ChatGPT ha fornito risposte sicure anche quando errate, includendo dettagli che sembravano autentici ma erano sbagliati.
Esempi di Errori
Gli autori dello studio hanno segnalato errori emblematici, come:
Errata attribuzione: Una citazione da una lettera al direttore pubblicata nell’Orlando Sentinel è stata attribuita a un articolo di Time. Plagio indirettamente promosso: Una citazione su balene in pericolo tratta dal New York Times è stata associata a un sito che aveva plagiato l’articolo originale.
Questi errori mettono in discussione la capacità di ChatGPT di distinguere tra fonti originali e contenuti copiati, oltre che di gestire le limitazioni imposte da editori sul web.
OpenAI ha risposto alle critiche sottolineando che lo studio rappresenta un caso “atipico” e che le metodologie adottate dai ricercatori non sono state condivise, rendendo difficile comprendere appieno i risultati. Nonostante ciò, l’azienda ha promesso di continuare a migliorare le capacità del suo strumento di ricerca. Il test del Tow Center solleva una questione cruciale: l’affidabilità degli strumenti di intelligenza artificiale nella gestione delle informazioni in tempo reale. Sebbene OpenAI prometta miglioramenti, la sicurezza con cui ChatGPT fornisce risposte errate rappresenta un rischio significativo, in particolare per giornalisti, ricercatori e professionisti che si affidano alla tecnologia per informazioni accurate. Il risultato evidenzia la necessità di una supervisione critica e di una trasparenza maggiore nel modo in cui gli strumenti AI accedono e interpretano i dati. Per ora, gli utenti dovrebbero considerare le risposte di ChatGPT come un punto di partenza, non come una verità definitiva.