Stanford University ha recentemente lanciato l’Indice di Transparenza dei Modelli Fondamentali, un’iniziativa volta a valutare la trasparenza di 10 aziende che sviluppano modelli fondamentali, come GPT-4 e Llama 3.

Questi modelli hanno un impatto significativo sulla società, ma la trasparenza è in declino. Se questo trend continua, i modelli fondamentali potrebbero diventare altrettanto opachi come le piattaforme di social media e altre tecnologie precedenti, ripetendo i loro errori.

L’Indice di Transparenza dei Modelli Fondamentali è un’iniziativa volta a valutare la trasparenza di questi sviluppatori attraverso 100 indicatori che coprono risorse upstream (ad esempio, dati, lavoro, calcoli), i modelli fondamentali stessi (ad esempio, capacità, rischi, mitigazioni) e l’utilizzo downstream (ad esempio, canali di distribuzione, politiche di utilizzo, impatto geografico).

Gli indicatori sono stati definiti e organizzati in modo gerarchico, con riferimenti alla letteratura che ne sottolineano l’importanza. I dati e le visualizzazioni sono stati resi disponibili per facilitare l’utilizzo e la standardizzazione delle valutazioni.

L’Indice di Transparenza dei Modelli Fondamentali non è un benchmark comune, ma un indice composto da ricercatori dell’Institute for Human-Centered AI di Stanford, del Center for IT Policy di Princeton e del MIT Media Lab. I punteggi assegnati dal team FMTI sono gli unici punteggi validati associati all’FMTI.

Tutti i dati e le visualizzazioni sono licenziati sotto CC-BY e possono essere riutilizzati per qualsiasi scopo con attribuzione.

La valutazioneL’Indice di Transparenza dei Modelli Fondamentali ha valutato le 10 aziende più importanti nel settore dei modelli fondamentali, includendo aziende come Meta, Google, Microsoft, e Amazon. La valutazione ha evidenziato che queste aziende sono significativamente opache, con punteggi bassi in molti indicatori chiave.

I risultatiI risultati dell’Indice di Transparenza dei Modelli Fondamentali sono stati pubblicati il 18 ottobre 2023. Secondo i dati, le aziende valutate hanno ottenuto punteggi compresi tra 0 e 100, con una media di 35. Questi risultati sono significativamente bassi e suggeriscono che le aziende non stanno facendo abbastanza per aumentare la trasparenza dei loro modelli fondamentali.

ConclusioniL’Indice di Transparenza dei Modelli Fondamentali è un importante passo verso una maggiore trasparenza nel settore dei modelli fondamentali. Questo indice non solo valuta la trasparenza delle aziende, ma anche fornisce strumenti per migliorare la trasparenza e promuovere la responsabilità. I risultati dell’Indice di Transparenza dei Modelli Fondamentali sono un chiaro avvertimento per le aziende di aumentare la trasparenza dei loro modelli fondamentali per evitare errori e danni.

Riferimenti Stanford University. (2023, ottobre 18). Introducing The Foundation Model Transparency Index. Retrieved from https://hai.stanford.edu/news/introducing-foundation-model-transparency-index