Definire l’apertura nell’IA

Il termine “open source” proviene dal software, dove significa accesso al codice sorgente e nessun limite sull’uso o la distribuzione del programma. Rendere i grandi modelli di IA veramente open source è molto più complesso, poiché coinvolge enormi quantità di dati e codice.Le aziende non sempre vogliono rivelare tutti i dettagli dei loro modelli, per evitare rischi commerciali o legali.

Analisi della “apertura” di 40 modelli di IA

Uno studio di Dingemanse e Liesenfeld su Nature (in Allegato) ha valutato 40 grandi modelli di linguaggio su 14 parametri di apertura, come disponibilità di codice, dati di addestramento, documentazione, ecc. Hanno trovato che molti modelli etichettati come “open source” o “aperti” sono in realtà solo “open weight” – gli utenti possono accedere ai modelli addestrati, ma non possono ispezionare o personalizzare il codice.Circa la metà dei modelli analizzati non fornisce dettagli sui set di dati di addestramento, oltre a descrizioni generiche.

facct24-120Download

Articolo su “Not all ‘open source’ AI models are actually open: here’s a ranking”

Introduzione

L’articolo di Nature discute il tema della trasparenza e dell’apertura dei modelli di intelligenza artificiale (AI) open source. Nonostante molte aziende e organizzazioni affermino di rendere disponibili i loro modelli di AI in modo aperto, in realtà non tutti i modelli sono effettivamente open source. L’articolo presenta una classifica che valuta il livello di apertura di diversi modelli di AI.

Livelli di apertura dei modelli di AI

Lo studio utilizza una scala a 5 livelli per classificare il grado di apertura dei modelli di AI:

  1. Codice sorgente completo disponibile: il codice sorgente completo del modello è disponibile pubblicamente sotto una licenza open source.
  2. Pesi del modello disponibili: i pesi pre-addestrati del modello sono disponibili pubblicamente, ma non il codice sorgente completo.
  3. Documentazione dettagliata: è disponibile una documentazione dettagliata sul modello, ma né il codice sorgente né i pesi sono pubblici.
  4. Codice sorgente parziale disponibile: solo una parte del codice sorgente è disponibile pubblicamente.
  5. Nessuna informazione pubblica: non è disponibile pubblicamente alcuna informazione sul modello.

Classifica dei modelli di AI

L’articolo classifica diversi modelli di AI popolari in base a questa scala:

  • GPT-3 (OpenAI): Livello 2 – I pesi del modello sono disponibili tramite l’API di OpenAI, ma non il codice sorgente completo[1].
  • DALL-E 2 (OpenAI): Livello 2 – Stesso livello di apertura di GPT-3[1].
  • LLaMA (Meta): Livello 1 – Il codice sorgente completo è disponibile sotto una licenza open source[1].
  • PaLM (Google): Livello 3 – È disponibile solo una documentazione dettagliata, ma né il codice sorgente né i pesi sono pubblici[1].
  • Chinchilla (DeepMind): Livello 3 – Stesso livello di apertura di PaLM[1].

Implicazioni per la legge sull’IA dell’UE

La legge sull’IA dell’UE esonererà i modelli di IA veramente open source, entro certi limiti di dimensioni, da rigorosi requisiti di trasparenza. Quindi il termine “open source” avrà un peso legale senza precedenti nei paesi governati da questa legge.I modelli costruiti da aziende più piccole e gruppi accademici tendono ad essere più aperti rispetto a quelli delle grandi aziende tech.

Importanza della vera apertura

La vera apertura è fondamentale per il progresso scientifico e l’innovazione nell’IA, permettendo ai ricercatori di comprendere a fondo il funzionamento dei modelli.La mancanza di revisione paritaria e la sostituzione con post di blog e preprint aziendali è preoccupante.È necessario un consenso sulla definizione di “open source” nell’ambito dell’IA per garantire trasparenza e responsabilità.

Nonostante le affermazioni di “apertura”, molte grandi aziende tech non rivelano informazioni chiave sui loro modelli di IA, il che limita la capacità dei ricercatori di comprenderne il funzionamento. Questo è un problema importante da affrontare per garantire progressi significativi nell’IA.

Citations:
[1] https://www.nature.com/articles/d41586-024-02012-5
[2] https://www.nature.com/articles/d41586-024-02120-2
[3] https://www.nature.com/articles/d41586-024-01087-4
[4] https://openuk.uk/press-posts/nature-reports-not-all-open-source-ai-models-are-actually-open-heres-a-ranking/
[5] https://news.ycombinator.com/item?id=40786237
[6] https://www.nature.com/articles/d41586-024-00306-2
[7] https://techcrunch.com/2024/04/20/this-week-in-ai-when-open-source-isnt-so-open/
[8] https://techcommunity.microsoft.com/t5/ai-machine-learning-blog/introducing-meta-llama-3-models-on-azure-ai-model-catalog/ba-p/4117144
[9] https://about.fb.com/news/2023/07/llama-2/
[10] https://www.theatlantic.com/technology/archive/2024/01/ai-transparency-meta-microsoft/677022/
[11] https://www.theinformation.com/articles/meta-openai-square-off-over-open-source-ai
[12] https://www.theguardian.com/technology/2023/jul/18/ai-free-open-source-microsoft
[13] https://arxiv.org/abs/2307.05532
[14] https://nomadit.co.uk/conference/easst-4s2024/paper/84448
[15] https://arxiv.org/pdf/2307.05532.pdf
[16] https://dl.acm.org/doi/10.1145/3630106.3659005
[17] https://www.ru.nl/en/research/research-news/open-alternatives-to-chatgpt-are-on-the-rise-but-how-open-is-ai-really
[18] https://cmr.berkeley.edu/2024/06/unraveling-open-source-ai/