I modelli di intelligenza artificiale hanno visto progressi rapidi grazie all’aumento della potenza di calcolo e dei dati di addestramento, ma ci sono diversi fattori che potrebbero limitare ulteriori miglioramenti e scalabilità.

Con l’aumento delle dimensioni dei modelli, è necessario un maggiore utilizzo di memoria e potenza di calcolo per addestrarli e farli funzionare in modo efficiente. L’hardware attuale potrebbe non essere in grado di supportare la scala massiccia richiesta per il prossimo salto nelle capacità dell’IA. Sono necessari hardware specializzati come GPU e TPU, e il loro sviluppo potrebbe rallentare o raggiungere limiti fisici.

Le leggi di scalabilità suggeriscono che le prestazioni aumentano come una legge di potenza rispetto alla quantità di calcolo utilizzato. Tuttavia, questa relazione alla fine si appiattisce, portando a ritorni decrescenti man mano che si aggiunge ulteriore calcolo. Non è chiaro esattamente quando ciò accadrà per le architetture attuali dell’IA.

Gli attuali algoritmi di apprendimento automatico utilizzati nei modelli di linguaggio di grandi dimensioni potrebbero avere limitazioni fondamentali riguardo a quanto possano essere scalati. Potrebbero essere necessari algoritmi o architetture radicalmente nuovi per raggiungere un’intelligenza a livello umano. Miglioramenti incrementali delle tecniche esistenti potrebbero non essere sufficienti.

I dati di addestramento per i modelli di IA non sono illimitati. Ci sono solo un numero finito di pagine web, libri e altre fonti testuali disponibili. Riutilizzare gli stessi dati ripetutamente porta a overfitting e scarsa generalizzazione. Acquisire nuovi dati di addestramento di alta qualità nella scala richiesta potrebbe diventare un collo di bottiglia.

Addestrare i modelli di IA più grandi può costare milioni di dollari in risorse di cloud computing. Man mano che i modelli crescono, il costo finanziario e l’impatto ambientale dell’energia utilizzata potrebbero diventare proibitivi. Il finanziamento e la sostenibilità potrebbero limitare quanto lontano si può arrivare con la scalabilità.

Alcuni sostengono che i sistemi di IA attuali siano fondamentalmente limitati nella loro capacità di pensare, ragionare e essere creativi come gli esseri umani. Emulare tutte le caratteristiche dell’intelligenza umana – empatia, emozione, coscienza, ecc. – potrebbe richiedere un approccio completamente diverso oltre alla semplice scalabilità. Potremmo essere vicini ai limiti di ciò che l’attuale IA può raggiungere.

Un recente studio intitolato “Leggi di Scaling Neurale per l’AI Incarnata” Sebastian Sartor Maggio 2024 esplora le leggi di scaling specificamente nel contesto dell’AI Embodied, inclusa la robotica. Questa ricerca è significativa poiché quantifica come vari fattori—come la dimensione del modello, la quantità di dati di addestramento e le risorse computazionali—affettino le prestazioni dei Modelli Fondamentali per Robot (RFM) e dei grandi modelli di linguaggio (LLM) utilizzati in compiti di robotica.

2405.14005v1Download

Risultati Chiave

  • Leggi di Scaling Confermate: Lo studio conferma che le leggi di scaling, che descrivono la relazione tra le prestazioni del modello e la quantità di calcolo e dati utilizzati, si applicano sia agli RFM che agli LLM nella robotica. Questo è in linea con i risultati di altri settori come il modeling del linguaggio e la visione artificiale.
  • Coefficienti della Legge di Potenza: I coefficienti della legge di potenza per gli RFM sono stati trovati in stretta corrispondenza con quelli degli LLM nella robotica, indicando che le prestazioni migliorano costantemente man mano che le risorse aumentano. Tuttavia, questi coefficienti variano con la complessità del compito, suggerendo che i compiti familiari scalano più efficientemente rispetto a quelli nuovi.
  • Capacità Emergenti: Man mano che i modelli scalano, emergono nuove capacità, in particolare in relazione ai dati e alla dimensione del modello. Questo evidenzia il potenziale di generalizzazione attraverso i compiti, che è cruciale per lo sviluppo di sistemi robotici adattabili.
  • Rendimento Decrescente: Lo studio osserva che, sebbene la scalabilità porti a prestazioni migliori, ci sono rendimenti decrescenti man mano che le risorse aumentano. Questo pone sfide a causa dei limiti di dati e risorse computazionali disponibili.
  • Necessità di Benchmark Standardizzati: Una limitazione significativa identificata è la mancanza di benchmark standardizzati nell’AI incarnata, che ostacola la capacità di misurare e confrontare efficacemente le prestazioni tra diversi studi.

Implicazioni

I risultati di questa ricerca sottolineano l’importanza di comprendere le leggi di scaling nello sviluppo dei sistemi AI, in particolare nella robotica. Man mano che il campo progredisce, affrontare le sfide dei limiti di dati, dei costi computazionali e della necessità di metriche di valutazione standardizzate sarà fondamentale per il futuro della scalabilità dell’AI.

Questo studio contribuisce al dibattito più ampio su come la scalabilità impatti le capacità dell’AI e sui potenziali ostacoli che potrebbero sorgere man mano che i modelli continuano a crescere in dimensione e complessità.