Negli ultimi anni, l’intelligenza artificiale (IA) ha fatto passi da gigante, ma con questi progressi è emersa una sfida significativa: il potere richiesto per addestrare i modelli di IA all’avanguardia sta aumentando a un ritmo allarmante. Secondo un rapporto di Epoch AI, il potere necessario per addestrare questi modelli raddoppia annualmente, mentre il calcolo di addestramento cresce a un ritmo di 4-5 volte all’anno.

L’importanza dell’energia nell’addestramento dei modelli di IA

Il potere è diventato il principale vincolo per la scalabilità dell’IA. I centri dati, che ospitano migliaia di chip avanzati, consumano enormi quantità di energia. Ad esempio, il recente modello di Meta è stato addestrato utilizzando 16.000 chip Nvidia, richiedendo circa 27 megawatt di energia, equivalente al consumo annuale di circa 23.000 famiglie statunitensi[1]. Con le proiezioni attuali, si stima che nel 2030 l’addestramento di un modello di IA all’avanguardia richiederà circa 200 volte più potenza, raggiungendo circa 6 gigawatt[1].

Crescita del calcolo e dei costi di addestramento

Epoch AI ha documentato che il calcolo necessario per addestrare i modelli più recenti è aumentato a un ritmo compreso tra 4 e 5 volte all’anno dal 2010 fino a maggio 2024[2]. Questo aumento esponenziale implica che i costi associati all’addestramento dei modelli stanno crescendo in modo simile. Le stime suggeriscono che i costi di addestramento potrebbero superare il miliardo di dollari entro il 2027, limitando l’accesso a queste tecnologie solo alle organizzazioni più finanziate[4][5].

Le sfide future

Con l’aumento dei requisiti energetici e dei costi, ci sono preoccupazioni su chi sarà in grado di finanziare lo sviluppo dei modelli di IA più avanzati. Dario Amodei, CEO della società Anthropic, ha affermato che le spese per l’addestramento potrebbero arrivare a miliardi in pochi anni[5]. Solo le aziende ben finanziate potranno permettersi tali investimenti, creando una concentrazione del potere tecnologico nelle mani di pochi.

Strategie per affrontare le limitazioni energetiche

Per affrontare la crescente domanda energetica, le aziende potrebbero considerare strategie come la distribuzione dell’addestramento tra diversi centri dati. Questo approccio consentirebbe loro di ridurre le esigenze energetiche specifiche per ogni singolo centro[1]. Tuttavia, ciò richiederà connessioni ad alta velocità e larghezza di banda per garantire che i dati possano essere elaborati rapidamente e in modo efficiente.

La rapida crescita della potenza necessaria per addestrare i modelli di IA all’avanguardia presenta sia opportunità che sfide significative. Mentre la tecnologia continua a progredire, sarà fondamentale trovare soluzioni innovative per affrontare le limitazioni energetiche e i costi associati. Solo così si potrà garantire un futuro sostenibile per lo sviluppo dell’intelligenza artificiale.

Citations:
[1] https://singularityhub.com/2024/08/29/ai-models-scaled-up-10000x-are-possible-by-2030-report-says/
[2] https://epochai.org/blog/training-compute-of-frontier-ai-models-grows-by-4-5x-per-year
[3] https://arxiv.org/html/2405.21015v1
[4] https://epochai.org/blog/how-much-does-it-cost-to-train-frontier-ai-models
[5] https://time.com/6984292/cost-artificial-intelligence-compute-epoch-report/
[6] https://ourworldindata.org/grapher/hardware-and-energy-cost-to-train-notable-ai-systems
[7] https://digitalexperience.live/costs-training-frontier-ai-models
[8] https://x.com/EpochAIResearch/status/1837128818353733816