Spegnete le luci: Llama 4 avrà bisogno di un calcolo 10x

Meta si sta preparando per un aumento significativo della potenza di calcolo per addestrare il suo prossimo modello linguistico, Llama 4. Secondo The Register, il modello richiederà circa 160.000 GPU, dieci volte le risorse necessarie per Llama 3.

L’addestramento di Llama 4 richiederà una quantità enorme di potenza di calcolo, stimata in circa 160.000 GPU basandosi sui requisiti di Llama 3.
Questo aumento della domanda di elaborazione riflette la crescente complessità dei grandi modelli linguistici.

Per supportare questa crescita, Meta sta aumentando notevolmente le sue spese in conto capitale, con il Q2 2024 che ha visto un aumento del 33% anno su anno a $ 8,5 miliardi.

L’approccio proattivo dell’azienda alla creazione di capacità di formazione in ambito AI dimostra il suo impegno nel mantenere un vantaggio competitivo nel campo in evoluzione dell’intelligenza artificiale.

Confronto dei requisiti GPU

La tabella sopra mostra le risorse computazionali necessarie per addestrare i principali modelli linguistici di grandi dimensioni (LLM).
Si prevede che Llama 4, il prossimo modello di Meta, richiederà 160.000 GPU, un notevole aumento rispetto al suo predecessore Llama 3.

Questo incremento nei requisiti computazionali evidenzia la rapida crescita dei modelli di IA e la forte competizione nel settore. GPT-4, sviluppato da OpenAI, ha utilizzato 25.000 GPU, mentre Grok 3, di xAI, dovrebbe utilizzarne 100.000.

Questi numeri mostrano la crescente domanda di elaborazione per migliorare le capacità dell’intelligenza artificiale, con ogni nuova generazione di modelli che richiede risorse sempre maggiori.
Meta sta facendo grandi investimenti in infrastrutture per sostenere i suoi piani di sviluppo dell’IA, in particolare per Llama 4.

Le spese in conto capitale sono aumentate del 33% a 8,5 miliardi di dollari nel secondo trimestre del 2024, principalmente per server, data center e infrastrutture di rete.

Meta sta usando un approccio flessibile alla sua infrastruttura di IA, permettendo l’allocazione delle risorse tra la formazione di IA generativa, l’inferenza e le attività di classificazione e raccomandazione, secondo necessità.

La CFO Susan Li ha evidenziato la strategia di organizzare i siti dei data center in varie fasi di sviluppo, permettendo a Meta di aumentare velocemente la capacità limitando gli impegni di spesa a lungo termine.

Questo approccio riflette la strategia di Meta nello sviluppo dell’IA, dando priorità alla capacità di soddisfare le future richieste computazionali rispetto alla generazione immediata di entrate dai prodotti di IA generativa.