Nvidia ha annunciato lunedì che la sua tecnologia di rete Spectrum-X ha contribuito all’espansione del supercomputer Colossus della startup xAI, ora riconosciuto come il cluster di addestramento AI più grande al mondo. Situato a Memphis, Tennessee, Colossus è il terreno di addestramento per la terza generazione di Grok, la suite di modelli linguistici di grandi dimensioni sviluppata da xAI per potenziare le funzionalità chatbot per gli abbonati a X Premium.
Completato in appena 122 giorni, Colossus ha iniziato ad addestrare i suoi primi modelli solo 19 giorni dopo l’installazione. La startup di Elon Musk, xAI, prevede di raddoppiare la capacità del sistema a 200.000 GPU, come indicato in una dichiarazione di Nvidia.
Colossus rappresenta un sistema interconnesso di GPU, ognuna specializzata nell’elaborazione di grandi set di dati. Quando i modelli Grok vengono addestrati, necessitano di analizzare enormi quantità di testo, immagini e dati per migliorare le loro risposte. Questo sistema, descritto da Musk come il cluster di addestramento AI più potente al mondo, collega 100.000 GPU NVIDIA Hopper attraverso una rete di accesso alla memoria remota unificata (RDMA). Le GPU Hopper di Nvidia gestiscono compiti complessi suddividendo il carico di lavoro tra più GPU e processandolo in parallelo.
Questa architettura consente ai dati di muoversi direttamente tra i nodi, evitando il sistema operativo e garantendo bassa latenza e un throughput ottimale per ampie operazioni di addestramento AI. Le reti Ethernet tradizionali spesso soffrono di congestione e perdita di pacchetti, limitando il throughput al 60%. Al contrario, Spectrum-X raggiunge un throughput del 95% senza degrado della latenza.
In un contesto di crescita esponenziale dell’AI, Spectrum-X consente a un gran numero di GPU di comunicare tra loro in modo più fluido, evitando che le reti tradizionali si impantanino con troppi dati. Questo permette a Grok di essere addestrato più rapidamente e con maggiore precisione, un aspetto essenziale per costruire modelli AI che rispondano in modo efficace alle interazioni umane.
Nonostante l’annuncio, l’azione di Nvidia ha registrato un lieve calo, scambiando a 141 dollari, con una capitalizzazione di mercato di 3,45 trilioni di dollari. Le azioni di Nvidia, un produttore di chip specializzato in schede grafiche, avevano visto una crescita notevole, superando il 150% dall’inizio dell’anno.
Questa espansione non solo segna un’importante pietra miliare per xAI e il suo impegno nell’AI, ma anche per l’intero ecosistema tecnologico, che beneficia enormemente di tali innovazioni. Il futuro dell’intelligenza artificiale si prospetta non solo più efficiente, ma anche più accessibile, con strutture come Colossus che definiscono nuovi standard di capacità e prestazioni.
Per saperne di più su questa innovazione, puoi visitare Nvidia.