Cerebras, una startup di intelligenza artificiale con sede in California, ha svelato la sua ultima innovazione, Cerebras Inference, che secondo l’azienda è la soluzione di inferenza AI più veloce al mondo.
L’azienda afferma che questa nuova offerta può elaborare 1.800 token al secondo per il modello Llama3.1 8B e 450 token al secondo per il modello Llama3.1 70B, raggiungendo velocità 20 volte superiori rispetto a quelle delle soluzioni cloud hyperscale basate su GPU di NVIDIA.
Alimentata dal terzo generazione del Wafer Scale Engine di Cerebras, l’azienda sottolinea che la sua tecnologia opera a un quinto del costo dei concorrenti, pur offrendo prestazioni superiori. Questa efficienza deriva da un’architettura unica che elimina il collo di bottiglia della larghezza di banda della memoria, consentendo di memorizzare l’intero modello direttamente sul chip.
“Cerebras affronta il collo di bottiglia della larghezza di banda della memoria costruendo il chip più grande al mondo, integrando 44 GB di SRAM su un singolo die, rimuovendo così la necessità di memoria esterna e le interfacce lente che la collegano al calcolo,” ha dichiarato l’azienda.
Micah Hill-Smith, co-fondatore e CEO di Artificial Analysis, ha evidenziato la leadership di Cerebras nei benchmark di inferenza AI, notando che la startup ha stabilito nuovi record di velocità nell’elaborazione dei modelli Llama 3.1 di Meta. Le velocità riportate superano 1.800 token al secondo per il modello 8B e 446 token al secondo per il modello 70B.
In un passo significativo verso la quotazione in borsa, Cerebras ha presentato domanda per un’offerta pubblica iniziale all’inizio di questo mese e si prevede che quoterà le sue azioni nella seconda metà dell’anno. L’azienda ha anche rafforzato il suo consiglio di amministrazione nominando Glenda Dorchak, ex dirigente di IBM e Intel, e Paul Auvil, ex CFO di VMware.
Inoltre, Cerebras ha nominato Bob Komin come nuovo CFO, che in precedenza ha guidato il processo di IPO presso Sunrun. Andrew Feldman, CEO e co-fondatore di Cerebras, ha elogiato l’ampia esperienza di Komin nella leadership finanziaria, affermando: “La sua esperienza nel guidare aziende in fase di crescita sarà inestimabile mentre ci prepariamo per la nostra prossima offerta pubblica.”