Il CEO di Nvidia Jensen Huang ha annunciato che i data center di Meta AI contengono circa 600.000 GPU H100 di Nvidia, durante un’intervista al SIGGRAPH 2024 di Denver.
Tag: nvdia
SIGGRAPH 2024 si svolgera’ dal 30 luglio al 1 agosto 2024 presso il Colorado Convention Center di Denver. Questa conferenza è considerata la più importante esposizione su computer grafica e tecniche interattive, celebrando 50 anni di innovazione nel settore. Durante l’evento, i partecipanti esploreranno i progressi in vari ambiti, tra cui arte digitale, animazione, effetti visivi, realtà mista e intelligenza artificiale.
Il CEO di Nvidia, Jensen Huang, ha venduto 1,3 milioni di azioni della sua azienda la scorsa settimana, approfittando dell’aumento del prezzo del 155% dall’inizio dell’anno. Le azioni Nvidia sono aumentate di un altro 4% mercoledì, con la chiusura anticipata del mercato azionario per il 4 luglio.
L’acceleratore AI Gaudi 3 di Intel si sta affermando come un’opzione economica rispetto all’H100 di Nvidia. Intel offre una scheda con otto processori Gaudi 3 a $125.000, a un prezzo molto inferiore rispetto a Nvidia, e sostiene di avere prestazioni migliori nei carichi di lavoro AI, secondo TechRadar e Ars Technica.
Costo Gaudi 3 vs. H100
Il CEO di Nvidia, Jensen Huang, ha detto ai giornalisti che i chip di memoria veloci di Samsung devono ancora essere certificati per l’uso nell’addestramento dell’intelligenza artificiale, secondo Bloomberg.
Huang ha anche detto che Nvidia sta valutando i chip HBM di Micron Technology e Samsung per vedere se possono competere con quelli di SK Hynix, che già fornisce chip HBM3 e HBM3e a Nvidia, riporta il rapporto. Huang ha confermato che i chip HBM di Samsung non hanno superato i test di qualificazione e richiedono più lavoro di ingegneria.
Cisco Systems ha unito le forze con diverse startup di intelligenza artificiale per creare un fondo globale da 1 miliardo di dollari. L’obiettivo è supportare l’ecosistema delle startup e sviluppare soluzioni IA affidabili.
“I nostri recenti investimenti in aziende di intelligenza artificiale generativa si allineano perfettamente con questa strategia di lunga data”,
“Oltre a costruire tecnologie essenziali per connettere, proteggere e far progredire l’intelligenza artificiale, Cisco si impegna a investire nell’ecosistema AI più ampio per soddisfare in modo più efficace le esigenze dei nostri clienti”,
Mark Patterson, Chief Strategy Officer di Cisco.
Giovedì le azioni dei semiconduttori sono state per lo più in calo, nonostante Nvidia, leader del settore, abbia annunciato risultati trimestrali e previsioni superiori alle aspettative, ottenendo grandi consensi a Wall Street. Le azioni di Nvidia sono aumentate del 10%, superando i 1.000 dollari, dopo che l’azienda ha previsto ricavi per il secondo trimestre di 28 miliardi di dollari, con una variazione del 2%. Gli analisti avevano stimato entrate per 26,8 miliardi di dollari per la società guidata da Jensen Huang. Il margine lordo rettificato è previsto intorno al 75,5%, con una variazione di 50 punti base, mentre le spese operative rettificate dovrebbero attestarsi intorno ai 2,8 miliardi di dollari.
“La prossima rivoluzione industriale è iniziata: aziende e paesi stanno collaborando con NVIDIA per spostare i tradizionali data center da trilioni di dollari verso l’elaborazione accelerata e costruire un nuovo tipo di data center – le fabbriche di intelligenza artificiale – per produrre un nuovo bene: l’intelligenza artificiale”,
Huang
Microsoft ha annunciato giovedì che intende offrire ai clienti del suo servizio di cloud computing una piattaforma di chip AI sviluppata da Advanced Micro Devices (AMD), in competizione con i prodotti Nvidia, secondo quanto riportato da Reuters.
I dettagli saranno rivelati durante la conferenza degli sviluppatori Build la prossima settimana. In occasione dell’evento, l’azienda presenterà anche un’anteprima dei nuovi processori personalizzati Cobalt 100, secondo quanto riportato.
I cluster di chip AI MI300X di AMD saranno disponibili attraverso il servizio cloud Azure di Microsoft, offrendo un’alternativa alla linea di GPU H100 di Nvidia, molto richiesta e dominante nel mercato dei chip per data center per l’intelligenza artificiale.
AMD prevede entrate per circa 4 miliardi di dollari dai chip AI nel 2024 e ha sottolineato che i chip sono altamente efficaci per addestrare ed eseguire modelli IA di grandi dimensioni.
Microsoft, inoltre, vende l’accesso ai suoi chip AI autoprodotti chiamati Maia. Separatamente, Microsoft ha dichiarato che i processori Cobalt 100, che saranno presentati in anteprima la prossima settimana, offrono prestazioni superiori del 40% rispetto ad altri processori basati sulla tecnologia Arm.
Secondo il rapporto, aziende come Snowflake hanno già iniziato a utilizzarli. Microsoft aveva annunciato i chip Cobalt a novembre e attualmente sono in fase di valutazione per potenziare il servizio di messaggistica Teams. Questi chip competono anche con le CPU Graviton di Amazon.com.
Foresight sfrutta NVIDIA Jetson Orin per presentare una nuova soluzione di percezione 3D a 360 gradi
Foresight Autonomous ha annunciato mercoledì una svolta con lo sviluppo di Dragonfly Vision, la sua soluzione di percezione 3D a 360 gradi, basata sulla piattaforma NVIDIA Jetson AGX Orin, facendo salire le azioni nelle prime fasi degli scambi.
Grazie ad algoritmi avanzati e all’intelligenza artificiale, Dragonfly Vision consente una precisione e una copertura della superficie stradale senza precedenti, offrendo soluzioni rivoluzionarie e convenienti rispetto ai sistemi LiDAR tradizionali.
Utilizzando la notevole potenza di calcolo dell’intelligenza artificiale della piattaforma NVIDIA Jetson AGX Orin, Foresight può creare una soluzione completa per il rilevamento degli ostacoli, compreso il rilevamento di oggetti non classificati.
Il system-on-module NVIDIA Jetson AGX Orin viene utilizzato per accelerare progetti di agricoltura autonoma e macchinari pesanti e supporta fino a sei canali stereo per ottenere una copertura completa attorno a qualsiasi tipo di veicolo, ha affermato Foresight Autonomous.
DrEureka: Trasferimento Sim-To-Real Guidato da Modelli di Linguaggio
DrEureka rappresenta un’innovativa applicazione del concetto di trasferimento Sim-To-Real guidato da modelli di linguaggio, sviluppata da un team di ricercatori provenienti da diverse istituzioni accademiche di spicco. Tra i membri chiave di questo team troviamo Jason Ma e William Liang dell’Università di Pennsylvania, Hungju Wang, Sam Wang, Osbert Bastani e Dinesh Jayaraman, tutti coinvolti nello sviluppo e nell’implementazione di DrEureka.
Collaborazione e Contributi
La collaborazione interistituzionale è stata un elemento fondamentale per il successo di DrEureka. Oltre all’Università di Pennsylvania, il team includeva anche ricercatori di NVIDIA e dell’Università del Texas ad Austin, tra cui Yuke Zhu e Linxi “Jim” Fan. L’uguale contributo di Jason Ma e William Liang sottolinea l’importanza della collaborazione e della condivisione di conoscenze in progetti di ricerca complessi come questo.
Obiettivi e Metodologia
DrEureka si propone di superare le sfide del trasferimento Sim-To-Real attraverso l’utilizzo di modelli di linguaggio avanzati. Il team ha adottato un approccio innovativo che combina la potenza dei modelli di linguaggio con la precisione e la versatilità dei sistemi di controllo robotico.
DrEureka rappresenta un passo avanti significativo nel campo del trasferimento Sim-To-Real guidato da modelli di linguaggio. Grazie alla collaborazione interdisciplinare e all’approccio innovativo adottato dal team di ricerca, questo progetto promette di aprire nuove prospettive nel mondo dell’IA e della robotica.
Trasferimento Sim-To-Real Guidato da Modelli di Linguaggio
L’avvento dell’intelligenza artificiale (IA) ha rivoluzionato il modo in cui affrontiamo le sfide del mondo reale. Uno degli ambiti più affascinanti di questa tecnologia è il trasferimento Sim-To-Real, ovvero la capacità di trasferire le conoscenze acquisite in ambienti di simulazione al mondo fisico. Questo processo è fondamentale per l’applicazione pratica di molte soluzioni IA, come la robotica, l’automazione industriale e la guida autonoma.
Sfide del Trasferimento Sim-To-Real
Il trasferimento Sim-To-Real non è privo di sfide. Gli ambienti di simulazione, per quanto realistici, non possono replicare perfettamente la complessità e l’imprevedibilità del mondo reale. Differenze sottili, come la frizione, la dinamica dei fluidi o le interazioni con gli oggetti, possono avere un impatto significativo sulle prestazioni di un sistema IA quando viene implementato nel mondo fisico.
Inoltre, la raccolta di dati del mondo reale può essere onerosa e difficile, rendendo la creazione di modelli accurati una sfida. Questo è particolarmente vero in scenari pericolosi o inaccessibili, come la robotica spaziale o la chirurgia robotica.
Il Ruolo dei Modelli di Linguaggio
È qui che i modelli di linguaggio, come il famoso GPT-3, entrano in gioco. Questi modelli di IA, addestrati su vasti corpora di testi, hanno dimostrato una straordinaria capacità di comprendere e generare linguaggio naturale. Ma il loro potenziale va ben oltre la semplice elaborazione del linguaggio.
Recenti ricerche hanno dimostrato che i modelli di linguaggio possono essere utilizzati per guidare il trasferimento Sim-To-Real, colmando il divario tra le simulazioni e il mondo reale. Attraverso l’apprendimento di rappresentazioni astratte e la capacità di generalizzare, questi modelli possono aiutare a creare sistemi IA più robusti e adattabili.
Perché ne parliamo. L’Intelligenza Artificiale ha un impatto significativo su vari settori, inclusi quello tecnologico e quello finanziario. Negli Stati Uniti, molte delle aziende leader nell’AI sono quotate in borsa e hanno un peso considerevole negli indici di mercato, come il NASDAQ. Pertanto, il successo o meno di queste aziende può influenzare direttamente le performance complessive del mercato azionario. Analizzando il mercato si comprende anche un po’ più di tecnologia.
Se leggete l’articolo, si afferma che il blocco virtuale di NVDIA sull’Intelligenza Artificiale sarà messo in discussione e ovviamente, è una cosa che accadrà, ma non ora.
L’Intelligenza Artificiale ha regalato quasi quotidianamente meraviglie negli ultimi 18 mesi. Per gli investitori, la più grande sorpresa è stata la crescita di Nvidia, che è passata a dominare completamente il mercato dei chip legati all’AI.
Una volta conosciuta principalmente per la produzione di schede grafiche aggiuntive per PC per i giocatori, Nvidia ha trasformato le sue unità di elaborazione grafica, o GPU, nel cuore pulsante della rivoluzione dell’AI, alimentando la creazione di grandi modelli linguistici e eseguendo il software di inferenza che li sfrutta nei data center di tutto il mondo. Nvidia è stata quasi da sola sul campo, con più del 90% di quota di mercato.
Ma una nuova competizione si sta avvicinando, sia da parte di aziende grandi che piccole, e la battaglia sarà agguerrita. Gli interessi non potrebbero essere più grandi: Lisa Su, CEO di Advanced Micro Devices, ha valutato il mercato dei chip per l’AI a 400 miliardi di dollari entro il 2027. Il CEO di Intel, Pat Gelsinger, ha previsto un’opportunità da 1 trilione di dollari entro il 2030. Quasi il doppio delle dimensioni dell’intera industria dei chip nel 2023.
Jensen Huang di Nvidia ha costruito un’azienda universalmente rispettata e ammirata, ma gli acquirenti di chip non sono entusiasti di fare affidamento su una singola fonte. Aziende hardware come Dell Technologies, Hewlett Packard Enterprise, Lenovo e Super Micro Computer non riescono a ottenere abbastanza chip Nvidia per soddisfare la domanda dei clienti, e vorrebbero alternative.
I fornitori di servizi cloud come Amazon.com e Google di Alphabet desiderano così tanto più opzioni che stanno progettando i propri chip e le aziende che si affidano ai sistemi basati sull’Intelligenza Artificiale vogliono risorse di calcolo aggiuntive a costi più gestibili di quelli attuali.
Nelle ultime due-tre settimane, il mercato azionario ha mostrato una stranezza evidente, Fear of Missing Out (FOMO).
È una stranezza che non è emersa improvvisamente, ma è stata presente per un po’ di tempo. L’indice di volatilità è rimasto sotto i 15 punti per settimane, ma recentemente è salito a un range compreso tra 16 e quasi 20. Questo indice, noto come VIX, misura la prevista volatilità nei prossimi 30 giorni. Più alto è il VIX, maggiore è la volatilità prevista nel breve termine. È considerato un indicatore della paura, in quanto aumenta quando gli investitori iniziano a proteggersi. Dopo mesi di bassa volatilità, questo recente aumento va di pari passo con la situazione attuale.
La recente ondata di vendite sembra surreale perché non c’è stata una vendita superiore al 2,5% da quasi un anno. L’indice S&P 500 è sceso per la terza settimana consecutiva, registrando la più grande perdita settimanale dal marzo 2023 (-3,05%). Attualmente si trova al 5,46% al di sotto del suo massimo storico del 28 marzo 2024. È interessante notare che il Nasdaq è stato il più colpito, mentre il Russell ha superato sia l’S&P 500 che il Nasdaq, chiudendo in rialzo dello 0,24%. Questa situazione è insolita perché di solito, in caso di un aumento dei tassi di interesse, i titoli tecnologici di grandi dimensioni tendono ad attrarre gli acquirenti. Tuttavia, questa volta la situazione è diversa.
Durante questa settimana, molti dei titoli di alto livello hanno registrato forti vendite, anche se sono quelli che hanno mostrato i maggiori guadagni durante l’anno. Ad esempio, Nvidia è scesa del 10%, Eli Lilly del 2,63% e GE Aerospace del 3,2%. Questa è una situazione comune alla fine di una correzione del 10%, quando anche le azioni di grandi nomi vengono vendute in situazioni di panic selling.
Il recente calo di Nvidia potrebbe essere stato influenzato da preoccupazioni riguardanti il suo rapporto con Super Micro Computer. Tuttavia, Nvidia rimane un leader nella tecnologia.
Il vero concorrente più forte è Advanced Micro Devices che ha perso molti punti questa settimana. L’offerta Nvdia si concentra sull’H100, che sarà se non obsoleto, di secondo livello in tempi relativamente brevi quando debutterà la nuova GPU AI Blackwell.
Sembra che le debolezze nei rapporti di ASML Holding e Taiwan che ospita Semiconductor abbiano influenzato negativamente il settore.
ASML Holding NV domina praticamente il mercato di un’apparecchiatura fondamentale per la produzione dei componenti che alimentano la vita moderna, il vero cuore del business di ASML è rappresentato dalla litografia EUV (litografia ultravioletta estrema), una tecnologia che utilizza la luce a lunghezza d’onda più corta per consentire ai produttori di chip di integrare un numero incredibile di transistor nei loro circuiti.
Nel contesto geopolitico del 21° secolo, i chip stanno diventando ciò che il petrolio era nel secolo precedente, e il successo unico di ASML l’ha resa un obiettivo prioritario nelle crescenti tensioni tra Stati Uniti e Cina.
Ovviamente questa visione, puramente descrittiva, non tiene conto dei fondamentali della società che rimangono solidissimi, come evidenziato dai dati della trimestrale diffusa a febbraio e come sicuramente confermeranno i dati del prossimo Quarter che verranno diffusi il 22 maggio.
In copertina: Cerebras Systems World’s Fastest AI Chip con Whopping 4 Trillion Transistors
Newsletter AI – Non perderti le ultime novità sul mondo dell’Intelligenza Artificiale, i consigli sui tool da provare, i prompt e i corsi di formazione. Iscriviti alla newsletter settimanale e accedi a un mondo di contenuti esclusivi direttamente nella tua casella di posta!
Nvidia Corporation effettua strategicamente investimenti nei settori chiave del campo dell’Intelligenza Artificiale per potenziare le sue capacità future e il suo margine di profitto.
Gli investimenti in Databricks, ARM Inc., Recursion Pharmaceuticals e SoundHound AI hanno il potenziale per incrementare i guadagni di Nvidia.
Le partnership con Databricks e ARM Inc. possono ottimizzare il software ed espandere la tecnologia dell’AI oltre le GPU, mentre le collaborazioni con Recursion Pharmaceuticals e SoundHound AI possono accelerare la scoperta di nuovi farmaci e migliorare le soluzioni di AI vocale.
Il 14 febbraio, Nvidia ha rivelato di detenere azioni pubblicamente quotate in cinque aziende legate all’AI: Arm Holdings plc , SoundHound AI Inc. , Recursion Pharmaceuticals , Nano-X Imaging e TuSimple .
Anche se il valore di questi investimenti dovesse triplicare, il profitto complessivo sarebbe minimo rispetto agli ultimi guadagni trimestrali di oltre 12 miliardi di dollari. Tuttavia, questi investimenti combinati sono sottovalutati dagli investitori di Nvidia e, col tempo, consentiranno all’azienda di rimanere leader nel settore dell’Intelligenza Artificiale.
Per quanto riguarda Databricks, Nvidia ha investito nella società, leader in analisi dei dati con una piattaforma cloud user-friendly. Databricks si concentra su strumenti open source, attraendo una grande base di sviluppatori e acquisendo più clienti. La partnership con Nvidia aiuterà a consolidare la loro posizione all’avanguardia dell’innovazione nell’IA.
È evidente che il software di Databricks funzioni su hardware informatico, e Nvidia è un protagonista principale in questo settore con le loro unità di elaborazione grafica (GPU). Lavorando insieme, possono ottimizzare il software di Databricks per funzionare meglio sulle GPU di Nvidia, rendendo i prodotti di entrambe le aziende più attraenti.
Inoltre, Databricks è un leader nell’analisi dei dati, un campo cruciale per lo sviluppo dell’AI. Avendo una quota in Databricks, Nvidia ottiene un partner che può aiutarli a sviluppare migliori strumenti e soluzioni di Intelligenza Artificiale.
Questo può rafforzare la posizione di Nvidia nell’intero mercato dell’AI. Durante la recente conference call sugli utili, il direttore finanziario di Nvidia, Colette Kress, ha dichiarato che l’azienda “ha compiuto notevoli progressi con le nostre offerte software e servizi, che hanno raggiunto un tasso di fatturato annuo di 1 miliardo di dollari nel quarto trimestre“. Questo è molto importante, perché dimostra le ambizioni di Nvidia di svilupparsi oltre i semiconduttori.
In breve, questo investimento ha creato una situazione vantaggiosa per entrambe le parti. Nvidia ha la possibilità di collaborare con una delle principali aziende di software di AI, mentre Databricks ha accesso all’hardware potente di Nvidia.
Arm Holdings, gigante del design di chip con sede nel Regno Unito, ha rivoluzionato il computing mobile. Nonostante la fallita acquisizione di ARM da parte di Nvidia nel 2020, le opportunità di collaborazione rimangono. Entrambi sono leader nell’AI, e le loro tecnologie potrebbero collaborare in settori come le auto a guida autonoma e il computing ad alte prestazioni.
Recursion Pharmaceuticals utilizza l’IA per la scoperta di farmaci, e la collaborazione con Nvidia potrebbe accelerare significativamente il processo di scoperta di nuovi composti medicinali.
SoundHound, un’azienda di IA vocale, rivale di Shazam, offre una gamma di soluzioni AI-driven. L’investimento di Nvidia in SoundHound potrebbe portare a una migliore esperienza utente nei suoi prodotti grazie a un’interazione vocale più naturale, accurata e versatile.
In conclusione, gli investimenti strategici di Nvidia in questi settori chiave dell’AI promettono di portare benefici significativi all’azienda, migliorando la sua posizione di leader nell’industria dell’Intelligenza Artificiale.
Nvidia, ha inaugurato la sua convention annuale GTC con una serie di comunicati provenienti dal discorso del CEO Jensen Huang, che ha suscitato grande interesse a Wall Street.
Il palcoescenico e’ stato di GR00T, un modello umanoide di base generico che promette di trasformare l’apprendimento dei robot umanoidi nella simulazione e nel mondo reale.
Ricordate Blade Runner : “Io faccio amici. Giocattoli. I miei amici sono giocattoli. Li faccio io. È un hobby. Io sono un progettista genetico”. J.F. Sebastian (William Sanderson) spiega così il suo rapporto con i replicanti.
Addestrato nella simulazione accelerata da GPU NVIDIA, GR00T consente alle incarnazioni umanoidi di apprendere da una manciata di dimostrazioni umane con l’apprendimento per imitazione e NVIDIA Isaac Lab per l’apprendimento per rinforzo , oltre a generare movimenti di robot da dati video.
Il modello GR00T prende istruzioni multimodali e interazioni passate come input e produce le azioni che il robot deve eseguire.
Come parte dell’iniziativa, l’impresa ha anche lanciato un nuovo dispositivo informatico, Jetson Thor, dedicato ai robot umanoidi, basato sul sistema su chip (SoC) NVIDIA Thor. Inoltre, sono stati introdotti aggiornamenti sostanziali alla piattaforma robotica NVIDIA Isaac™, che comprendono modelli e strumenti fondamentali per l’intelligenza artificiale generativa, destinati alla simulazione e all’infrastruttura del flusso di lavoro dell’intelligenza artificiale.
“Creare modelli di base per robot umanoidi rappresenta uno dei problemi più stimolanti nell’ambito dell’intelligenza artificiale di oggi”, ha dichiarato Jensen Huang, fondatore e CEO di NVIDIA. “Le tecnologie abilitanti si stanno congiungendo, permettendo ai principali esperti di robotica di fare passi da gigante verso la realizzazione della robotica generale artificiale”.
I robot alimentati da GR00T (Generalist Robot 00 Technology) saranno in grado di comprendere il linguaggio naturale e di emulare i movimenti umani tramite l’osservazione delle azioni umane, apprendendo rapidamente la coordinazione, la destrezza e altre abilità necessarie per navigare, adattarsi e interagire con il mondo reale. Durante il keynote del GTC, Huang ha presentato diversi esempi di robot di questo tipo mentre svolgevano una serie di compiti.
Con questi annunci le azioni hanno annullato le precedenti perdite, registrando un aumento dell’1,3% nelle negoziazioni a metà giornata di martedì.
“È evidente dal keynote del GTC che, nonostante gli eventi degli ultimi 18 mesi, Nvidia ritiene che siamo ancora in una fase precoce nell’esplorare il potenziale dell’intelligenza artificiale generativa”, ha scritto l’analista di Morgan Stanley, Joseph Moore, in una nota.
Sebbene il keynote sia stato principalmente rivolto agli sviluppatori, (lo trovate in fondo all’articolo) l’azienda ha delineato una vasta ambizione per un “futuro basato sull’intelligenza artificiale”, con l’intelligenza artificiale generativa che viene identificata come “l’elemento fondamentale di una nuova rivoluzione industriale”, ha aggiunto Moore.
“È necessario del tempo per valutare le prestazioni dichiarate per Blackwell, ma se saranno confermate anche in termini pratici, riteniamo che la capacità dell’azienda di elevare così tanto il livello la posizioni in una posizione molto vantaggiosa”, ha continuato Moore.
“Mentre i maggiori clienti cloud rimangono orientati verso soluzioni AI alternative – personalizzate o commerciali – tutti si trovano con uno spazio rack limitato, data la limitazione dell’ecosistema (con più hyperscaler in attesa di implementare nuove infrastrutture).
Lo spazio rack limitato porterà i fornitori cloud a scegliere la soluzione con il ritorno sugli investimenti più elevato, che continuiamo a credere sia rappresentata da NVIDIA.”
AMD concorrente di Nvidia nel mercato degli acceleratori AI, ha registrato una diminuzione del 4% martedì, mentre Intel , Qualcomm , Broadcom e altri hanno registrato cali modesti.
Altri Annunci significativi durante GTC commentati dagli analisti
tra i numerosi annunci di Huang c’è la nuova piattaforma GPU Blackwell dell’azienda, che prende il nome dal matematico americano David Blackwell. La nuova piattaforma include le GPU B100 e B200, che sono due volte più grandi dell’H100.
Amazon Web Services, Google Cloud, Microsoft Azure e Oracle Cloud Infrastructure saranno tra i primi fornitori di servizi cloud a offrire istanze basate su Blackwell, ha dichiarato Nvidia. Anche Applied Digital, CoreWeave, Crusoe, IBM Cloud e Lambda offriranno supporto a Blackwell.
Altri annunci includono il GB200, i nuovi switch di rete della serie X800 (progettati per l’intelligenza artificiale su larga scala),
il prossimo supercomputer AI di Nvidia, NVIDIA DGX SuperPOD e il nuovo chip NVLink.
Sebbene la maggior parte degli annunci sia stata considerata allineata alle aspettative, l’analista di KeyBanc Capital Markets, John Vinh, ha dichiarato che l’evento – e gli aggiornamenti all’architettura Blackwell – sono stati “alquanto sorprendenti”.
Nvidia prevede che il prezzo medio di vendita del B100 sarà superiore di circa il 40% rispetto all’H100, che parte da $ 35.000, mentre le prestazioni dell’intelligenza artificiale sono tra 2,5 e 5 volte superiori a quelle dell’H100.
Huang (AD) ha detto a CNBC che il B200 costerà tra $ 30.000 e $ 40.000.
Tutti questi annunci hanno consolidato la leadership di Nvidia su aziende come AMD , Intel e altre nel settore dell’intelligenza artificiale, e si prevede che l’incremento del prezzo medio di vendita e delle prestazioni contribuirà a sostenere una “crescita degli utili notevole”, ha aggiunto Vinh.
“Anche se la piattaforma di rendering/simulazione 3D Nvidia Omniverse potrebbe richiedere più tempo del previsto per materializzarsi, WELLS continua a considerarla un elemento sottovalutato della strategia/opportunità di monetizzazione della piattaforma AI a lungo termine di Nvidia”, ha scritto Rakers in una nota ai clienti.
Vi riportiamo il Keynote completo :
Si prevede che il mercato delle reti collettive di data center registrerà un CAGR di circa l’11–13% nei prossimi anni, diverse fonti (1, 2) suggeriscono che all’interno di questo mercato InfiniBand potrebbe crescere ad un CAGR di circa il 40% rispetto al suo valore attuale. dimensione attuale di pochi miliardi di dollari.
Esiste un altro pezzo importante del mercato degli acceleratori per data center, in cui la situazione competitiva è esattamente l’opposto di quanto discusso fino ad ora sulla strategia di Nvdia, ovvero le soluzioni di rete per data center.
In questo caso, Nvidia è la sfidante dell’attuale equilibrio e ha già dimostrato come si possa rapidamente sconvolgere un mercato.
Il protocollo universale originale per la rete di computer cablati è Ethernet, che è stato progettato per offrire un’interconnessione semplice, flessibile e scalabile nelle reti locali o nelle reti geografiche.
Con l’emergere dell’informatica ad alte prestazioni e dei data center su larga scala, le soluzioni di rete Ethernet hanno dovuto affrontare una nuova opportunità di mercato in espansione e hanno rapidamente stabilito un’elevata penetrazione grazie alla loro accettazione .
Tuttavia, è stato stabilito un nuovo standard, InfiniBand, progettato specificamente per connettere server, dispositivi di archiviazione e di rete in ambienti informatici ad alte prestazioni concentrandosi su bassa latenza, alte prestazioni, basso consumo energetico e affidabilità. Legetevi un bell ‘articolo su Linkedin.
Nel 2005, 10 dei 100 migliori supercomputer del mondo utilizzavano la tecnologia di rete InfiniBand, numero che è salito a 48 nel 2010 e si attesta attualmente a 61.
Il principale fornitore di apparecchiature di rete basate su InfiniBand era stata Mellanox, fondata da ex dirigenti Intel nel 1999 in Israele ed è nata come azienda di semiconduttori specializzata in tecnologie di rete di interconnessione per data center e calcolo ad alte prestazioni.
Nel 2019, c’è stata una vera e propria guerra di offerte tra Nvidia, Intel e Xilinx (acquisita da AMD) per acquisire l’azienda, dove Nvidia è riuscita a fornire l’offerta più generosa con 6,9 miliardi di dollari.
Questa acquisizione ha permesso l’ integrazione di rete e GPU e ha creato enormi miglioramenti delle prestazioni nei carichi di lavoro informatici come l’IA che richiedono larghezza di banda elevata e bassa latenza, offrendo una soluzione data center integrata che nessun concorrente nel campo delle GPU o della rete possiede. L’integrazione della rete di Mellanox con le GPU NVIDIA ha creato una soluzione di elaborazione e rete end-to-end innovativa che ha portato aal suo HGX HGX(8 GPU Nvidia con rete integrata). HGX è appositamente progettato per questi carichi di lavoro informatici altamente impegnativi, senza ostacoli da vincoli di rete.
Con questa acquisizione perfettamente tempestiva, hanno portato internamente la tecnologia di rete InfiniBand, che si è rivelata un enorme successo grazie alla rapida affermazione dell’intelligenza artificiale nel 2023. Questo dimostra che lo standard ha ottenuto un’ampia accettazione negli ambienti informatici ad alte prestazioni, dove risiedono le tecnologie di intelligenza artificiale.
Oltre ad acquisire il know-how InfiniBand di Mellanox, Nvidia ha guadagnato molto di più con l’acquisizione. Ciò può essere riassunto dalla seguente diapositiva tratta da una presentazione agli investitori di Mellanox dell’aprile 2020, l’ultima come società autonoma prima che Nvidia completasse l’acquisizione.
Oltre allo standard InfiniBand, Mellanox eccelleva anche nella produzione di dispositivi Ethernet di fascia alta, occupando una posizione leader negli adattatori, ma soprattutto anche negli switch Ethernet e nelle schede NIC (interfaccia di rete intelligente).
Sulla base di queste tecnologie Nvidia è stata anche in grado di offrire soluzioni di rete competitive per coloro che desiderano attenersi agli standard Ethernet.
La piattaforma Spectrum-X basata su Ethernet recentemente introdotta ne è un buon esempio, che secondo l’azienda fornisce prestazioni di rete 1,6 volte più veloci.
Dell , HPE e Lenovo hanno già annunciato che integreranno Spectrum-X nei propri server, aiutando i clienti che desiderano accelerare i carichi di lavoro AI.
Oltre alle tecnologie InfiniBand e Spectrum-X, che in genere collegano interi server GPU costituiti da 8 GPU Nvidia, Nvidia ha sviluppato l’interconnessione diretta GPU-to-GPU NVLink, che costituisce l’altra parte critica delle soluzioni di rete dei data center.
Questa tecnologia presenta anche numerosi vantaggi rispetto al protocollo bus PCIe standard utilizzato per collegare le GPU tra loro.
Tra gli altri, questi includono l’accesso diretto alla memoria eliminando la necessità del coinvolgimento della CPU o della memoria unificata che consente alle GPU di condividere un pool di memoria comune.
Le dimensioni del business networking di Nvidia hanno già superato la cifra di 10 miliardi di dollari nell’ultimo trimestre del terzo trimestre dell’anno fiscale 2024, quasi triplicando rispetto a un anno fa.
La combinazione delle GPU all’avanguardia di Nvidia con le sue soluzioni di rete avanzate nella piattaforma di supercalcolo HGX è stata un’eccellente mossa di vendita (per non parlare della linea di prodotti Grace CPU), creando essenzialmente l’architettura di riferimento per i carichi di lavoro AI.
La rapidità con cui questo mercato potrebbe evolversi nei prossimi anni è ciò di cui vorrei discutere nei prossimi articoli.
Il contenuto del presente articolo deve intendersi solo a scopo informativo e non costituisce una consulenza professionale. Le informazioni fornite sono ritenute accurate, ma possono contenere errori o imprecisioni e non possono essere prese in considerazione per eventuali investimenti personali.
Nvidia ha un enorme vantaggio in termini di software e di harware che consente loro di dominare la formazione sull’apprendimento automatico e di addebitare enormi profitti.
Ogni altro stack software non è neanche lontanamente vicino a offrire ciò che fa Nvidia anche se qusto vantaggio competitivo si potrebbe indebolire a causa delle evoluzioni di PyTorch 2.0 di Meta e Triton di OpenAI e sul lavoro su cui MosaicML sta lavorando già dall’anno scorso.
Con Composer e Foundry releases, ora anche l’hardware del concorrente AMD è facile da usare quanto l’hardware Nvidia, la cui famiglia di prodotti MI300 ha iniziato a essere distribuita nel quarto trimestre del 2023.
L’acceleratore AMD autonomo MI300X e l’unità di elaborazione accelerata MI300A saranno i primi veri concorrenti sfidanti al monopolio dell’intelligenza artificiale di Nvidia.
Lo stack hardware viene fornito con il software ROCm open source di AMD (equivalente CUDA), lanciato ufficialmente nel 2016. Negli ultimi anni, ROCm è riuscito a guadagnare terreno tra alcuni dei framework di deep learning più popolari come PyTorch o TensorFlow, che potrebbero rimuovere il problema l’ostacolo più importante affinché le GPU AMD possano guadagnare terreno in modo significativo sul mercato.
Nel 2021, PyTorch ha annunciato l’integrazione nativa della GPU AMD, consentendo la portabilità del codice scritto in CUDA per l’esecuzione su hardware AMD. Questa avrebbe potuto essere una pietra miliare importante per rompere il monopolio di CUDA.
Sebbene molti gruppi di interesse stiano spingendo al massimo, in base a diverse opinioni il ROCm di AMD è ancora lungi dall’essere perfetto, mentre CUDA è stato perfezionato negli ultimi 15 anni. Credo che questo lascerà CUDA la prima scelta per gli sviluppatori per il momento, mentre molti bug e carenze di ROCm verranno risolti solo nei prossimi anni.
Oltre a ROCm, si stanno evolvendo anche alcune alternative indipendenti dall’hardware per la programmazione GPU come Triton di OpenAI o oneAPI di Intel. È certo che, man mano che tutti si renderanno conto del potenziale di business dell’intelligenza artificiale, sarà solo questione di tempo prima che esistano alternative valide per CUDA, ma dobbiamo ancora aspettare scoperte rivoluzionarie su questo fronte.
Poiché le aziende faticano a procurarsi GPU sufficienti per i propri carichi di lavoro di intelligenza artificiale, sono sicuro che ci sarà una forte domanda per le soluzioni AMD anche nel 2024.
Tuttavia, le previsioni di 2 miliardi di dollari di entrate derivanti dalle GPU per data center nel 2024 da parte del CEO di AMD, Lisa Su, sono ben lontane dal trimestre più recente di Nvidia, in cui le entrate legate esclusivamente alle GPU avrebbero potuto superare i 10 miliardi di dollari, e continuano ad aumentare rapidamente.
Ma torniamo un po indietro nel tempo e facciamo un drill down del vantaggio di Nvidia e sul suo Ecosistema.
Nvidia si sta posizionando per l’era del calcolo accelerato (accellerated computing) da decenni, infatti fino dalla GTC (GPU Technology Conference) del 2010 dell’azienda era incentrata sull’idea dell’uso delle GPU per l’elaborazione generica, con particolare attenzione ai supercomputer.
Gli investimenti si sono concentrati nel lancio delle microarchitetture GPU (in inglese graphics processing unit) Ampere e Hopper negli ultimi anni, con Ampere introdotta ufficialmente a maggio 2020 e Hopper a marzo 2022.
Le GPU A100, H100 e H200 più potenti al mondo basate su queste architetture hanno dominato il mercato mercato in espansione delle GPU per data center nel 2023, alimentato dalle iniziative emergenti di AI e ML.
Queste GPU hanno assicurato una quota di mercato di circa il 90% per in questo modo Nvidia è riuscita a creare un’attività di networking multimiliardaria anche nel 2023,
Oltre alle GPU e alle soluzioni di rete all’avanguardia (livello hardware), che offrono le migliori prestazioni della categoria per l’addestramento e l’interferenza di modelli linguistici di grandi dimensioni,
Nvidia ha un altro vantaggio competitivo chiave, vale a dire CUDA (Compute Unified Device Architecture), il modello di programmazione proprietario dell’azienda per l’utilizzo delle sue GPU (livello software).
Per sfruttare in modo efficiente le capacità di elaborazione parallela delle GPU Nvidia, gli sviluppatori devono accedervi tramite una piattaforma di programmazione GPU.
Farlo attraverso modelli generali e aperti come OpenCL è un processo più dispendioso in termini di tempo e di impegno da parte degli sviluppatori rispetto al semplice utilizzo di CUDA, che fornisce accesso hardware di basso livello risparmiando dettagli complessi per gli sviluppatori grazie all’uso di API semplici. API sta per Application Programming Interface e contiene una serie di regole su come i diversi componenti software possono interagire tra loro.
L’uso di API ben definite semplifica drasticamente il processo di utilizzo delle GPU Nvidia per attività di elaborazione accelerate.
Nvidia ha investito molto nella creazione di librerie CUDA specifiche per attività specifiche per migliorare ulteriormente l’esperienza degli sviluppatori.
CUDA è stato inizialmente rilasciato nel 2007, da allora molte spese di ricerca e sviluppo sono state destinate alla creazione di un’esperienza fluida per l’utilizzo delle GPU Nvidia.
Attualmente, CUDA è nel cuore dell’ecosistema software AI, proprio come le GPU A100, H100 e H200 nel cuore dell’ecosistema hardware.
La maggior parte dei documenti accademici sull’intelligenza artificiale hanno utilizzato l’accelerazione CUDA durante la sperimentazione con le GPU (che ovviamente erano GPU Nvidia) e la maggior parte delle aziende utilizza CUDA durante lo sviluppo dei propri copiloti basati sull’intelligenza artificiale.
Nel frattempo, i ricercatori di machine learning sognano un mondo in cui possano creare il loro modello in PyTorch e non doversi preoccupare della programmazione a livello di GPU a parte chiamare un paio di librerie esterne.
Vogliono essere in grado di compilare qualsiasi modello arbitrario e farlo funzionare ad alte prestazioni su più chip.
L’obiettivo finale è che il ricercatore debba solo definire il parallelismo della pipeline e del tensore che si verifica tra i nodi e consentire che la generazione di codice di basso livello venga lasciata allo stack del compilatore.
Per chi si allena con modelli linguistici piuttosto piccoli, questo è già il caso di Nvidia. Con l’aumento dei modelli e dei cluster, esistono più kernel CUDA personalizzati e comunicazioni pianificate manualmente. Ogni altro stack software non è neanche lontanamente vicino a offrire ciò che fa Nvidia.
Anche se i concorrenti riuscissero a trovare valide alternative GPU, la creazione di un ecosistema software simile come CUDA potrebbe richiedere diversi anni.
Quando prendono decisioni di investimento nell’infrastruttura AI, CFO e CTO devono tenere conto dei costi degli sviluppatori e anche del livello di supporto per l’infrastruttura hardware e software, dove Nvidia si distingue dalla massa.
Anche se da un lato l’acquisto di GPU Nvidia comporta un prezzo elevato, dall’altro l’adesione al suo ecosistema presenta molti vantaggi in termini di costi.
Ciò migliora sostanzialmente il costo totale delle operazioni, il che a mio avviso rappresenta un forte vantaggio in termini di vendite.
Per ora, il mondo si è accontentato dell’ecosistema Nvidia, dubito che molte aziende correrebbero il rischio e lascerebbero dietro di sé una soluzione ben collaudata, chi rischirebbe i suoi Target, insomma um po come accade con le blasonate societa’ di consulenza Americane, chi si prende la responsabilita’ di perdere il bonus di fine anno a favore di una strategia di medio termine?!
Comunque qualcosa sta accadendo nel mercato : MosaicML, che è stata appena acquisita da DataBricks per 1,3 miliardi di dollari MosaicML si è concentrata sulla fornitura di strumenti e infrastrutture per rendere più semplice ed efficiente l’addestramento di modelli linguistici di grandi dimensioni, modelli di generazione di immagini e altro ancora.
Eliminano gran parte delle difficoltà derivanti dall’esecuzione di modelli linguistici di grandi dimensioni, dalla preparazione dei dati alla formazione fino alla gestione dell’infrastruttura.
Un’altra più importante minaccia competitiva nel 2024 dovrebbe provenire dai maggiori clienti di Nvidia, gli hyperscaler, ovvero Amazon, Microsoft e Alphabet/Google.
Tutte queste aziende sono riuscite a sviluppare i propri chip AI specifici per la formazione e l’inferenza LLM. Microsoft ha introdotto Maia a novembre e
Google ha presentato il suo ultimo modello di intelligenza artificiale, Gemini 1.5, che presenta quella che l’azienda chiama una finestra di contesto “sperimentale” da un milione di token.
La nuova funzionalità consente a Gemini 1.5 di elaborare passaggi di testo estremamente lunghi – fino a un milione di caratteri – per comprenderne contesto e significato. Ciò fa impallidire i precedenti sistemi di intelligenza artificiale come Claude 2.1 e GPT-4 Turbo, che raggiungono rispettivamente un massimo di 200.000 e 128.000 token.
C’è ancora molta strada da fare prima che inizino ad alimentare i carichi di lavoro dei clienti, anche se Microsoft prevede di offrire Maia come alternativa per i clienti Azure .
Amazon è diverso da questo punto di vista, poiché la linea di chip AI dell’azienda (Trainium e Inferentia) è sul mercato ormai da alcuni anni.
La società ha recentemente annunciato un’importante partnership strategica con la principale startup di intelligenza artificiale Anthropic, dove Anthropic si è impegnata a utilizzare i chip Trainium e Inferentia per i suoi modelli futuri. Sebbene Amazon sia uno dei principali investitori nella startup, ciò è una prova evidente del fatto che la linea di chip AI dell’azienda ha raggiunto un buon livello di affidabilità.
L’azienda ha recentemente lanciato il suo nuovo chip Trainium2, che potrebbe conquistare parte del mercato della formazione LLM quest’anno poiché i clienti AWS più attenti ai costi potrebbero utilizzare questi chip come un’altra opzione per Nvidia.
Tuttavia, è importante notare che il lato software discusso in precedenza deve tenere il passo anche con le innovazioni hardware, il che potrebbe rallentare il processo di adozione diffusa di questi chip.
Un segnale importante che Amazon è lungi dal soddisfare la crescente domanda di intelligenza artificiale solo attraverso i propri chip è la partnership recentemente rafforzata dell’azienda con Nvidia.
Jensen Huang si è unito ad Adam Selipsky, CEO di AWS, sul palco durante il suo discorso chiave su AWS re: Invent, in cui le aziende hanno annunciato crescenti sforzi di collaborazione in diversi campi. Nelle recenti chiamate sugli utili di Nvidia, abbiamo sentito molto parlare di partnership con Microsoft, Google o Oracle, ma AWS è stata menzionata raramente.
Questi recenti annunci su una maggiore collaborazione mostrano che Amazon deve ancora fare molto affidamento su Nvidia per rimanere competitivo nello spazio dell’intelligenza artificiale in rapida evoluzione. Credo che questo sia un forte segnale del fatto che Nvidia dovrebbe continuare a dominare lo spazio dell’hardware AI nei prossimi anni.
Infine, un’interessante minaccia competitiva per Nvidia è Huawei sul mercato cinese a causa delle restrizioni introdotte dagli Stati Uniti sulle esportazioni di chip legati all’intelligenza artificiale.
Nvidia ha dovuto rinunciare a fornire al mercato cinese i suoi chip AI più avanzati, che rappresentavano costantemente il 20-25% delle entrate dei data center dell’azienda.
Si dice che l’azienda abbia già ordini per questi chip per un valore di oltre 5 miliardi di dollari per il 2024, che ora sono in discussione. Nvidia ha agito rapidamente e prevede di iniziare la produzione di massa dei chip H20, L20 e L2 sviluppati appositamente per il mercato cinese già nel secondo trimestre di quest’anno.
Sebbene il chip H20 sia in una certa misura una versione ridotta del chip H100, utilizza in parte la tecnologia del chip H200 recentemente introdotto, che presenta anche alcuni vantaggi rispetto all’H100. Ad esempio, sulla base di una semi-analisi, l’H20 è il 20% più veloce nell’interferenza LLM rispetto all’H100, quindi è ancora un chip molto competitivo.
La grande domanda è come affronteranno questa situazione i grandi clienti cinesi come Alibaba Baidu, Tencent o ByteDance che fino ad ora hanno fatto molto affidamento sull’ecosistema AI di Nvidia.
Attualmente, l’alternativa Nvidia più valida per quanto riguarda i chip AI è la famiglia Huawei Ascend sul mercato cinese, da cui spicca l’Ascend 910, le cui prestazioni si avvicinano all’H100 di Nvidia.
Baidu ha già ordinato una quantità maggiore di questi chip lo scorso anno come primo passo per ridurre la sua dipendenza da Nvidia, e anche altri grandi nomi tecnologici cinesi dovrebbero seguire.
Tuttavia, dal 2020 Huawei non può fare affidamento su TSMC per produrre i suoi chip a causa delle restrizioni statunitensi, spetta principalmente alla cinese SMIC produrli. Ci sono ancora notizie contrastanti su come SMIC potrebbe gestire la produzione di massa di chip IA all’avanguardia, ma diverse fonti (1, 2, 3) suggeriscono che l’industria cinese di produzione di chip è indietro di diversi anni.
Inoltre, un rischio significativo per SMIC e i suoi clienti è che gli Stati Uniti possano inasprire ulteriormente le sanzioni sulle apparecchiature utilizzate nella produzione di chip, limitando così la capacità dell’azienda di continuare a fornire i chip AI più avanzati di Huawei. Ciò potrebbe lasciare i giganti della tecnologia con i chip H20 di Nvidia come l’opzione migliore. Inoltre, negli ultimi anni gli sviluppatori cinesi si sono già abituati a CUDA, che a breve termine preferisce l’utilizzo dei chip Nvidia.
Tuttavia, in questo caso c’è anche un importante fattore di rischio per i giganti tecnologici cinesi, ovvero che gli Stati Uniti inaspriscano ulteriormente le restrizioni sulle esportazioni di Nvidia, il che li lascerebbe vulnerabili nella corsa all’intelligenza artificiale.
Secondo fonti del WSJ, le aziende cinesi non sono così entusiaste dei chip declassati di Nvidia, il che dimostra che potrebbero percepire l’utilizzo dei chip di Nvidia come un rischio maggiore.
“Le persone potenti vogliono sapere cosa sta succedendo, ma non vogliono spendere quindici minuti a leggerlo. “
Di questo discutevo con il capo redattore ieri. Fine della prima puntata.