Essendo una persona che ha ricercato, scritto e seguito da vicino l’evoluzione dell’intelligenza artificiale generativa (GenAI) e il modo in cui viene implementata negli ambienti aziendali del mondo reale, non smette mai di stupirmi della rapidità con cui sta cambiando il panorama intorno a noi. Idee e concetti che solo pochi mesi fa sembravano lontani anni fa, come la possibilità di eseguire modelli di base direttamente sui dispositivi client, sono già qui. Allo stesso tempo, anche alcune delle nostre aspettative iniziali su come la tecnologia potrebbe evolversi e essere implementata stanno cambiando, e le implicazioni potrebbero essere grandi.

Nel caso dello sviluppo tecnologico di base e dell’implementazione di GenAI, ad esempio, c’è stato un crescente riconoscimento del fatto che il processo in due fasi di addestramento del modello e inferenza del modello non sta avvenendo nel modo in cui siamo stati portati a credere. In particolare, risulta che solo una manciata di aziende sta costruendo i propri modelli di base e formandoli da zero. Invece, la stragrande maggioranza del lavoro svolto riguarda la personalizzazione dei modelli esistenti.

Mentre alcuni potrebbero sostenere che la differenza tra la formazione e la personalizzazione di cose come i modelli linguistici di grandi dimensioni (LLM) è una questione di semantica, in verità implicano un impatto molto maggiore. Innanzitutto, questa tendenza evidenzia il fatto che solo le aziende più grandi hanno le risorse e il denaro non solo per costruire questi modelli da zero, ma anche per mantenerli ed evolverli.

Si tratta di aziende come Microsoft , Google, Amazon, Meta , Salesforce , insieme alle aziende in cui scelgono di investire e con cui collaborano, come ad esempio OpenAI, Anthropic, ecc.: sono quelli che svolgono la maggior parte del lavoro di creazione del modello.

Certo, ci sono un sacco di startup e altre aziende più piccole che stanno lavorando duramente per creare i propri modelli di base, ma ci sono domande crescenti su quanto questi tipi di modelli di business siano fattibili nel lungo periodo. In altre parole, il mercato assomiglia sempre più all’ennesimo caso di grande crescita delle grandi aziende tecnologiche.

Le ragioni di ciò vanno oltre i fattori tipici della disponibilità di competenze, dell’esperienza con la tecnologia e della fiducia nei grandi marchi. In effetti, a causa dell’ampia portata e influenza che gli strumenti GenAI stanno già iniziando ad avere (e che si prevede si espanderanno ulteriormente), ci sono crescenti preoccupazioni sulle questioni legali e sui fattori correlati.

Per dirla semplicemente, se le grandi organizzazioni iniziano a dipendere da uno strumento che probabilmente avrà un profondo impatto sulla loro attività, devono sapere che dietro quello strumento c’è una grande azienda a cui possono attribuire la colpa nel caso in cui qualcosa vada male. sbagliato.

Questo è molto diverso da molti altri nuovi prodotti tecnologici che spesso venivano introdotti nelle organizzazioni tramite startup e altre piccole aziende. La portata che ci si aspetta che GenAI abbia è semplicemente troppo profonda in un’organizzazione per essere affidata a chiunque tranne che a una grande e consolidata azienda tecnologica.

Eppure, nonostante questa preoccupazione, uno degli altri sviluppi sorprendenti nel mondo della GenAI è stata la rapida adozione e utilizzo di modelli open source da luoghi come Hugging Face. Sia i fornitori di tecnologia che le aziende stanno collaborando con Hugging Face a un ritmo incredibilmente rapido a causa della velocità con cui le nuove innovazioni vengono introdotte nei modelli aperti che ospitano.

Allora, come conciliare questi sviluppi apparentemente incongrui e incompatibili?

Si scopre che molti dei modelli di Hugging Face non sono del tutto nuovi, ma sono invece personalizzazioni di modelli esistenti. Quindi, ad esempio, puoi trovare cose che sfruttano qualcosa come il modello Llama 2 open source e sempre più popolare di Meta come base di riferimento, ma poi vengono adattati a un particolare caso d’uso.

Di conseguenza, le aziende possono sentirsi a proprio agio nell’usare qualcosa che deriva da una grande azienda tecnologica ma che offre il valore unico aggiunto da altri sviluppatori open source. È uno dei tanti esempi delle opportunità e dei vantaggi unici che il concetto di separare il “motore” dall’applicazione, cosa che GenAI consente agli sviluppatori di fare, sta ora offrendo.

Dal punto di vista del mercato, ciò significa che le più grandi organizzazioni tecnologiche probabilmente si daranno battaglia per produrre i migliori “motori” per GenAI, ma altre aziende e sviluppatori open source potranno poi sfruttare tali motori per il proprio lavoro. Le implicazioni di ciò, a loro volta, saranno probabilmente grandi quando si tratta di cose come i prezzi, il packaging, le licenze, i modelli di business e l’aspetto economico della GenAI.

In questa fase iniziale, non è chiaro esattamente quali saranno queste implicazioni.

Uno sviluppo probabile, tuttavia, è la separazione di questi motori di base del modello principale e delle applicazioni o personalizzazioni dei modelli che si trovano sopra di essi quando si tratta di creare prodotti: sicuramente qualcosa che vale la pena guardare.

È interessante notare che questa separazione dei modelli dalle applicazioni potrebbe anche avere un impatto sul modo in cui i modelli di base vengono eseguiti direttamente sui dispositivi. Una delle sfide di questo esercizio è che i modelli di base richiedono una grande quantità di memoria per funzionare in modo efficiente. Inoltre, molte persone credono che i dispositivi client dovranno eseguire più modelli di base contemporaneamente per eseguire tutte le varie attività che GenAI dovrebbe consentire.

Il problema è che, sebbene le specifiche di memoria di PC e smartphone siano certamente aumentate negli ultimi anni, sarà comunque difficile caricare più modelli di base in memoria contemporaneamente su un dispositivo client.

Una possibile soluzione è selezionare un unico modello di base che finisca per alimentare più applicazioni indipendenti. Se così fosse, solleverebbero interrogativi interessanti sulle partnership tra produttori di dispositivi e fornitori di modelli di fondazione e sulla capacità di differenziarsi tra loro.

Oltre ai cambiamenti nell’addestramento dei modelli, ci sono stati alcuni sviluppi interessanti nel mondo dell’inferenza. In particolare, tecnologie in rapida crescita come RAG (Retrieval Augmented Generation) forniscono un modo potente per personalizzare i modelli sfruttando i dati di un’organizzazione.

Fondamentalmente, il modo in cui RAG funziona è che fornisce un meccanismo per eseguire una query tipica a un LLM, ma la risposta viene generata dalla cache dei contenuti originali di un’organizzazione. In altre parole, RAG sfrutta le competenze apprese da un modello completamente addestrato in termini di regole da utilizzare per selezionare il contenuto.

Quindi costruisce la sua risposta combinando la propria logica e la comprensione del linguaggio di base con il materiale unico dell’organizzazione che gestisce lo strumento.

La bellezza di questo approccio è duplice. Innanzitutto, offre un modo significativamente più semplice e meno dispendioso in termini di risorse per personalizzare un modello. In secondo luogo, riduce contemporaneamente il rischio di allucinazioni e altri problemi di contenuto generando la risposta solo dal set di dati personalizzato e non dall’insieme molto più ampio di contenuti utilizzati per creare e addestrare inizialmente il modello.

Di conseguenza, l’approccio RAG viene rapidamente adottato da molte organizzazioni e sembra essere un fattore chiave per gli sviluppi futuri. Un’altra cosa interessante è che cambia la natura del modo in cui viene eseguita l’inferenza e sposta l’attenzione su dove sono richieste le risorse di elaborazione dal cloud al data center e/o ai dispositivi client.

Naturalmente, data la rapida evoluzione del mondo GenAI, è certamente possibile che gran parte di ciò che ho sostenuto qui possa essere irrilevante o un punto controverso entro la metà del prossimo anno.

Tuttavia, sembra chiaro che importanti cambiamenti si stanno già verificando e sarà importante che gli operatori del settore inizino a spostare i loro messaggi attorno a tali cambiamenti.

Il passaggio dall’attenzione all’addestramento e all’inferenza dei modelli a uno che metta in risalto la personalizzazione dei modelli, ad esempio, sembra tardivo in base alle realtà del mercato odierno. Allo stesso modo, anche fornire maggiori informazioni su tecnologie come RAG e la loro potenziale influenza sul processo di inferenza sembra fondamentale per aiutare a educare il mercato.

Non ci sono più molti dubbi sull’impatto che si prevede che GenAI avrà sulle aziende di tutte le dimensioni. Il percorso per raggiungere quel livello di impatto e il ritmo con cui sarà raggiunto, tuttavia, sono ancora molto indefiniti.

Alla luce di ciò, qualsiasi sforzo che l’industria tecnologica potrà compiere per educare meglio le persone su come la GenAI si sta evolvendo, anche attraverso messaggi migliori e più raffinati, sarà estremamente importante.

Il processo non sarà facile, ma speriamo che sempre più aziende siano disposte ad accettare la sfida.