LLM-Oasis è un progetto che sta cambiando il modo in cui i modelli di linguaggio di grandi dimensioni (LLM) evolvono e vengono valutati per la loro capacità di distinguere tra verità e falsità. In collaborazione con Sapienza NLP e Babelscape.
Tag: llm
Un Nuovo Paradigma per gli LLM Italiani
Sapienza Università di Roma ha annunciato, alla presenza di Antonella Polimeni, Rettrice della Sapienza Università di Roma; Giuseppe De Pietro, Presidente di Fair; Alessandra Poggiani, Direttrice generale di Cineca; Minerva 7B, un modello linguistico all’avanguardia che segna un importante passo in avanti nella ricerca italiana nell’intelligenza artificiale. Questo Large Language Model (LLM), frutto del lavoro del team Sapienza composto da piu’ di 15 risorse, NLP sotto la guida di Roberto Navigli Direttore del gruppo di ricerca, si distingue per la sua ottimizzazione per la lingua italiana e l’approccio innovativo alla creazione di modelli di linguaggio, con un focus particolare sulla trasparenza del processo di addestramento. Minerva 7B è stato sviluppato nell’ambito di FAIR (Future Artificial Intelligence Research), in collaborazione con CINECA, che ha messo a disposizione il supercomputer Leonardo, e grazie al finanziamento dei fondi del Piano Nazionale di Ripresa e Resilienza (PNRR).
Writer, una startup specializzata in intelligenza artificiale generativa per il mondo aziendale, ha recentemente svelato un modello rivoluzionario di apprendimento continuo. Con un impressionante finanziamento di 200 milioni di dollari, la società ha raggiunto una valutazione di 1,9 miliardi di dollari, consolidandosi come leader nell’innovazione tecnologica per applicazioni enterprise.
Nel cuore del progresso tecnologico, dove l’intelligenza artificiale sembrava destinata a crescere senza limiti, qualcosa si è inceppato. Le aziende leader del settore, come Google, Anthropic e OpenAI, stanno affrontando una realtà che non avevano previsto: il plateau nelle prestazioni dei loro grandi modelli di linguaggio (LLM). Fino a poco tempo fa, il pensiero dominante era semplice: bastava aumentare la dimensione dei modelli e dei dati per ottenere risultati sempre più sorprendenti. Ma oggi la verità è diversa, e l’industria dell’AI si trova di fronte a una nuova sfida.
Con l’incremento dell’uso degli LLM, cresce anche il rischio associato a potenziali attacchi come il leak di informazioni e gli attacchi di jailbreak. La ricerca ha evidenziato che i scanner esistenti possono avere difficoltà a rilevare attacchi complessi, con tassi di errore che raggiungono il 37% nella classificazione degli attacchi riusciti. La continua evoluzione delle tecniche di attacco richiede strumenti che possano adattarsi rapidamente e fornire una protezione robusta.
Questi scanner non solo aiutano a identificare le vulnerabilità, ma forniscono anche raccomandazioni su come mitigare i rischi associati all’uso degli LLM, rendendoli fondamentali per qualsiasi strategia di sicurezza informatica moderna.
L’articolo di ricerca, “Insights and Current Gaps in Open-Source LLM Vulnerability Scanners: A Comparative Analysis”, esamina e confronta vari scanner di vulnerabilità open-source per modelli di linguaggio di grandi dimensioni (LLM). Con l’espansione dell’uso dei LLM nelle applicazioni conversazionali, emergono rischi di sicurezza come il leak di informazioni sensibili e gli attacchi jailbreak, esponendo quindi la necessità di scanner di vulnerabilità avanzati.
Imprompter, sviluppato da un gruppo di ricercatori di sicurezza informatica delle università della California, San Diego (UCSD) e Nanyang Technological University a Singapore. Questo attacco mira a sfruttare i modelli di linguaggio di grandi dimensioni (LLM) come i chatbot per raccogliere informazioni personali degli utenti e inviarle segretamente a un hacker.
Il recente studio GSM-Symbolic: Understanding the Limitations of
Mathematical Reasoning in Large Language Models, di Apple, esamina le limitazioni del ragionamento delle intelligenze artificiali (IA) in particolare nei modelli linguistici avanzati, evidenziando come piccoli cambiamenti in problemi matematici possano compromettere la loro capacità di risolverli correttamente.
“Fantastico, abbiamo creato un’IA che risolve problemi matematici di scuola elementare… a patto che i numeri non cambino mai! La prossima frontiera sarà farle distinguere tra ‘contare mele’ e ‘aggiungere banane’, ma non mettiamo troppa pressione sul nostro nuovo ‘genio’ tecnologico!”
DINA
Roberto Navigli è un nome di spicco nel campo dell’elaborazione del linguaggio naturale (NLP) in Italia e a livello internazionale. Professore ordinario presso il Dipartimento di Ingegneria Informatica, Automatica e Gestionale della Sapienza Università di Roma, Navigli ha dedicato la sua carriera alla ricerca e allo sviluppo di tecnologie innovative nel settore dell’intelligenza artificiale, con un focus particolare sulla semantica lessicale e la comprensione del linguaggio naturale.
In a revolutionary step forward in the field of Artificial Intelligence, a team of Italian researchers has introduced Minerva, a family of Large Language Models (LLMs) trained entirely in the Italian language. Baptized in honor of the Roman goddess of wisdom and loyalty, Minerva represents a significant leap forward in AI technology specifically developed for the Italian language.
Un recente studio da HAI Stanford Universityha rivelato che i grandi modelli linguistici utilizzati ampiamente per le valutazioni mediche non riescono a supportare adeguatamente le loro affermazioni.
Secondo una ricerca condotta da Microsoft, circa l’88% delle lingue parlate nel mondo, che coinvolgono 1,2 miliardi di persone, non ha accesso ai Large Language Models (LLM). Perchè sono costruiti principalmente utilizzando dati in lingua inglese e per utenti di madrelingua inglese: “di conseguenza, la distinzione tra chi ha e chi non ha è diventata piuttosto netta“. La soluzione a questo problema risiede nell’implementazione di LLM multilingue, che possano essere allenati in diverse lingue e utilizzati per compiti in diverse lingue.
Il gruppo di ricerca Sapienza NLP (Natural Language Processing), guidato da Roberto Navigli, professore ordinario presso il Dipartimento di Ingegneria Informatica, Automatica e Gestionale “Antonio Ruberti” della Sapienza Università di Roma, annuncia oggi il rilascio dei modelli Minerva, una nuova famiglia di modelli linguistici su larga scala (Large Language Model, LLM) addestrati “da zero” per la lingua italiana.
Minerva è la prima famiglia di LLM italiano-inglese veramente aperti (dati e modello) preformati da zero, un modello da 350 milioni di parametri addestrato su 70 miliardi di token (35 miliardi in italiano, 35 miliardi in inglese), sviluppata da Sapienza NLP in collaborazione con Future Artificial Intelligence Research (FAIR) e CINECA . In particolare, circa la metà dei dati pre-formazione include testo in italiano.
Questo lavoro è stato finanziato dal progetto PNRR MUR PE0000013-FAIR . Riconosciamo il premio CINECA “IscB_medit” nell’ambito dell’iniziativa ISCRA, per la disponibilità di risorse e supporto informatico ad alte prestazioni.
“La caratteristica distintiva dei modelli Minerva è il fatto di essere stati costruiti e addestrati da zero usando testi ad accesso aperto, al contrario dei modelli italiani esistenti ad oggi, che sono basati sull’adattamento di modelli come LLaMA e Mistral, i cui dati di addestramento sono tuttora sconosciuti”
“Nello specifico, ogni modello Minerva è stato addestrato su un vasto insieme di fonti italiane e inglesi online e documentate, per un totale di oltre 500 miliardi di parole, l’equivalente di oltre 5 milioni di romanzi”.
“Non solo la trasparenza nell’addestramento dei modelli rafforza la fiducia degli utenti, della comunità scientifica, degli enti pubblici e dell’industria, ma stimola anche continui miglioramenti ed è un primo passo verso processi di verifica rigorosi per garantire la conformità a leggi e regolamenti”.
Roberto Navigli.
Il team di PNL della Sapienza
- Riccardo Orlando: preelaborazione dei dati, training del modello
- Pere-Lluis Huguet Cabot: preelaborazione dei dati, vocabolario, valutazione
- Luca Moroni: data curation, analisi dei dati, compiti downstream, valutazione
- Simone Conia: data curation, valutazione, supervisione del progetto
- Edoardo Barba: preelaborazione dati, attività downstream, supervisione del progetto
- Roberto Navigli: coordinatore del progetto
Yann LeCun è considerato uno dei padri dell’Intelligenza artificiale, noto per i suoi contributi nei settori dell’apprendimento automatico, della robotica, del deep learning e delle neuroscienze computazionali.
È professore alla New York University e Chief AI Scientist di Meta e proprio per questo, quando parla di Intelligenza Artificiale è bene prestare attenzione alle sue parole.
I recenti rapporti suggeriscono che Apple sta avventurandosi nei Large Language Models (LLM) con il suo Modello Multimodale 1 (MM1), indicando un significativo passo avanti negli sforzi di intelligenza artificiale dell’azienda. Questa mossa ha il potenziale per rivoluzionare l’intelligenza artificiale multimodale e favorire l’innovazione attraverso vari ecosistemi.
Si prevede che il MM1 di Apple sia un modello di intelligenza artificiale sofisticato in grado di elaborare e comprendere contemporaneamente diversi tipi di dati di input, come testo, immagini e audio. Integrando diverse modalità di informazione, il MM1 mira a migliorare le capacità dell’intelligenza artificiale e a fornire risposte più complete e consapevoli del contesto.
L’intelligenza artificiale multimodale coinvolge l’integrazione di diversi tipi di dati per migliorare la comprensione e i processi decisionali dei sistemi di intelligenza artificiale. L’ingresso di Apple nei LLM con MM1 potrebbe portare a scoperte nella comprensione del linguaggio naturale, nella visione artificiale e nell’elaborazione audio, consentendo interazioni più fluide tra esseri umani e macchine.
Le implicazioni del MM1 di Apple si estendono a vari ambiti, inclusi assistenti virtuali, creazione di contenuti, assistenza sanitaria, veicoli autonomi e altro ancora. Sfruttando l’intelligenza artificiale multimodale, Apple può migliorare le esperienze degli utenti, semplificare i flussi di lavoro e introdurre funzionalità innovative nei suoi prodotti e servizi.
L’ingresso di Apple nello spazio LLM la mette in diretta competizione con altri giganti tecnologici come Google, Microsoft e OpenAI, che hanno già compiuto progressi significativi nello sviluppo di modelli di intelligenza artificiale su larga scala. La corsa allo sviluppo di LLM più avanzati riflette l’importanza crescente dell’intelligenza artificiale nel plasmare il futuro della tecnologia.
Il focus di Apple sull’integrazione nell’ecosistema potrebbe conferirle un vantaggio unico nel distribuire l’intelligenza artificiale multimodale attraverso hardware, software e servizi. Integrando senza soluzione di continuità MM1 nei suoi prodotti come iPhone, iPad, Mac e HomePod, Apple può offrire esperienze AI coese e personalizzate ai suoi utenti.
Date le ferme posizioni di Apple sulla privacy degli utenti, è probabile che MM1 dia priorità alla sicurezza e alla protezione dei dati. Apple potrebbe impiegare tecniche di elaborazione e crittografia dei dati in dispositivo per proteggere i dati degli utenti mentre offre potenti funzionalità di intelligenza artificiale.
L’investimento di Apple nei LLM sottolinea il suo impegno nell’avanzamento della ricerca e dello sviluppo dell’intelligenza artificiale. L’azienda è probabile che assegni risorse significative per addestrare e ottimizzare MM1, collaborare con istituzioni accademiche e contribuire alla più ampia comunità di ricerca sull’intelligenza artificiale.
Complessivamente, l’ingresso di Apple nei LLM con MM1 segnala una mossa strategica per sfruttare il potere dell’intelligenza artificiale multimodale e guidare l’innovazione attraverso il suo ecosistema. Con l’evolversi della tecnologia, ci si può aspettare che Apple sveli nuove funzionalità e servizi basati sull’intelligenza artificiale che migliorano le esperienze degli utenti e ridefiniscono le possibilità dell’interazione uomo-macchina.
Uomo al centro o Macchina al Centro questo e’ il dilemma.
Siete familiari con le tre leggi della robotica delineate da Asimov?
Queste leggi, fondamentalmente, impediscono alla macchina, o al robot in questo caso, di nuocere all’uomo.
Ma perché sono state promulgate queste leggi?
Negli ultimi anni, i Large Language Model (LLM) hanno assunto un ruolo centrale nel panorama dell’Intelligenza Artificiale, rivoluzionando il modo in cui le macchine comprendono e generano linguaggio naturale. In questo articolo, esploreremo cosa sono i LLM, le loro applicazioni e il loro impatto cruciale nello sviluppo di app di intelligenza artificiale.
Definizione di Large Language Model:
I Large Language Model sono modelli di apprendimento automatico ad alta capacità computazionale addestrati su enormi dataset linguistici. Questi modelli, come GPT-3 (Generative Pre-trained Transformer 3), sono in grado di comprendere il contesto, generare testo coerente e svolgere compiti linguistici complessi.
Applicazioni Pratiche:
I Large Language Model trovano applicazione in una vasta gamma di settori, dall’elaborazione del linguaggio naturale alla creazione di contenuti e all’assistenza virtuale. Ad esempio, nella traduzione automatica, i LLM sono in grado di produrre risultati più precisi e naturali, migliorando l’accessibilità globale. In campo creativo, questi modelli possono generare testi, poesie e persino script cinematografici.
Importanza nello Sviluppo di App di Intelligenza Artificiale:
I Large Language Model sono fondamentali nello sviluppo di app di intelligenza artificiale per diverse ragioni. La loro capacità di comprendere il contesto e generare linguaggio coerente li rende preziosi per la creazione di interfacce utente più intuitive e conversazioni virtuali più naturali. Inoltre, l’adattabilità di questi modelli consente loro di essere utilizzati in una varietà di settori, dalla salute alla finanza, ampliando così il loro impatto.
Esempi Concreti:
Un esempio tangibile dell’efficacia dei Large Language Model è l’applicazione di chatbot avanzati nei servizi clienti online. Un assistente virtuale basato su un LLM può comprendere richieste complesse, rispondere in modo coerente e adattarsi a diverse interazioni con gli utenti, migliorando significativamente l’esperienza complessiva.
Prospettive Future:
I Large Language Model rappresentano quindi una pietra miliare nell’evoluzione dell’AI, potenziando applicazioni che richiedono comprensione avanzata del linguaggio naturale. Tuttavia, mentre ne esploriamo le potenzialità, è fondamentale che si affrontino sfide come la trasparenza e il bias, garantendo un utilizzo etico di queste tecnologie.
