L’Italia entra ufficialmente nella corsa all’intelligenza artificiale avanzata con Vitruvian-1 (V1), un modello sviluppato da ASC27 s.r.l., allenato interamente in Italia e capace di comprendere e rispondere nelle principali lingue europee. Un passo fondamentale per posizionare il nostro Paese e l’Europa tra i protagonisti dello sviluppo tecnologico globale, dimostrando che l’innovazione può nascere anche al di fuori delle grandi multinazionali americane e cinesi.

Vitruvian-1 non è un semplice chatbot, ma un modello AI con capacità di reasoning. A differenza delle tradizionali IA conversazionali, V1 non è progettato per sostenere dialoghi casuali, bensì per risolvere problemi complessi in ambiti come matematica, fisica, chimica e medicina. Può operare sia in modalità CHAT che RAG (Retrieval-Augmented Generation), consentendo agli utenti di sottoporgli documenti e ottenere risposte basate su informazioni specifiche.

Nonostante le dimensioni più contenute rispetto ai colossi da 1500 miliardi di parametri, V1 si distingue per la sua efficienza e la capacità di affrontare problemi con un livello di ragionamento avanzato, arrivando dove modelli più grandi e costosi falliscono. Con i suoi 14 miliardi di parametri, è un compromesso ottimale tra potenza computazionale e sostenibilità economica, rendendolo accessibile per l’utilizzo in ambito industriale ed enterprise.

L’accesso a Vitruvian-1 sarà inizialmente limitato a una waiting list, con la previsione di rilasciare API a pagamento per le aziende che necessitano di soluzioni AI avanzate. Questa scelta non è solo una questione di sostenibilità economica, ma anche di strategia: mantenere un modello AI attivo su larga scala richiede infrastrutture e risorse significative.

Vitruvian-1 non è un punto di arrivo, ma l’inizio di un percorso. ASC27 ha già in programma il rilascio di ulteriori modelli con diverse dimensioni e capacità, adattabili alle esigenze di specifici settori. Nel mondo dell’intelligenza artificiale, un mese equivale a cinque anni di progresso in altri ambiti tecnologici, e la velocità di innovazione sarà la chiave per il successo di questo progetto.

L’Italia ha sempre avuto un ruolo centrale nell’innovazione tecnologica: dal telefono alla radio, fino al personal computer. Oggi, con Vitruvian-1, il Paese si riafferma come culla del Genio, portando avanti una tradizione che unisce arte, scienza e ingegno umano. Come l’Uomo Vitruviano di Leonardo, questo modello rappresenta una fusione di precisione, armonia e intelligenza, proiettando l’Europa in una nuova era dell’AI.

Andiamo a esaminare il Technical Report dichiarato:

Il modello Vitruvian-1 si propone come una vera e propria rivoluzione nel miglioramento del ragionamento a catena del pensiero (Chain of Thought, CoT) in contesti multilingue. Adottando un approccio data-centric, il sistema combina tecniche avanzate di pre-training, fine-tuning supervisionato e reinforcement learning, mirando a perfezionare l’efficienza e la precisione nelle traduzioni e nei compiti di ragionamento complesso. A livello metodologico, le innovazioni introdotte da Vitruvian-1 offrono un quadro approfondito delle soluzioni applicate in questo campo.

Un Approccio Data-Centric per la Qualità dei Dati

La chiave per il successo di Vitruvian-1 risiede nell’attenzione maniacale alla qualità dei dati utilizzati per il pre-training. Una delle scelte fondamentali è stata l’utilizzo di un subset del dataset FineWeb, ulteriormente arricchito tramite traduzioni generate dalla potente API di DeepL. Per assicurarsi che solo i dati più accurati venissero impiegati, è stato implementato un sistema di filtraggio intelligente basato su un modello di valutazione della qualità, addestrato su Llama-3.2-1B. Questo modello permette di distinguere tra traduzioni precise e testi di bassa qualità, selezionando esclusivamente quelli che superano una specifica soglia 𝜏_CP%. In questo modo, viene garantita una solida base di dati per il successivo pre-training, un elemento cruciale per la stabilità del modello.

Generazione di Dati per il Ragionamento (CoT)

Una delle sfide principali nel migliorare il ragionamento in modelli linguistici è la qualità e la varietà delle risposte generate. Per affrontare questo problema, Vitruvian-1 ha adottato un metodo innovativo di generazione di risposte CoT tramite DeepSeek-R1, un sistema che crea risposte candidate per ogni domanda nel pool interno DQAD_{\text{QA}}. Il processo di verifica delle risposte è bifasico: una prima fase rule-based garantisce la correttezza per i compiti matematici, mentre una seconda fase model-based si avvale di un LLM esterno che funge da “giudice” per compiti più generali. Solo le risposte verificate vengono conservate, mentre le domande che non riescono a generare risposte valide vengono scartate.

Il processo di diversificazione delle domande rappresenta un altro punto di forza. Le domande generate sono stimate in base alla loro difficoltà, calcolata combinando la lunghezza del CoT e la perplessità della risposta finale. Utilizzando un modello Llama-3.1-8B adattato con LoRA, vengono create domande complesse, e per assicurarsi che la varietà del contenuto sia mantenuta, viene eseguita una diversificazione automatica tramite embedding con Sentence-BERT e campionamento da regioni a bassa densità nello spazio degli embedding. Questo approccio consente di massimizzare la diversità e la qualità delle risposte.

Supervised Fine-Tuning Bilanciato

Il fine-tuning supervisionato (SFT) è una fase cruciale per migliorare ulteriormente le capacità del modello. Vitruvian-1 applica una strategia di SFT bilanciato, che unisce i dati CoT distillati con esempi in lingua inglese per prevenire il fenomeno del catastrophic forgetting. I campioni di dati vengono stratificati in base alla difficoltà, seguendo una logica simile al curriculum learning. In questo modo, il modello è in grado di affrontare in modo progressivo compiti sempre più complessi, migliorando l’efficacia del suo apprendimento.

Reinforcement Learning con Ricompensa Composita

Una delle innovazioni principali di Vitruvian-1 è l’adozione di una funzione di ricompensa composita nell’ambito del reinforcement learning. La funzione di ricompensa include componenti sia rule-based, come verifiche deterministiche per problemi matematici, sia model-based, dove un modello di ricompensa valuta la qualità stilistica per testi più complessi. Inoltre, è stato introdotto il Cosine Reward, un meccanismo che incentiva risposte concise e precise, penalizzando le inefficienze. La ricompensa si basa su due fattori principali: la lunghezza della risposta LgenL_{\text{gen}} e la sua correttezza CC. Per ottimizzare l’intero processo, viene utilizzata l’ottimizzazione tramite Proximal Policy Optimization (PPO), che include un meccanismo di clipping per garantire la stabilità durante l’addestramento.

Scelta del Modello Base e Lingue Target

Per il modello base, Vitruvian-1 ha scelto Phi-4, un sistema con una spiccata efficienza parametrica e buone capacità di apprendimento few-shot. Il modello è stato progettato con un focus particolare sul miglioramento delle prestazioni in lingue europee, rendendo Vitruvian-1 un potente strumento per applicazioni multilingue.

Innovazioni Principali di Vitruvian-1

Vitruvian-1 si distingue per una serie di innovazioni che lo pongono all’avanguardia nel campo dei modelli linguistici multilingue. Una delle principali innovazioni è la creazione di una pipeline integrata data-centric, che combina un filtraggio rigoroso della qualità dei dati con una generazione diversificata di CoT e una verifica ibrida. Inoltre, il modello introduce una dinamica automatica di difficoltà e diversità, bilanciando l’accuratezza e la varietà delle risposte grazie all’approccio di curriculum learning. La funzione di ricompensa Cosine rappresenta un altro elemento distintivo, ottimizzando l’efficienza computazionale del CoT. Infine, l’adattamento con LoRA consente una personalizzazione efficace dei modelli esistenti, migliorando ulteriormente la generazione di domande complesse.

Risultati e Prospettive Future

I benchmark preliminari di Vitruvian-1 sono estremamente promettenti. I punteggi ottenuti nei test di MATH (95.5) e MMLU (90.2) sono tra i più elevati, sebbene i dettagli completi non siano stati ancora rilasciati per evitare sovrastime. Guardando al futuro, il team di Vitruvian-1 prevede l’espansione delle capacità computazionali, con l’introduzione di modelli di diverse dimensioni e prestazioni, al fine di soddisfare una gamma sempre più ampia di applicazioni e lingue.

Con queste innovazioni, Vitruvian-1 si presenta come una pietra miliare nell’evoluzione dei modelli linguistici multilingue, promettendo di ridefinire gli standard nel ragionamento automatizzato su larga scala.

Pagina del modello: https://lnkd.in/dPgH2WZZ

Technical Report: https://lnkd.in/d_pYGvyP