Microsoft ha lanciato di recente il suo nuovo modello Phi-3.5-MoE, che a quanto si dice supera Llama 3 di Meta (parametri 8B) e Gemma 2 di Google (parametri 9B) in vari benchmark. Questa release fa parte dell’impegno continuo di Microsoft per competere con i principali attori nel panorama dell’intelligenza artificiale, tra cui Google e Meta.

Panoramica di Phi-3.5-MoE

Specifiche del modello

  • Parametri : 6,6 miliardi
  • Lunghezza del contesto : 128K token
  • Dati di formazione : 4,9 trilioni di token
  • Durata della formazione : 23 giorni utilizzando 512 GPU Nvidia H100-80G

Il modello Phi-3.5-MoE è progettato per essere leggero ma potente, concentrandosi su dati di alta qualità e densi di ragionamento. Supporta capacità multilingue ed è destinato sia ad applicazioni commerciali che di ricerca, in particolare in ambienti con vincoli di memoria o di elaborazione.

Confronto delle prestazioni

Nei test di riferimento, il Phi-3.5-MoE ha superato i suoi concorrenti, tra cui:

  • Llama 3 (8B) : un modello di Meta che ha attirato l’attenzione per i suoi progressi nell’elaborazione del linguaggio.
  • Gemma 2 (9B) : l’offerta di Google che si concentra anche sulla comprensione e sulla generazione del linguaggio.

Nonostante abbia meno parametri di questi modelli, il Phi-3.5-MoE ha dimostrato prestazioni superiori nel ragionamento e nei compiti multilingue, secondo benchmark come BigBench, MMLU e ARC Challenge. Tuttavia, è ancora indietro rispetto agli ultimi modelli di OpenAI, come GPT-4o-mini, che rimane il leader in alcune capacità.

Altri modelli della serie Phi-3.5

Oltre a Phi-3.5-MoE, Microsoft ha introdotto altri due modelli:

  • Phi-3.5-mini : con 3,8 miliardi di parametri e un set di dati di addestramento di 3,4 trilioni di token, questo modello è progettato anche per garantire efficienza ed efficacia in varie applicazioni.
  • Phi-3.5-vision : un modello multimodale con 4,2 miliardi di parametri che integra sia dati testuali che visivi, addestrato su 500 miliardi di token, che gli consente di gestire attività che richiedono la comprensione di immagini e testo.Conclusione

Il rilascio di Phi-3.5-MoE segna un significativo progresso per Microsoft nel campo dell’intelligenza artificiale, dimostrando il suo impegno nello sviluppo di modelli competitivi in ​​grado di soddisfare efficacemente le esigenze delle applicazioni moderne. La sua capacità di superare modelli più grandi di Meta e Google in benchmark specifici evidenzia il potenziale di modelli più piccoli e ben ottimizzati nel panorama in evoluzione dell’intelligenza artificiale.