Google ha recentemente annunciato l’introduzione dei modelli Gemma 3 ottimizzati con Quantization-Aware Training (QAT), una tecnologia che consente l’esecuzione di modelli AI avanzati su GPU consumer come la NVIDIA RTX 3090. Questa innovazione riduce significativamente i requisiti di memoria, mantenendo al contempo un’elevata qualità delle prestazioni.
Con l’ottimizzazione QAT, il modello Gemma 3 27B può ora essere eseguito localmente su una singola GPU desktop, come la NVIDIA RTX 3090 con 24 GB di VRAM. Allo stesso modo, il modello Gemma 3 12B è compatibile con GPU per laptop, come la NVIDIA RTX 4060 Laptop GPU con 8 GB di VRAM, portando capacità AI potenti anche su macchine portatili.
Questi modelli sono disponibili su piattaforme come Hugging Face, dove gli utenti possono accedere a diverse versioni ottimizzate di Gemma 3, tra cui il modello Gemma 3 27B IT QAT in formato int4.
La disponibilità di modelli AI avanzati su hardware consumer rappresenta un passo significativo verso la democratizzazione dell’accesso all’intelligenza artificiale, permettendo a sviluppatori e ricercatori di sperimentare e implementare soluzioni AI senza la necessità di infrastrutture costose.
Per ulteriori dettagli, è possibile consultare l’annuncio ufficiale di Google