La recente introduzione da parte di OpenAI dei modelli open-weight gpt-oss con licenza Apache 2.0 rappresenta un passo significativo nel panorama dell’intelligenza artificiale. Questi modelli consentono l’esecuzione offline e gratuita di una versione di ChatGPT, offrendo sia agli sviluppatori che agli appassionati un potente strumento da esplorare.
caratteristiche principali di gpt-oss
Il modello gpt-oss vanta 120 miliardi di parametri, posizionandosi come uno dei più avanzati disponibili. Tuttavia, è disponibile anche una versione ridotta da 20 miliardi di parametri, adatta per l’uso su macchine meno potenti. Nonostante le affermazioni riguardanti la sua superiorità rispetto a modelli precedenti, l’esecuzione richiede hardware considerevole.
requisiti hardware per gpt-oss
Per utilizzare il modello da 20 miliardi di parametri è necessario disporre almeno di:
- 16 GB di VRAM per il modello 20B
- 80 GB di VRAM per il modello 120B
- Un sistema con almeno 24 GB di RAM per prestazioni ottimali
- Una GPU dedicata in grado di gestire dati FP4
I requisiti elevati limitano notevolmente la possibilità d’uso su laptop e smartphone tradizionali, rendendo necessarie configurazioni hardware avanzate.
eseguire gpt-oss su dispositivi mobili
L’esperienza nell’esecuzione del modello su smartphone ha mostrato risultati deludenti. Le applicazioni LLM disponibili non sono riuscite a caricare correttamente il modello, portando a tentativi falliti. Anche quando si utilizza un dispositivo Android all’avanguardia come il ROG Phone 9 Pro con 24 GB di RAM, le prestazioni rimangono sotto le aspettative.
prestazioni e limitazioni sui telefoni
I test hanno dimostrato che il tasso di generazione dei token è estremamente basso, oscillando tra i 2 e i 3 token al secondo. Questo rende difficile qualsiasi interazione complessa o prolungata senza frustrazione:
- Tassi bassi di generazione testo
- Saturazione della CPU durante l’uso intensivo
- Difficoltà nel multitasking a causa delle elevate richieste di memoria
conclusione sulle capacità del modello gpt-oss
Sebbene gpt-oss rappresenti un progresso significativo nell’ambito dell’IA open-source, la sua applicabilità su dispositivi mobili risulta limitata. I requisiti hardware elevati ne impediscono un uso diffuso al momento attuale. La continua evoluzione della tecnologia potrebbe portare in futuro a versioni più ottimizzate e accessibili.
A questo punto, ci si aspetta che ulteriori sviluppi permettano una maggiore integrazione dell’intelligenza artificiale nei dispositivi quotidiani senza compromettere prestazioni o costi.
Lascia un commento