Ps5 sbloccata diventa un server ai locale e avvia il modello qwen da 27 miliardi di parametri

Ps5 sbloccata diventa un server ai locale e avvia il modello qwen da 27 miliardi di parametri
Contenuti dell'articolo

PlayStation 5 può essere utilizzata anche per eseguire modelli di intelligenza artificiale locale, oltre che per i videogiochi. Un progetto open source ha permesso di sfruttare la GPU di una PS5 modificata per avviare un modello Qwen da 27 miliardi di parametri, con una velocità di generazione vicina ai 20 token al secondo. La console può inoltre funzionare come server AI domestico, consentendo a computer e smartphone collegati alla stessa rete di accedere al modello senza trasferire le conversazioni nel cloud.

ps5lm plus sfrutta la gpu della playstation 5

Il risultato deriva dall’evoluzione del progetto open source PS5LM, denominata PS5LM Plus. La versione originale, sviluppata da Mert Cobanov, aveva portato lo strumento di inferenza llama.cpp sulle PS5 modificate, utilizzando inizialmente la CPU per gestire modelli di dimensioni ridotte. In seguito, lo sviluppatore abhi245y ha introdotto l’accelerazione GPU, superando alcuni limiti legati alle prestazioni e alla memoria disponibile.

memoria disponibile e prestazioni dei modelli ai

La PS5 dispone di 16 GB di memoria unificata GDDR6. La versione originale di PS5LM, eseguita come payload di sistema, poteva però utilizzare una quantità più limitata di memoria e supportava principalmente modelli come Qwen3.5 0.8B e 2B.

PS5LM Plus funziona come applicazione nativa e utilizza Vulkan insieme ai driver AMD RADV sviluppati dalla comunità. In questo modo, il software può accedere a circa 11,4 GiB di memoria, sufficienti per caricare un modello da 27 miliardi di parametri sottoposto a compressione.

Nei test pubblicati dagli sviluppatori, Qwen 3.8 27B nella versione quantizzata IQ2_XXS, con dimensioni di circa 6,8 GiB e una finestra di contesto da 64K, raggiunge circa 20,7 token al secondo. La variante Q2_K_XL, da circa 9,2 GiB e con contesto da 32K, arriva invece a circa 20,3 token al secondo.

modelli più piccoli e accesso da smartphone

Il progetto supporta anche altri modelli AI open source. Le prove indicano una velocità di circa 61 token al secondo per Gemma 4 E4B e di circa 124 token al secondo per Llama 3.2 3B. I valori non sono direttamente confrontabili per valutare la qualità delle risposte, poiché dipendono dalle dimensioni dei modelli, dai sistemi di quantizzazione e dalle impostazioni utilizzate.

L’applicazione include un’interfaccia dedicata che permette di controllare sul televisore utilizzo della GPU, consumi, temperatura e velocità di generazione. I modelli possono essere gestiti dalla memoria interna della console, da un’unità USB o da un SSD M.2. È inoltre possibile scaricare i modelli direttamente da Hugging Face, con una verifica preliminare dello spazio disponibile.

Attraverso la rete locale, smartphone e computer possono aprire una pagina web e comunicare con il modello presente sulla PS5. L’interfaccia compatibile con le API OpenAI consente anche ad altre applicazioni di collegarsi al servizio AI locale fornito dalla console.

ps5 modificata e limiti della quantizzazione

Per eseguire un modello da 27 miliardi di parametri su una console con 16 GB di memoria unificata, è stata utilizzata una quantizzazione a bassa precisione, intorno ai 2 bit. Questa tecnica riduce sensibilmente lo spazio necessario, ma può comportare una perdita di accuratezza e di capacità di ragionamento. I risultati dei test non dimostrano quindi che la PS5 possa eseguire lo stesso modello a precisione completa.

PS5LM Plus non è una funzione ufficiale Sony. L’esecuzione richiede una PS5 sottoposta a modifica e strumenti non ufficiali come etaHEN, kstuff e ShadowMountPlus. La documentazione del progetto originale indica il supporto per firmware compresi tra 7.00 e 13.60, ma tale intervallo non certifica la compatibilità di ogni ambiente di installazione con PS5LM Plus.

La modifica della console può esporre a rischi di stabilità, sicurezza e accesso al PlayStation Network, oltre a possibili violazioni dei termini di servizio Sony. La soluzione è quindi rivolta soprattutto a sviluppatori e utenti esperti di modifica delle console. Per gli utenti comuni, non è possibile installarla direttamente dal PlayStation Store.

ps5lm plus come server ai locale

Una parte delle modifiche è stata sottoposta al progetto PS5LM originale, mentre la versione con accelerazione GPU resta disponibile come ramo indipendente. Per chi possiede una console compatibile e modificata, PS5LM Plus rappresenta un metodo per utilizzare l’hardware della PS5 nell’esecuzione di modelli AI locali. Le prestazioni restano basate sui test pubblicati dagli sviluppatori.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *