NVIDIA PAIR è uno strumento gratuito progettato per distribuire i carichi di inferenza dell’intelligenza artificiale tra più computer collegati alla stessa rete locale. La soluzione individua automaticamente i dispositivi compatibili e accelera i flussi di lavoro basati su più agenti AI, senza richiedere modifiche al codice già utilizzato.
nvidia pair accelera i flussi di lavoro con più agenti ai
Gli agenti AI possono suddividere un’attività complessa in operazioni più piccole, affidandole a diversi sotto-agenti specializzati. L’esecuzione simultanea di numerosi agenti può ridurre i tempi necessari e migliorare la qualità delle risposte, ma può anche generare un sovraccarico quando tutte le richieste vengono indirizzate verso una sola GPU.
PAIR, acronimo di Personal AI Router, è stato sviluppato per ridurre questo limite. Il sistema rileva gli altri computer disponibili nella rete e assegna automaticamente le richieste ai nodi più adatti, aumentando la capacità di calcolo complessiva senza dover intervenire manualmente nella scelta del dispositivo.
come funziona nvidia pair con ollama e lm studio
Ollama e LM Studio eseguono normalmente i modelli sul singolo computer selezionato dall’utente. PAIR introduce invece un server proxy che riceve le richieste, identifica il motore e il modello necessari e individua il nodo compatibile a cui affidare l’elaborazione.
Una volta completata l’inferenza, il risultato viene restituito al server PAIR e quindi al dispositivo dal quale è partita la richiesta. Gli agenti AI devono soltanto inviare l’operazione: la selezione del nodo, la distribuzione del carico e la restituzione della risposta vengono gestite automaticamente.
La compatibilità con Ollama e LM Studio consente di utilizzare i relativi ambienti senza aggiungere nuove API. Quando alcuni nodi non sono necessari, PAIR può spegnerli o portarli in modalità sospensione, contribuendo a contenere i consumi energetici.
sicurezza e gestione della rete locale
Per trovare automaticamente i dispositivi presenti nella rete locale, PAIR utilizza la tecnologia mDNS. L’associazione tra i computer richiede l’inserimento di un codice PIN di sei cifre, necessario per creare una connessione considerata attendibile e consentire l’accesso soltanto ai dispositivi autorizzati.
Il traffico relativo all’inferenza tra i nodi viene protetto tramite TLS bidirezionale, indicato anche come mTLS, che verifica l’identità di entrambe le parti. Le richieste, i file e il contesto degli agenti restano all’interno della rete locale dell’utente e non vengono inviati a servizi cloud per l’inferenza.
nvidia pair riduce i tempi di elaborazione
In una dimostrazione basata sul gestore di agenti AI Hermes Desktop, Ollama e PAIR sono stati utilizzati per eseguire il lavoro di cinque sotto-agenti. Il test ha impiegato il modello open source Qwen 3.6-35B-A3B e ha confrontato l’elaborazione su un singolo computer con quella distribuita tra più dispositivi.
Il gruppo formato da RTX Spark, una workstation DGX Spark e un computer con RTX 5090 ha completato il carico in una media di 8 minuti e 48 secondi. Utilizzando soltanto un computer RTX Spark, il completamento ha richiesto mediamente 18 minuti. Il confronto mostra quindi una riduzione significativa dei tempi quando il carico viene distribuito attraverso PAIR.
requisiti e dispositivi compatibili con pair
Il software supporta Windows 11, DGX OS, Ubuntu 14.04 e macOS Tahoe. Per quanto riguarda l’hardware grafico, sono richieste GPU GeForce RTX della serie 20 o successive. Sono inoltre compatibili le schede professionali RTX PRO basate su architettura Turing o superiore, i sistemi DGX Spark e DGX Spark GB10 e i dispositivi Mac dotati di chip M4 o più recenti.
requisiti tecnici di nvidia pair
La configurazione deve disporre di almeno 8 GB di memoria e di uno spazio di archiviazione libero minimo di 20 GB. La connessione a Internet è necessaria per scaricare i modelli, mentre l’elaborazione vera e propria può avvenire senza collegamento alla rete globale, mantenendo il traffico all’interno della rete locale.
disponibilità di nvidia pair
NVIDIA PAIR è un progetto open source attualmente disponibile in fase di test pubblico. NVIDIA ha indicato che il supporto verrà ampliato progressivamente a ulteriori dispositivi, estendendo le possibilità di distribuzione dei carichi AI tra computer compatibili presenti nella stessa rete.
Lascia un commento