Google ha presentato Android Bench 2.0, una nuova versione del sistema di valutazione pensato per misurare la capacità dei modelli linguistici di grandi dimensioni e degli agenti di intelligenza artificiale di affrontare attività complesse nello sviluppo di applicazioni Android. Il benchmark amplia il livello di difficoltà rispetto alla precedente edizione e prende in esame lavori più vicini alle esigenze reali degli sviluppatori.
android bench 2.0 valuta attività di sviluppo più complesse
La prima versione di Android Bench era orientata soprattutto verso modifiche di dimensioni contenute e interventi incrementali. Con Android Bench 2.0, Google ha introdotto prove più articolate, progettate per rappresentare incarichi che possono richiedere a un ingegnere umano diversi giorni o anche una settimana.
android bench 2.0 e le attività a lungo termine
La principale novità è rappresentata dalle long-horizon tasks, indicate anche con l’acronimo LHT. Si tratta di operazioni di sviluppo caratterizzate da una durata maggiore e da un livello di complessità superiore rispetto ai compiti inclusi nei benchmark tradizionali.
Tra gli interventi sottoposti alla valutazione rientrano l’aggiornamento delle dipendenze, l’inserimento di funzionalità importanti e la realizzazione di applicazioni Android partendo da zero. L’obiettivo è verificare con maggiore precisione come i modelli riescano a gestire progetti articolati.
android bench 2.0 introduce il punteggio continuo
Google ha modificato anche il metodo di valutazione. Invece di basarsi esclusivamente su un risultato binario, con esito positivo o negativo, Android Bench 2.0 utilizza un sistema di punteggio continuo. Questa modalità consente di attribuire un’indicazione più precisa delle prestazioni, anche quando un modello non porta completamente a termine un’attività.
Il nuovo criterio permette quindi di distinguere meglio i diversi livelli di riuscita e di evidenziare i progressi compiuti durante l’esecuzione dei compiti più complessi.
android bench 2.0, la classifica dei modelli ai test
Google ha già sottoposto al benchmark diversi modelli di intelligenza artificiale. In base ai risultati disponibili, GPT-6 Astra occupa attualmente la prima posizione, con una percentuale di superamento del 28%. Gemini 3.8 Flash ha invece raggiunto l’8%.
Tra i sistemi valutati figurano anche Claude Fable 5.1, GPT-5.6 Sol e Claude Opus 5, oltre ad altri modelli. Il confronto consente di osservare le differenze nelle capacità di gestione delle attività di sviluppo Android a lungo termine.
android bench 2.0 sarà ampliato da google
Secondo Google, l’analisi dei risultati ottenuti con il dataset LHT può offrire una comprensione più approfondita dei punti di forza e delle debolezze dei vari modelli. I dati possono inoltre fornire indicazioni pratiche agli sviluppatori nella scelta della soluzione più adatta a seconda del tipo di progetto Android.
La classifica aggiornata di Android Bench 2.0 è già disponibile. Google prevede di ampliarla nel tempo con l’inserimento di nuovi modelli e ulteriori risultati.
Lascia un commento