Strumenti di programmazione ai aumentano del 24% la produttività degli ingegneri secondo uno studio microsoft
Un’analisi interna di Microsoft ha esaminato l’utilizzo degli strumenti di programmazione basati sull’intelligenza artificiale da parte di migliaia di ingegneri. I dati mostrano una relazione tra l’impiego di Claude Code o GitHub Copilot CLI e l’aumento delle richieste di modifica del codice accettate, offrendo anche indicazioni sulla diffusione degli strumenti nei gruppi di lavoro.
strumenti ai per programmare e aumento delle richieste di modifica
La ricerca ha utilizzato come indicatore della produttività il numero di Pull Request unite al progetto. Si tratta delle richieste con cui gli sviluppatori sottopongono modifiche al codice, successivamente controllate e integrate nel software.
Confrontando gli ingegneri che avevano iniziato a usare uno strumento AI nella prima settimana con quelli che non lo avevano adottato, è stato stimato un incremento medio giornaliero del 24% nelle richieste unite. L’intervallo di confidenza del 95% si colloca tra il 14,5% e il 33,7%. L’aumento non ha mostrato un calo evidente durante i circa quattro mesi di osservazione.
copilot cli registra l’incremento più elevato
Il confronto tra settimane con e senza utilizzo degli strumenti ha evidenziato risultati differenti. Gli ingegneri che hanno usato esclusivamente Copilot CLI hanno registrato una crescita media del 24,9% nelle Pull Request unite durante le settimane di impiego. Per chi ha utilizzato soltanto Claude Code, l’aumento è stato dell’11,4%.
Questi valori non consentono di stabilire che Copilot CLI sia più efficace nella programmazione. Gli utenti non sono stati assegnati casualmente ai due strumenti e potrebbero appartenere a team diversi o occuparsi di attività differenti.
frequenza d’uso e produttività degli ingegneri
La quantità di giorni settimanali dedicati agli strumenti AI è risultata associata al numero di modifiche accettate. Gli ingegneri che hanno utilizzato un sistema di programmazione basato sull’intelligenza artificiale per tre giorni alla settimana hanno prodotto il 15% in più di Pull Request rispetto alle proprie settimane senza utilizzo.
Per chi ha impiegato questi strumenti per almeno cinque giorni alla settimana, l’incremento ha raggiunto il 50,1%. La ricerca mantiene però un carattere osservazionale: non è possibile escludere che la difficoltà delle attività o altri fattori abbiano influito sui risultati.
adozione dell’intelligenza artificiale influenzata da colleghi e responsabili
Lo studio ha analizzato anche le modalità di diffusione di Copilot CLI all’interno dell’organizzazione. Quando almeno un quarto dei colleghi appartenenti allo stesso livello gerarchico aveva utilizzato lo strumento negli ultimi 14 giorni, la probabilità statistica che un ingegnere lo provasse per la prima volta aumentava fino al 216%.
La presenza di un responsabile diretto già orientato a Copilot CLI era associata a un aumento dell’82% nella probabilità di sperimentazione. Tra i colleghi che controllavano abitualmente il codice a vicenda, l’utilizzo da parte di almeno un quarto del gruppo portava a un incremento del 54%.
Le percentuali indicano variazioni nelle probabilità relative stimate dal modello statistico e non corrispondono a un aumento diretto e identico della percentuale reale di utenti.
le abitudini precedenti incidono sulla continuità d’uso
Per quanto riguarda la prosecuzione dell’utilizzo, le abitudini professionali già consolidate sembrano avere un peso maggiore. Gli ingegneri che inviavano frequentemente Pull Request avevano maggiori probabilità di trasformare Copilot CLI in una pratica abituale.
Gli utenti che impiegavano già GitHub Copilot in ambienti come Visual Studio Code risultavano più propensi a provare la versione CLI. La probabilità di continuare a utilizzarla era però inferiore di circa 12-15%.
limiti della ricerca sugli strumenti di programmazione ai
Al termine del periodo analizzato, Microsoft aveva comunicato internamente l’intenzione di interrompere, dopo circa un mese, l’accesso a Claude Code per la maggior parte degli ingegneri, indirizzando gli utenti interessati verso Copilot CLI. L’analisi è stata conclusa prima di questo possibile cambiamento, così da evitare che la nuova politica aziendale influenzasse i comportamenti osservati. Non è stato confermato se il piano sia stato effettivamente applicato.
I ricercatori hanno inoltre segnalato che Microsoft possiede GitHub, sviluppatore di Copilot CLI, e che l’ambiente di lavoro e il supporto interno potrebbero favorire il proprio strumento. L’indagine ha considerato esclusivamente i dati relativi alle Pull Request su Azure DevOps, senza misurare direttamente la qualità del codice, i costi di manutenzione o il valore finale del software.
Un numero maggiore di Pull Request può indicare una maggiore quantità di lavoro completato, ma può anche derivare dalla suddivisione delle attività in modifiche più piccole. Per questo motivo, l’aumento delle richieste unite non equivale automaticamente a un incremento identico della produttività complessiva nello sviluppo software.
Secondo il gruppo di ricerca, l’adozione aziendale degli strumenti AI dovrebbe essere valutata considerando insieme tasso di utilizzo, continuità nel tempo e risultati effettivi. Il solo conteggio delle modifiche accettate non è sufficiente per stabilire se l’intelligenza artificiale riesca a compensare i costi degli abbonamenti e delle risorse di calcolo.
