L'AI delude in contesti come la programmazione

Negli ultimi anni, la Intelligenza Artificiale ha ormai raggiunto pressoché qualunque ambito, portando una ventata di innovazione nei processi di sviluppo software.

Tuttavia, se da un lato le aspettative verso i coding tools basati su AI sono elevate, dall’altro una recente indagine di METR getta una luce diversa sulle reali potenzialità di queste tecnologie in contesti produttivi complessi. La ricerca, che ha analizzato scenari reali e progetti software di lunga data, mette in discussione i benefici tangibili dell’AI in termini di efficienza nel contesto della programmazione, soprattutto laddove la complessità e la maturità dei repository pongono sfide che vanno ben oltre la mera scrittura del codice.

L’entusiasmo iniziale nei confronti dei sistemi di AI applicati allo sviluppo software che in molti casi si fondava su benchmark che, col senno di poi, si sono rivelati poco rappresentativi delle condizioni operative tipiche delle aziende. Secondo quanto emerge dallo studio METR, i test precedenti erano condotti su task semplificati, distanti anni luce dalla realtà delle moderne architetture software, dove la gestione di codice stratificato, documentazione articolata e requisiti di sicurezza impongono standard qualitativi elevatissimi.

Fenomeno prompt scaffolding e flop dell’AI

La ricerca ha osservato il lavoro di sviluppatori esperti impegnati su repository con una storia decennale, mettendo in luce un fenomeno inaspettato: il tempo guadagnato grazie all’automazione nella scrittura del codice viene spesso compensato, se non superato, dal tempo impiegato nel cosiddetto prompt scaffolding, ovvero la formulazione di richieste efficaci verso gli strumenti AI, l’attesa delle risposte e la successiva revisione degli output generati. Questa dinamica si traduce in un bilancio meno positivo di quanto prospettato dai benchmark precedenti, soprattutto in presenza di codice legacy e progetti complessi.

Uno degli aspetti più critici emersi riguarda la difficoltà degli strumenti AI nell’affrontare le specificità del contesto: elementi come la conoscenza tacita del progetto, la familiarità con l’evoluzione del codice e la capacità di comprendere sfumature non documentate rimangono prerogativa degli sviluppatori umani. In particolare, la copertura della documentazione, itest e la conformità agli standard industriali sono ambiti in cui l’AI mostra ancora margini di miglioramento, non riuscendo a garantire la stessa affidabilità di un team di sviluppo consolidato.

Le implicazioni di questi risultati sono significative per le aziende che stanno investendo nell’adozione di coding tools avanzati. Se è vero che l’AI può rappresentare un valido supporto per attività ripetitive o su basi di codice di nuova generazione, nei progetti più maturi – dove la sicurezza e la qualità non sono negoziabili – i vantaggi appaiono più contenuti del previsto. Il fine tuning degli strumenti AI, ovvero la personalizzazione avanzata sulle specificità del repository e delle pratiche aziendali, emerge come una possibile strategia per colmare il divario, ma richiede risorse, tempo e competenze che non tutte le realtà sono pronte a mettere in campo.