Alibaba, Co-Design Bench: gli agenti di codice risolvono per intero il 26,4% dei compiti
Su richieste vere gli agenti di codice sono molto meno affidabili di quanto dicano i test classici.

The Decoder. Alibaba ha presentato Co-Design Bench, un test per agenti di programmazione basato su richieste reali degli utenti che in pratica avevano già messo in difficoltà questi sistemi. Anche GPT-6 Astra, il migliore, risolve completamente solo il 26,4% dei compiti, mentre su benchmark più vecchi gli stessi modelli superano il 99%. Il risultato, osserva The Decoder, indica che in quasi tre casi su quattro serve ancora l'intervento umano per rimettere a posto il lavoro, e che i punteggi dei test classici sovrastimano la capacità reale.
26,4% dei compiti risolti per intero da GPT-6 Astra
Argomenti: Agenti di IA
A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.