StateBench: Ai2 misura quanto i modelli seguono i cambi di stato in documenti lunghi
Un modello che perde il filo di chi ha in mano che cosa non può leggere bene codice o storie lunghe.

Ai2 (Hugging Face). Ai2 presenta StateBench, un benchmark sul tracciamento dello stato in contesti lunghi: quanto bene i modelli seguono ciò che accade alle entità di un testo man mano che cambia. Serve a compiti come leggere codice, dove le variabili vengono assegnate e riassegnate, o seguire un romanzo in cui i personaggi si spostano e gli oggetti passano di mano. Non tutti i problemi di tracciamento sono uguali: alcuni chiedono solo di trovare l'ultimo aggiornamento, altri di combinare più cambiamenti.
A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.