Ai2 presenta XYBench: 8.000 domande per gli assistenti che sbagliano la richiesta
Misura se un assistente risolve il vero problema invece di assecondare la richiesta sbagliata.

Hugging Face Blog (Ai2). Un assistente utile deve saper aiutare anche chi fa la domanda sbagliata, dice Ai2 presentando XYBench, un test di oltre 8.000 domande basato su idee errate. L'esempio è chi chiede come addensare la glassa che scivola dai dolcetti, mentre il vero problema è che i dolcetti sono ancora troppo caldi. È il cosiddetto problema XY: una persona vuole ottenere X, assume che una certa via Y funzioni e chiede aiuto su Y. Secondo Ai2 il lavoro ha vinto il premio per la migliore risorsa all'EMNLP 2026.
Oltre 8.000 domande
Leggi su Hugging Face Blog (Ai2)
A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.