अस्पष्ट आणि लांब वापरकर्ता विनंत्यांवर AI एजंट्सची चाचणी करणारी नवी कसोटी
AI स्क्रीन सहाय्यकांसाठी बहुतेक चाचण्या अचूक, टप्प्याटप्प्याच्या सूचनांवर आधारित असतात. सामान्य लोक मात्र अनेकदा अस्पष्ट विनंत्या करतात, ज्या आधी काय बोलले गेले त्यावर अवलंबून असतात. या AI एजंट्सना अ‍ॅप्स आणि स्क्रीनवरील अशा लांब, इतिहासावर आधारित संवादात किती चांगले काम जमते हे तपासण्यासाठी संशोधकांनी MemU-Bench तयार केला आहे.
सोपा शब्दकोशGUI agents, Benchmark, Long-horizon
- GUI agents
- GUI agents: अशा AI प्रोग्राम्स जे माणसाप्रमाणे क्लिक आणि टाइप करून अ‍ॅप्स व स्क्रीन नियंत्रित करतात.
- Benchmark
- Benchmark: वेगवेगळ्या AI प्रणाली किती चांगले काम करतात हे मोजण्यासाठी व तुलना करण्यासाठी वापरला जाणारा प्रमाणित चाचण्यांचा संच.
- Long-horizon
- Long-horizon: ज्या कामांसाठी अनेक टप्पे लागतात आणि संवादात आधी घडलेले लक्षात ठेवावे लागते अशी कामे.
बर्निंग पोटॅटो स्कोअर: 69%