AI एजेंट को धुंधले और लंबे उपयोगकर्ता अनुरोधों पर जाँचने वाला नया टेस्ट
AI स्क्रीन सहायकों की ज़्यादातर जाँचें सटीक, एक-एक कदम वाले निर्देशों पर होती हैं। आम लोग अक्सर अस्पष्ट अनुरोध करते हैं, जो पहले कही गई बातों पर निर्भर होते हैं। शोधकर्ताओं ने MemU-Bench बनाया है, ताकि देखा जा सके कि ये AI एजेंट ऐप और स्क्रीन के साथ ऐसी लंबी, इतिहास-आधारित बातचीत को कितनी अच्छी तरह संभालते हैं।
आसान शब्दकोशGUI agents, Benchmark, Long-horizon
- GUI agents
- GUI agents: ऐसे AI प्रोग्राम जो ऐप और स्क्रीन को क्लिक और टाइप करके चलाते हैं, ठीक वैसे जैसे कोई व्यक्ति करता है।
- Benchmark
- Benchmark: परीक्षणों का एक मानक सेट, जिससे अलग-अलग AI सिस्टम के प्रदर्शन को मापा और तुलना की जाती है।
- Long-horizon
- Long-horizon: ऐसे कार्य जिनमें कई कदम लगते हैं और जो बातचीत में पहले हुई बातों को याद रखने पर निर्भर होते हैं।
बर्निंग पोटैटो स्कोर: 69%