தெளிவற்ற, நீண்ட பயனர் கோரிக்கைகளில் AI முகவர்களைச் சோதிக்கும் புதிய சோதனை
திரை உதவியாளர்களுக்கான பெரும்பாலான AI சோதனைகள் துல்லியமான, படிப்படியான அறிவுறுத்தல்களையே பயன்படுத்துகின்றன. சாதாரண மக்களோ, முன்பு சொன்னதைச் சார்ந்திருக்கும் தெளிவற்ற கோரிக்கைகளை அடிக்கடி தருகிறார்கள். செயலிகளோடும் திரைகளோடும் நீண்ட, வரலாற்றைச் சார்ந்த தொடர்புகளை இந்த AI முகவர்கள் எவ்வளவு நன்றாகக் கையாளுகின்றன என்று சோதிக்க MemU-Bench என்ற சோதனைத் தொகுப்பை ஆய்வாளர்கள் உருவாக்கியுள்ளனர்.
சொல் விளக்கம்GUI agents, Benchmark, Long-horizon
- GUI agents
- GUI agents: மனிதர் செய்வது போல கிளிக் செய்தும் தட்டச்சு செய்தும் செயலிகளையும் திரைகளையும் கட்டுப்படுத்தும் AI நிரல்கள்.
- Benchmark
- Benchmark: வெவ்வேறு AI அமைப்புகள் எவ்வளவு நன்றாகச் செயல்படுகின்றன என்று அளந்து ஒப்பிடப் பயன்படும் நிலையான சோதனைத் தொகுப்பு.
- Long-horizon
- Long-horizon: பல படிகள் தேவைப்படும் மற்றும் உரையாடலில் முன்பு நடந்ததை நினைவில் வைத்திருக்க வேண்டிய பணிகள்.
பர்னிங் பொட்டேட்டோ ஸ்கோர்: 69%