Anthropic लांब AI चॅटसाठी लागणारा वेळ 35% ने कमी करते
Anthropic ने आपल्या Messages API साठी Message Threads हे फीचर प्रसिद्ध केले आहे. प्रत्येक वेळी संपूर्ण संभाषण पुन्हा पाठवण्याऐवजी, आता AI एजंट्स फक्त बदललेला भाग पाठवतात. 5 लाख ते 10 लाख टोकन्स असलेल्या लांब चॅटसाठी, पहिला शब्द दिसण्यापूर्वीचा वेळ सुमारे 35 टक्क्यांनी कमी होतो.
सोपा शब्दकोशAnthropic, Messages API, time to first token
- Anthropic
- Anthropic: सॅन फ्रान्सिस्कोस्थित अमेरिकन AI कंपनी, जी तिच्या Claude चॅटबॉट आणि AI मॉडेल्ससाठी ओळखली जाते.
- Messages API
- Messages API: सॉफ्टवेअरला AI मॉडेलकडे विनंत्या पाठवून त्याची उत्तरे मिळवण्यासाठीचे नियम.
- time to first token
- time to first token: AI मॉडेल उत्तराचा पहिला भाग तयार करण्यास सुरुवात करण्यापूर्वीचा छोटा वेळ.
बर्निंग पोटॅटो स्कोअर: 66%