Together AI Compiler से AI के जवाब 2.6 गुना तक तेज़
Together AI ने Together Compiler नाम का एक टूल जारी किया है, जिसमें AI एजेंट उपयोगकर्ता के ट्रैफ़िक के बदलने के साथ-साथ मॉडल चलने के तरीके को लगातार बेहतर बनाते रहते हैं। परीक्षणों में यह गति के मामले में सबसे जानी-मानी सेटिंग से 2.6 गुना तक आगे रहा, और हर मॉडल को 24 घंटे से कम समय में अनुकूलित किया गया।
आसान शब्दकोशTogether AI, inference, InferenceX
- Together AI
- एक AI cloud कंपनी जो डेवलपर्स के लिए ओपन-सोर्स AI मॉडल चलाने और होस्ट करने के लिए जानी जाती है।
- inference
- वह चरण जिसमें प्रशिक्षित AI मॉडल आपका इनपुट लेकर जवाब बनाता है। यह धीमा या महंगा हो सकता है।
- InferenceX
- एक बेंचमार्क जो अलग-अलग सेटअप की AI मॉडल चलाने की क्षमता की तुलना करता है, और यहाँ पैमाने के रूप में इस्तेमाल हुआ है।
बर्निंग पोटैटो स्कोर: 64%