Buoyant ने AI मॉडल के ट्रैफ़िक को संभालने के लिए Kinference लॉन्च किया
Buoyant ने Kinference लॉन्च किया है, जो एक ओपन सोर्स टूल है। इसकी मदद से कंपनियां Kubernetes सर्वर पर AI मॉडल के जवाब देने के तरीके को संभाल सकती हैं। टीमें इसमें रूटिंग के नियम तय कर सकती हैं, कैश की गई मेमोरी के आधार पर काम बांट सकती हैं, और हर ग्राहक के इस्तेमाल का हिसाब रख सकती हैं। Buoyant के अपने परीक्षण में पहले जवाब से पहले लगने वाला समय 95 प्रतिशत घट गया।
आसान शब्दकोशBuoyant, Kubernetes, inference, TTFT
- Buoyant
- Buoyant एक अमेरिकी सॉफ़्टवेयर कंपनी है, जो मुख्य रूप से Linkerd के लिए जानी जाती है। Linkerd एक ऐसा टूल है जो क्लाउड ऐप्स को आपस में भरोसेमंद तरीके से बात करने में मदद करता है।
- Kubernetes
- एक ऐसा सिस्टम जो बड़ी संख्या में सॉफ़्टवेयर प्रोग्रामों को कंप्यूटरों के समूह पर अपने आप चलाता और व्यवस्थित करता है, आमतौर पर बड़ी कंपनियों के भीतर।
- inference
- वह चरण जिसमें प्रशिक्षित AI मॉडल कोई सवाल या इनपुट लेकर उसका जवाब तैयार करता है।
- TTFT
- Time to first token, यानी AI को जवाब का पहला शब्द दिखाने से पहले कितना समय लगता है।
बर्निंग पोटैटो स्कोर: 64%