Buoyant ने AI मॉडेलची वाहतूक सांभाळण्यासाठी Kinference लाँच केले
Buoyant ने Kinference हे ओपन सोर्स टूल लाँच केले आहे, जे कंपन्यांना Kubernetes सर्व्हरवर AI मॉडेल विनंत्यांना कसे उत्तर देतात हे व्यवस्थापित करण्यात मदत करते. यामुळे टीम्स राउटिंग नियम ठरवू शकतात, कॅश केलेल्या मेमरीनुसार काम विभागू शकतात आणि प्रत्येक ग्राहकासाठी वापराचा मागोवा घेऊ शकतात. Buoyant च्या स्वतःच्या चाचणीत, पहिले उत्तर येण्यापूर्वीचा वेळ 95 टक्क्यांनी कमी झाला.
सोपा शब्दकोशBuoyant, Kubernetes, inference, TTFT
- Buoyant
- Buoyant हे अमेरिकेतील सॉफ्टवेअर कंपनी आहे, जी Linkerd या टूलसाठी ओळखली जाते. हे टूल क्लाउड ॲप्लिकेशन्सना एकमेकांशी विश्वासार्हपणे संवाद साधण्यास मदत करते.
- Kubernetes
- एक प्रणाली जी मोठ्या कंपन्यांमध्ये, अनेक संगणकांच्या गटावर अनेक सॉफ्टवेअर प्रोग्राम्स आपोआप चालवते आणि व्यवस्थित लावते.
- inference
- प्रशिक्षित AI मॉडेल प्रश्न किंवा इनपुट घेऊन उत्तर तयार करते, ती पायरी.
- TTFT
- Time to first token, म्हणजे AI उत्तराचा पहिला शब्द दाखवायला सुरुवात करण्यापूर्वी किती वेळ घेते.
बर्निंग पोटॅटो स्कोअर: 64%