Buoyant, Kinference என்ற AI மாடல் போக்குவரத்தை நிர்வகிக்கும் கருவியை அறிமுகப்படுத்துகிறது
Buoyant நிறுவனம் Kinference என்ற open source கருவியை அறிமுகப்படுத்தியுள்ளது. இது நிறுவனங்கள் Kubernetes சர்வர்களில் AI மாடல்கள் கோரிக்கைகளுக்கு எப்படி பதில் அளிக்கின்றன என்பதை நிர்வகிக்க உதவுகிறது. குழுக்கள் routing விதிகளை அமைக்கலாம், cached நினைவகத்தின் அடிப்படையில் வேலையைப் பகிர்ந்து கொடுக்கலாம், ஒவ்வொரு வாடிக்கையாளருக்கும் பயன்பாட்டை கண்காணிக்கலாம். Buoyant-இன் சொந்த சோதனையில், முதல் பதில் வருவதற்கு முன் ஆகும் நேரம் 95 சதவீதம் குறைந்தது.
சொல் விளக்கம்Buoyant, Kubernetes, inference, TTFT
- Buoyant
- Buoyant ஒரு அமெரிக்க மென்பொருள் நிறுவனம். இது Linkerd என்ற கருவிக்காக அதிகம் அறியப்படுகிறது. அந்தக் கருவி கிளவுட் பயன்பாடுகள் ஒன்றோடொன்று நம்பகத்தன்மையுடன் தொடர்பு கொள்ள உதவுகிறது.
- Kubernetes
- பல மென்பொருள் நிரல்களை ஒரு கணினிக் குழுவில் தானாக இயக்கி ஒழுங்குபடுத்தும் அமைப்பு. இது பொதுவாக பெரிய நிறுவனங்களுக்குள் பயன்படுத்தப்படுகிறது.
- inference
- பயிற்சி பெற்ற AI மாடல் ஒரு கேள்வியையோ உள்ளீட்டையோ எடுத்து பதிலை உருவாக்கும் படி.
- TTFT
- Time to first token; அதாவது AI தனது பதிலின் முதல் சொல்லைக் காட்டத் தொடங்குவதற்கு எவ்வளவு நேரம் ஆகிறது என்பது.
பர்னிங் பொட்டேட்டோ ஸ்கோர்: 64%