Buoyant ‘Kinference’ নামে AI মডেলের ট্র্যাফিক সামলানোর টুল চালু করল
Buoyant একটি ওপেন সোর্স টুল Kinference চালু করেছে, যা কোম্পানিগুলোকে Kubernetes সার্ভারে AI মডেল কীভাবে অনুরোধের উত্তর দেবে তা সামলাতে সাহায্য করে। এর মাধ্যমে টিমগুলো রাউটিং নিয়ম ঠিক করতে পারে, ক্যাশ করা মেমরির ভিত্তিতে কাজ ভাগ করতে পারে এবং প্রতিটি গ্রাহকের ব্যবহারের হিসাব রাখতে পারে। Buoyant-এর নিজস্ব পরীক্ষায় প্রথম উত্তর আসার আগের সময় 95 শতাংশ কমে গেছে।
সহজ শব্দকোষBuoyant, Kubernetes, inference, TTFT
- Buoyant
- Buoyant হলো একটি US সফটওয়্যার কোম্পানি, যা মূলত Linkerd-এর জন্য পরিচিত। Linkerd হলো একটি টুল, যা ক্লাউড অ্যাপ্লিকেশনগুলোকে একে অপরের সঙ্গে নির্ভরযোগ্যভাবে যোগাযোগ করতে সাহায্য করে।
- Kubernetes
- একটি সিস্টেম, যা বড় কোম্পানিগুলোতে একটি কম্পিউটার গ্রুপ জুড়ে অনেক সফটওয়্যার প্রোগ্রাম নিজে থেকে চালায় ও সাজিয়ে রাখে।
- inference
- এমন ধাপ, যেখানে প্রশিক্ষিত AI মডেল একটি প্রশ্ন বা ইনপুট নিয়ে উত্তর তৈরি করে।
- TTFT
- Time to first token, অর্থাৎ একটি AI উত্তরের প্রথম শব্দ দেখানো শুরু করার আগে কতক্ষণ সময় নেয়।
বার্নিং পটেটো স্কোর: 64%