Zyphra AMD AI চিপের জন্য দ্রুত অ্যাটেনশন টুল প্রকাশ করেছে
Zyphra ZYFA নামে একটি বিনামূল্যে ও ওপেন-সোর্স টুল প্রকাশ করেছে, যা AMD-র MI355X চিপে AI মডেলের একটি গুরুত্বপূর্ণ ধাপ দ্রুত করে। বাস্তব মডেল ডেটার পরীক্ষায় এর FP8 সংস্করণগুলো AMD-র নিজের টুলের চেয়ে 1.16 থেকে 1.76 গুণ দ্রুত চলেছে এবং ত্রুটির হার কম ছিল। বড় AI মডেল চালানো ডেভেলপাররা এই গতি বাড়ার সুবিধা পেতে পারেন।
সহজ শব্দকোষZyphra, FlashAttention, FP8
- Zyphra
- Zyphra হলো একটি AI কোম্পানি, যারা এই ওপেন-সোর্স টুলটি AMD চিপের জন্য প্রকাশ করেছে, খবরে যেমন বলা হয়েছে।
- FlashAttention
- দীর্ঘ লেখা প্রক্রিয়া করতে AI মডেলকে কম মেমরি ও কম সময়ে সাহায্য করে এমন একটি দ্রুত পদ্ধতি।
- FP8
- একটি সংক্ষিপ্ত সংখ্যা বিন্যাস, যা কম বিট দিয়ে সংখ্যা সংরক্ষণ করে, ফলে AI চিপ দ্রুত চলতে পারে।
বার্নিং পটেটো স্কোর: 65%