NVIDIA বড় AI মডেল চালানোর দ্রুততর উপায় দেখাল
NVIDIA একটি DGX Spark মেশিনে বড় AI মডেল কীভাবে উত্তর তৈরি করে, তা দ্রুত করার জন্য তিনটি মিলিত পদ্ধতির কথা জানিয়েছে। Ant Group-এর 124 billion parameter মডেলে পরীক্ষা করায় লেখা আউটপুট 42.5 percent বেড়েছে। পোস্ট অনুযায়ী নির্ভুলতায় পরিমাপযোগ্য কোনো পরিবর্তন হয়নি। GSM8K নামের একটি গণিত বেঞ্চমার্কে এই উন্নতি মাপা হয়েছে।
সহজ শব্দকোষNVIDIA, MoE, Inference
- NVIDIA
- NVIDIA একটি মার্কিন চিপ নির্মাতা কোম্পানি, যেটি গ্রাফিক্স প্রসেসরের জন্য বেশি পরিচিত, যা AI ব্যবস্থা প্রশিক্ষণ ও চালাতে ব্যবহৃত হয়।
- MoE
- এমন একটি মডেল ডিজাইন, যেখানে কাজ অনেক ছোট বিশেষজ্ঞ অংশে ভাগ হয়, ফলে প্রতি অনুরোধে শুধু কিছু অংশ চলে।
- Inference
- প্রশিক্ষণ শেষ হওয়ার পর, যখন একটি AI মডেল শেখে না বরং ব্যবহারকারীদের জন্য চলে ও উত্তর তৈরি করে, সেই ধাপ।
বার্নিং পটেটো স্কোর: 70%