NVIDIA ने बड़े AI मॉडल चलाने का तेज़ तरीका दिखाया
NVIDIA ने एक DGX Spark मशीन पर बड़े AI मॉडल से जवाब बनाने की गति बढ़ाने के लिए तीन मिले-जुले तरीके साझा किए हैं। Ant Group के 124 billion parameter मॉडल पर परीक्षण में टेक्स्ट आउटपुट 42.5 percent बढ़ा। पोस्ट के अनुसार सटीकता में कोई मापने योग्य बदलाव नहीं हुआ। यह लाभ GSM8K नाम के गणित बेंचमार्क पर मापा गया।
आसान शब्दकोशNVIDIA, MoE, Inference
- NVIDIA
- NVIDIA एक अमेरिकी चिप कंपनी है, जो ग्राफिक्स प्रोसेसर के लिए जानी जाती है, जिनका उपयोग AI सिस्टम को प्रशिक्षित करने और चलाने में होता है।
- MoE
- ऐसा मॉडल डिज़ाइन जिसमें काम कई छोटे विशेषज्ञ हिस्सों में बंट जाता है, इसलिए हर अनुरोध पर केवल कुछ ही हिस्से चलते हैं।
- Inference
- वह चरण जिसमें प्रशिक्षित AI मॉडल चलकर उपयोगकर्ताओं के लिए जवाब बनाता है, न कि खुद सीखता है।
बर्निंग पोटैटो स्कोर: 70%