NVIDIA ने मोठे AI मॉडेल चालवण्याचा वेगवान मार्ग दाखवला
NVIDIA ने एका DGX Spark मशीनवर मोठे AI मॉडेल उत्तरे किती वेगाने देते ते सुधारण्यासाठी तीन एकत्रित पद्धती सांगितल्या. Ant Group चे 124 billion parameter मॉडेल वापरून चाचणी केली असता मजकूर आउटपुट 42.5 percent ने वाढला. पोस्टनुसार अचूकतेत लक्षणीय बदल झाला नाही. हे फायदे GSM8K नावाच्या गणिती बेंचमार्कवर मोजले गेले.
सोपा शब्दकोशNVIDIA, MoE, Inference
- NVIDIA
- NVIDIA ही अमेरिकन चिप कंपनी आहे, जी AI प्रणाली प्रशिक्षित आणि चालवण्यासाठी वापरल्या जाणाऱ्या graphics processors साठी ओळखली जाते.
- MoE
- कामाची विभागणी अनेक छोट्या expert भागांमध्ये करणारी मॉडेल रचना, त्यामुळे प्रत्येक विनंतीसाठी फक्त काही भागच चालतात.
- Inference
- प्रशिक्षित AI मॉडेल शिकण्याऐवजी चालून वापरकर्त्यांसाठी उत्तरे तयार करते तो टप्पा.
बर्निंग पोटॅटो स्कोअर: 70%