பெரிய AI மாதிரிகளை வேகமாக இயக்க ஒரு புதிய வழியை NVIDIA காட்டுகிறது
ஒரு DGX Spark இயந்திரத்தில் பெரிய AI மாதிரி பதில்களை எவ்வளவு வேகமாக உருவாக்குகிறது என்பதை மேம்படுத்த NVIDIA மூன்று இணைந்த முறைகளைப் பகிர்ந்துள்ளது. Ant Group நிறுவனத்தின் 124 billion parameter மாதிரியில் சோதித்தபோது, உரை வெளியீடு 42.5 percent அதிகரித்தது. பதிவின்படி, துல்லியத்தில் அளவிடக்கூடிய மாற்றம் ஏற்படவில்லை. GSM8K என்ற கணித சோதனையில் இந்த வேக மேம்பாடு அளக்கப்பட்டது.
சொல் விளக்கம்NVIDIA, MoE, Inference
- NVIDIA
- NVIDIA: AI அமைப்புகளைப் பயிற்றுவிக்கவும் இயக்கவும் பயன்படும் கிராபிக்ஸ் செயலிகளுக்குப் பெயர் பெற்ற அமெரிக்க சிப் தயாரிப்பு நிறுவனம்.
- MoE
- MoE: வேலையை பல சிறிய நிபுணர் பகுதிகளுக்குப் பிரித்துக் கொடுக்கும் மாதிரி வடிவமைப்பு; ஒவ்வொரு கோரிக்கைக்கும் சில பகுதிகள் மட்டுமே இயங்கும்.
- Inference
- Inference: பயிற்சி பெற்ற AI மாதிரி கற்றுக்கொள்வதற்குப் பதிலாக, பயனர்களுக்கு பதில்களை உருவாக்கி இயங்கும் நிலை.
பர்னிங் பொட்டேட்டோ ஸ்கோர்: 70%