Zyphra ने AMD AI चिप्ससाठी वेगवान Attention टूल प्रसिद्ध केले
Zyphra ने ZYFA नावाचे मोफत, open-source टूल प्रसिद्ध केले आहे, जे AMD च्या MI355X चिपवर AI मॉडेलमधील एका महत्त्वाच्या टप्प्याला वेगवान करते. खऱ्या मॉडेल डेटावरील चाचण्यांत त्याच्या FP8 आवृत्त्या AMD च्या स्वतःच्या टूलपेक्षा 1.16 ते 1.76 पट वेगाने चालल्या आणि त्यातील त्रुटीचे प्रमाण कमी होते. मोठे AI मॉडेल चालवणाऱ्या डेव्हलपर्सना या वेगवाढीचा फायदा होऊ शकतो.
सोपा शब्दकोशZyphra, FlashAttention, FP8
- Zyphra
- Zyphra ही एक AI कंपनी आहे, जिने AMD चिप्ससाठी हे open-source टूल प्रसिद्ध केले, जसे बातमीत सांगितले आहे.
- FlashAttention
- एक वेगवान पद्धत जी AI मॉडेल्सना कमी मेमरी आणि कमी वेळेत लांब मजकूर प्रक्रिया करण्यास मदत करते.
- FP8
- एक लहान संख्या स्वरूप जे कमी bits मध्ये संख्या साठवते, त्यामुळे AI चिप्स जास्त वेगाने चालू शकतात.
बर्निंग पोटॅटो स्कोअर: 65%