16:48

2 RTX 3090-lı ev serveri 2,8 trilyon parametrli AI modelini işlətdi

    Ev serverləri quran bir həvəskar 2-ci nəsil “Optane” yaddaşı üzərində qurduğu süni intellekt sisteminə 2 ədəd “RTX 3090” videokart əlavə edib. Sistem 2,8 trilyon parametrli “Moonshot Kimi K3” modelini saniyədə 3,11 token sürətlə işlədib. Token modelin emal etdiyi kiçik mətn hissəsidir. Sorğunun ilkin emal sürəti saniyədə 16,8 tokenə çatıb.    Modelin faylı 865 GB-dır və 94 hissədən ibarətdir. Onlardan 45-i RAM daxilində yaradılan sürətli virtual diskə köçürülüb. Bu hissələrin ümumi ölçüsü 414 GB-dır. Virtual disk “Linux” sistemində yaddaşı disk kimi göstərən “tmpfs” fayl sistemi ilə yaradılıb. Model yalnız “Optane” yaddaşında saxlananda mətn yaratma sürəti saniyədə 2,20 token olub. Sorğuların emal sürəti saniyədə 13,3 tokenə çatıb. RAM disk mətn yaratma sürətini 41%, sorğuların emalını da 26% artırıb.    Bu quruluşda videokartlar modelin bütün faylını öz yaddaşında saxlamır. Hər “RTX 3090” videokartında 24 GB yaddaş var və onların ümumi videoyaddaşı 48 GB-dır. Bu, model faylının cəmi 5,5%-nə bərabərdir. “Kimi K3” ekspertlər qarışığı adlanan sistemlə işləyir. Yəni hər token hazırlanarkən modelin yalnız lazım olan hissələri işə düşür. Modeldəki 896 ekspertdən hər dəfə 16-sı seçilir. Bundan başqa, 2 ortaq ekspert daim işləyir. Nəticədə 2,8 trilyon parametrdən yalnız 104 milyardı aktiv olur.    Model sıxılmadan, 16 bit dəqiqliklə saxlanılsaydı, təxminən 5,6 TB yer tutardı. “Moonshot”un yayımladığı 4 bitlik MXFP4 versiyası təxminən 1,56 TB-dır. Bu sistemdə işlədilən “Q2_K” faylı modelin ölçüsünü 865 GB-a endirir. Belə sıxılmadan sonra hər parametrə orta hesabla 3 bitdən az məlumat düşür.    Seçilən ekspertlərə aid məlumatlar prosessorun işlədiyi hissədə, “Optane” yaddaşında və RAM diskində saxlanır. Videokartlar əvvəlki mətnin vacib hissələrini müəyyənləşdirən diqqət hesablamalarını aparır. Onlar həmçinin ortaq ekspertləri, modelin bölünməyən qatlarını və cari söhbətin yaddaşını emal edir. Adi operativ yaddaş videoyaddaşdan yavaş, “Optane” yaddaşından isə sürətlidir. Buna görə modelin bir hissəsini RAM-a köçürmək iş sürətini artırıb.    2 iri videokartı korpusa yerləşdirmək üçün onun metal hissəsi kəsilib, enerji bloku da başqa yerə köçürülüb. “Optane” yaddaş modulları çox qızdığına görə sistemdə hər biri 12 Vt gücündə olan 2 üfürücü ventilyator saxlanıb. Videokartların hər biri təxminən 350 Vt güc sinfinə aiddir, ona görə soyutma əsas problemlərdən biri olaraq qalır. Gələcəkdə fərdi kvantlaşdırma, yəni model məlumatlarının daha çox sıxılması ilə sürəti artırmaq olar. Lakin bunun cavabların keyfiyyətinə təsiri də nəzərə alınmalıdır.