19:06
Hüquqşünas 12 işlənmiş Nvidia kartlı AI serverini 16 min manata yığıb

Hüquqşünas Nick Mermiges şəxsi süni intellekt (AI) serverində əvvəlki 8 kart əvəzinə 12 işlənmiş “Nvidia V100” qrafik kartı quraşdırıb. Sistem 9450 dollara (təxminən 16070 manat) başa gəlib. “DeepSeek V4.1 Flash” modelinin bütün ekspert modulları yaddaşa daha yığcam, 4 bitlik NVFP4 formatında yazılıb. Test zamanı kod yaratma sürəti saniyədə 157-184 tokenə, yəni mətn vahidinə çatıb. Mermigesin sözlərinə görə, server bir sorğunu emal edərkən 4 “DGX Spark” qurğusundan yığılmış sistemləri geridə qoyub. Üstəlik, onun qiyməti 3 belə qurğunun yarısı qədərdir.
Əvvəlki 8 kartda ümumilikdə 254 GiB yaddaş var idi. Modelin ekspert hissələrini NVFP4 formatında saxlamaq üçün isə 278,9 GiB tələb olunurdu. Buna görə 15 360 ekspert modulunun hamısı daha çox sıxılmış 2 bitlik formatda saxlanılırdı. Ən çox işlənən 5949 modul sonradan 4 bitlik formata çevrilirdi. Kartların sayı artdıqdan sonra bütün modullar əlavə sıxılmadan NVFP4 formatında yaddaşa yerləşib. Ekspert modulları modelin sorğuya uyğun seçib işlətdiyi kiçik alt hissələrdir. “V100” kartlarında FP4 və FP8 hesablamalarını sürətləndirən xüsusi tensor nüvələri yoxdur. Buna görə NVFP4 formatındakı məlumatlar proqramla açılır və kartların işləyə bildiyi yarımdəqiqlikli formata çevrilir. Buna baxmayaraq, yeni formatda daha az məlumat oxunduğu üçün 2018-ci ilin avadanlığında da işlətmək olur. Sistem 3 lövhədən yığılıb və hər lövhədə 4 kart var. Kartlar bir-birinə NVLink, lövhələr də PCIe bağlantısı ilə qoşulub. PCIe keçidi əlavə gecikmə yaradır. Yeniləmədən sonra hər kartın güc həddi 150 Vt-dan 175 Vt-a qaldırılıb. Takt tezliyi də 1522 MHz-dən 1452 MHz-ə endirilib. 256K həcmli mətndə ilk kod hissəsinin yaranması əvvəl 108,4 saniyə çəkirdi. İndi bu vaxt 58 saniyəyə enib. 32K həddindən sonra oxuma sürəti saniyədə təxminən 2200 tokendən 4500 tokenə yüksəlib. 128K fayl isə 28 saniyədə oxunub. Kod yaratma sürəti 1K sorğuda 23% artıb. Daha böyük sorğularda, xüsusən 32K-dan sonra əsas üstünlük ilk cavabın daha tez gəlməsidir. Hər kart üçün güc həddi 200 Vt-a qaldırıldıqda sistem sabitlik problemi yaşayıb. Eyni vaxtda 4 uzun söhbət işlədilərkən ana sistem 1 dəfə dayanıb. Paralel şəkildə 3 ayrı 128K sorğu emal olunanda kod tapşırıqlarında ümumi sürət saniyədə 360 token olub. Hüquqi mətnlərdə bu göstərici 213 tokenə çatıb. Mermiges gələcəkdə bir neçə sorğunu birlikdə emal etməyi və söhbət məlumatlarını diskdə saxlamağı planlaşdırır. O, sürət göstəricilərinin cavab keyfiyyətini sübut etmədiyini də vurğulayıb. Bununla belə, artıq bu serveri əsas “DeepSeek” kompüteri kimi işlədir.
