2,8 trilyon parametrli Kimi K3 AI modeli evdə GPU-suz işlədildi

    Evində server quran bir həvəskar “Moonshot AI” şirkətinin 2,8 trilyon parametrli “Kimi K3” süni intellekt modelini GPU-suz işə salıb. GPU qrafik hesablamaları sürətləndirən prosessordur. Sistem yalnız 40 nüvəli 3-cü nəsil “Xeon Scalable” prosessoru ilə işləyir. Modelin məlumatları istehsalı dayandırılmış 2-ci nəsil “Optane PMem 200” yaddaşında saxlanılır. Beləliklə, məlumat mərkəzləri üçün hazırlanmış böyük model yalnız mərkəzi prosessorla işlədilib.    Ancaq sistem xeyli yavaş işləyib. Modeldəki rəqəmlərin sadələşdirildiyi 1 bitlik rejimdə saniyədə 0,85 mətn vahidi yaradılıb. 3 bitlik rejimdə sürət saniyədə 0,75 mətn vahidinə düşüb. Sürət saniyədə təxminən 1 vahid olduqda iş çox ləng gedir. Məsələn, 50 000 vahidlik tapşırığın tamamlanması 13 saat çəkə bilər. Üstəlik, bu nəticələr prosessor və yaddaş ayarları yaxşılaşdırılmadan ölçülüb.    “Kimi K3” ev kompüterləri üçün hazırlanmayıb. İstehsalçı modeli məlumat mərkəzi sistemlərində işlətməyi məsləhət görür. Modelin ən kiçik icma versiyası belə ən azı 610 GB RAM tələb edir. Ev şəraitində bu qədər yaddaş toplamağın yollarından biri işlənmiş “Optane” modulları almaqdır. Sistemi quran şəxsin sözlərinə görə, həmin yaddaş eyni tutumlu DRAM-dan xeyli ucuz başa gəlib.    “Intel” bu yaddaş seriyasını 2020-ci ildə 128 GB və 256 GB tutumlarda çıxarıb. Seriyada 512 GB variant da var. 2 prosessor yuvası olan sistemlərdə yeni nəsil daha sürətli məlumat ötürür. “Intel”in məlumatına görə, sürət əvvəlki “PMem 100” nəsli ilə müqayisədə orta hesabla 32 faizə qədər artır. Yeni qurğuda proqramın yaddaşa birbaşa çıxışı üçün “App Direct” rejimi seçilib. Əvvəlki sınaqda 1 trilyon parametrli “K2.5” modeli işlədilmişdi. “RTX 3060” və “Memory Mode” ilə sürət saniyədə təxminən 4 mətn vahidinə çatmışdı.    Qurğunun əsas problemi yüksək istilikdir. Davamlı işləyən “Optane” modulları təhlükəli həddə qədər qızaraq yaxınlıqdakı DRAM yaddaşına da zərər vura bilər. Buna görə modullara doğru hava üfürən 12 Vt gücündə 2 ventilyatorla aktiv soyutma vacib sayılır. “Intel” saniyədə 2,4 - 2,7 metr hava axını tələb edir. Hər modul 12 və ya 15 Vt enerji sərf edir. Buna görə 4 modul birlikdə 60 Vt istilik yarada bilər.    Temperatur 83 °C-yə çatanda modullar sürəti azaltmağa başlayır. 85 °C həddində sistem dayanır. Adi DDR4 server yaddaşı 85 °C-yə qədər işləyə bilir. Genişləndirilmiş rejimdə bu hədd 95 °C-dir. Sistemi quran şəxs növbəti mərhələdə GPU əlavə etməyi planlaşdırır. Modelin daha çox işlədilən hissələri sürətli DRAM yaddaşına köçürüləcək, sonra yeni sürət sınaqları aparılacaq.