08:07
Ucuz Modellə Öz Notion Agentinizi Necə Qura bilərsiniz – Təcrübədən Çıxan Dərslər
Ashish Mishra, Dev.to platformasında paylaşdığı məqaləsində ucuz AI modellərlə sadə, birdəfəlik Notion agentinin qurulması prosesini addım-addım izah edir. Bu, hər sorğu üçün sıfırdan işə düşən, tapşırığı yerinə yetirəndən sonra isə dayanan bir agentdir.
Mishra deyir ki, əksər agentlər həmişə aktiv olmaq, söhbət tarixçəsi saxlamaq və buludda yaşamaq üçün qurulur. Lakin onların ehtiyacı olan şey daha sadədir: bir dəfəlik sorğu əsasında Notion səhifəsini oxuyub, məzmunu ümumiləşdirib, başqa bir yerə yazmaq. Nə söhbət tarixçəsi, nə də daimi proses. Agentə heç kim müraciət etmirsə, onun heç bir xərci olmamalıdır.
İlk Versiya Niyə Çatışmadı?
İlk uğurlu versiyada agent ucuz modellərlə işləyir, səhifələri adla tapır və məlumatları JSON formatında qaytarırdı. Lakin tezliklə məlum oldu ki, JSON formatı ümumiləşdirmə üçün əlverişli deyil. Agent hər dəfə təxminən 40.000 token işlədirdi və bu, token sayını lazımsız yerə artırırdı. Daha pisi, agent müəyyən tapşırıqlarda çaşqınlıq yaşayır, ya da səhv səhifələrə yazırdı.
Markdown Həlli və Daha Bahalı Model
Həll yolu kimi, Mishra iki mühüm dəyişiklik edib. Birincisi, JSON əvəzinə Markdown formatına keçmək – bu, oxunaqlılığı artırmaqla yanaşı token xərclərini kəskin azaldıb. İkincisi, flash modellərindən daha güclü DeepSeek V3 sinif modelinə keçmək. Bu modelin token başına qiyməti təxminən üç dəfə baha olsa da, daha az cəhddə tapşırığı yerinə yetirdiyi üçün ümumi xərc azalıb.
Yeddi Uğurlu Strategiya
- Token sızmasının qarşısını Markdown ilə alın – JSON oxumaq üçün əlverişli deyil.
- Modeli alətlərə uyğun seçin – flash modelləri sadə əmrlər üçün, güclü modellər isə mürəkkəb tapşırıqlar üçün daha uyğundur.
- İşsiz vəziyyətdə xərci sıfıra endirin – məsələn, Cloud Run'un "sıfıra miqyasla" funksiyası ilə.
- Döngə üçün limit qoyun – maksimum addım, alət çağırışı və vaxt limiti təyin edin.
- "Alətlərdən istifadə" ilə "nə etməli"ni ayırın – bu, agentin ümumiləşdirilmiş qalmasını təmin edir.
- Axtarış adla aparılsın – Notion ID-lərini istifadəçidən gizləyin.
- Sadə implementasiya ilə az hərəkətli promptu qarışdırmayın – bəzən sadə server tərəfi model üçün çətin ola bilər.
Nəhayət, Mishra vurğulayır ki, bu təcrübə hələ tamamlanmayıb. Əsas hədəf – bir neçə fərqli aləti (Slack, GitHub) eyni agentdə birləşdirmək və agenti sadə bir funksiya çağırışı kimi hiss etdirəcək qədər sadələşdirməkdir.