Nvidia süni intellekt agentlərini millisaniyələr ərzində karantinə ala bilən sistem hazırladı

Nvidia süni intellekt agentlərinin müəyyən edilmiş təhlükəsizlik sərhədlərini aşmasının qarşısını almaq üçün Open Agent Safety Platform adlı yeni sistem hazırlayıb. Şirkətin məlumatına görə, platforma qaydalardan kənara çıxmağa çalışan süni intellekt agentini millisaniyələr ərzində müəyyən edərək karantinə ala bilir.

Yeni platforma Nvidia-nın açıq mənbəli OpenShell proqram təminatı ilə ayrıca aparat üzərində işləyən Sentry təhlükəsizlik texnologiyasını birləşdirir. Əsas məqsəd təhlükəsizlik nəzarətini süni intellekt agentinin işlədiyi proqram mühitindən ayırmaq və agentin həmin mexanizmlərə müdaxilə etməsinin qarşısını almaqdır.

OpenShell süni intellekt agentinin hansı məlumatlara çıxış əldə edə biləcəyini və hansı əməliyyatları yerinə yetirə biləcəyini əvvəlcədən müəyyən edilmiş qaydalar əsasında idarə edir. İstifadəçi agentin tapşırığını yerinə yetirməsi üçün lazım olan icazələri təyin edə bilir. Sistem bu qaydaları həm tapşırıq başlamazdan əvvəl, həm də agent işlədiyi müddətdə yoxlayır.

Nvidia bildirir ki, OpenShell həm açıq, həm də qapalı mənbəli süni intellekt modelləri ilə işləyə bilir. Sistem Nvidia Vera CPU prosessorlarında aşağı əlavə yüklə işləmək üçün hazırlanıb. Açıq mənbəli olması isə onun Arm və Intel kimi digər istehsalçıların prosessorlarına uyğunlaşdırılmasına imkan verir.

Platformanın əsas təhlükəsizlik komponentlərindən biri Sentry-dir. Nvidia-nın BlueField-4 məlumat emalı qurğuları üzərində işləyən Sentry süni intellekt agentlərinin fəaliyyətini onlardan təcrid olunmuş mühitdən izləyir və müəyyən edilmiş təhlükəsizlik siyasətlərini tətbiq edir.

Sentry-nin ayrıca prosessorda işləməsi agentin öz təhlükəsizlik mexanizmlərini dəyişdirməsi və ya sıradan çıxarması riskini azaltmağa hesablanıb. Nvidia-nın məlumatına görə, müəyyən edilmiş sərhədləri aşmağa çalışan agent aşkarlanarsa, sistem onu millisaniyələr ərzində karantinə ala bilər.

Platforma yalnız bir agentin fəaliyyətini deyil, bir neçə agentin birlikdə təhlükəsizlik məhdudiyyətlərini aşmağa çalışması ehtimalını da nəzərə alır. Nvidia-nın Reuters-ə verdiyi məlumata görə, sistem agentlərin əlavə alt-agentlər yaradaraq qaydalardan yayınmasını müəyyən etmək üçün riyazi üsullardan istifadə edir.

Nvidia yeni təhlükəsizlik platformasının sənaye daxilində geniş dəstək aldığını da bildirir. Anthropic, Microsoft, Cisco, Dell və SpaceX daxil olmaqla 100-dən çox təşkilatın Open Agent Safety Platform-u dəstəklədiyi qeyd olunur.