امنیت و ارزیابی ایجنت هوش مصنوعی یعنی پیش از دادن اختیار واقعی، هم کیفیت تصمیم و هم ایمنی اقدام را با سناریوهای قابل تکرار بسنجیم. ایجنت علاوه بر خطای پاسخ، ممکن است ابزار اشتباه را فراخوانی کند، از مرز دسترسی عبور کند، عملیات را تکرار کند یا تحت تاثیر محتوای مخرب قرار گیرد. بنابراین آزمون متن نهایی به‌تنهایی کافی نیست.
چارچوب عملی باید چهار لایه را پوشش دهد: مدل و دستور، داده و حافظه، ابزار و مجوز، و هماهنگکننده اجرا. نتیجه هر آزمون باید به تصمیم انتشار، محدودسازی یا اصلاح منتهی شود.
مدل تهدید ایجنت چیست؟
مدل تهدید مشخص می‌کند چه دارایی‌هایی محافظت می‌شوند، مهاجم یا خطا از کجا وارد می‌شود و پیامد چیست. ورودی کاربر، سند بازیابی‌شده، پاسخ API، حافظه قدیمی و پیام عامل دیگر همگی می‌توانند داده ناسالم یا دستور فریبنده وارد کنند.
- افشای داده یا بازیابی خارج از سطح دسترسی؛
- تزریق دستور از متن، وب‌سایت یا سند؛
- اجرای ابزار با پارامتر اشتباه یا بیش از اختیار؛
- تکرار عملیات پس از قطع ارتباط؛
- حلقه بی‌پایان و مصرف کنترل‌نشده؛
- ثبت داده حساس در لاگ یا حافظه.
مجموعه ارزیابی را چگونه بسازیم؟
از پرونده‌های واقعی بی‌نام‌شده شروع کنید و آن‌ها را به چهار دسته تقسیم نمایید: عادی، مرزی، خرابی و خصمانه. برای هر نمونه هدف، نتیجه قابل قبول، ابزارهای مجاز، اقدامات ممنوع و شرط توقف را ثبت کنید. هر خطای واقعی مهم باید پس از بررسی به آزمون رگرسیون تبدیل شود.
- عادی: مسیرهای پرتکرار و داده کامل؛
- مرزی: داده ناقص، ابهام، تضاد یا محدودیت سقف؛
- خرابی: API کند، پاسخ ناقص، قطع ارتباط و خطای مجوز؛
- خصمانه: تلاش برای نشت، تزریق دستور و دورزدن تایید.
چه معیارهایی را بسنجیم؟
| بعد | معیار |
|---|---|
| تکمیل | درصد کارهای کامل و درست |
| ابزار | انتخاب ابزار، صحت آرگومان و ترتیب |
| ایمنی | نرخ اقدام ممنوع یا نشت؛ هدف باید صفر باشد |
| کنترل | ارجاع و توقف درست در عدم اطمینان |
| کارایی | زمان، تعداد گام و هزینه هر کار موفق |
| پایداری | واریانس نتیجه در اجرای تکراری |
یک امتیاز میانگین نباید خطای پراثر را پنهان کند. عبور از مرز دسترسی باید به‌تنهایی مانع انتشار شود، حتی اگر کیفیت کلی بالا باشد.
کنترل‌های فنی ضروری
مجوز حداقلی
هر ابزار فقط عملیات و داده لازم را ببیند. جزییات در راهنمای ابزار و API ایجنت آمده است.
جداسازی محیط اجرا
اجرای کد یا پردازش فایل ناشناخته در محیط محدود، بدون دسترسی شبکه و اسرار غیرضروری انجام شود.
اعتبارسنجی ورودی و خروجی
Schema، محدوده، نوع و قواعد کسب‌وکار هم پیش و هم پس از فراخوانی کنترل شوند.
تایید متصل به اقدام
تایید باید به پارامتر دقیق، کاربر و زمان محدود متصل باشد؛ نه مجوز کلی برای اقدامات بعدی.
بودجه و توقف
سقف گام، زمان، هزینه، حجم داده و دفعات retry تعیین و کلید توقف مستقل فراهم شود.
Prompt Injection را چگونه کاهش دهیم؟
داده بیرونی را از دستور سیستم جدا کنید، محتوای بازیابی‌شده را غیرقابل اعتماد بدانید و تصمیم مجوز را به مدل نسپارید. ابزار باید حتی در صورت درخواست صریح متن، دسترسی را مستقل کنترل کند. برای اقدامات حساس، خروجی مدل فقط پیشنهاد باشد و اجرای قطعی از سیاست سرور عبور کند.
Red Team ایجنت چه چیزهایی را امتحان می‌کند؟
تیم آزمون تلاش می‌کند با ابهام، نقش‌سازی، متن داخل سند، زنجیره چندابزاری، ورودی بسیار بزرگ و خطای زمان‌بندی کنترل‌ها را بشکند. هدف فقط یافتن یک پاسخ نامناسب نیست؛ باید نشان دهد آیا مهاجم می‌تواند اثر عملی ایجاد کند یا داده‌ای ببیند که مجاز نیست.
پس از انتشار چه چیزی پایش شود؟
نسخه مدل و دستور، ابزارها، آرگومان‌های پالایش‌شده، نتیجه، زمان، هزینه، تایید و دلیل توقف برای هر اجرا ثبت شود. داده حساس را در لاگ کامل ذخیره نکنید. هشدارها باید برای جهش خطا، افزایش غیرعادی گام، تلاش دسترسی ممنوع و افت نرخ تکمیل تعریف شوند. راهنمای پایش هوش مصنوعی این چرخه را کامل می‌کند.
دروازه انتشار
پیش از هر نسخه، معیارهای غیرقابل مذاکره تعیین کنید: صفر نشت مجوز، صفر اقدام ممنوع، نرخ موفقیت حداقل، سقف زمان و هزینه، و بازیابی موفق در خطا. تغییر مدل، دستور، ابزار یا منبع دانش باید مجموعه رگرسیون مرتبط را دوباره اجرا کند.
سوالات متداول
آیا تست مدل زبانی برای ایجنت کافی است؟
خیر. ابزار، حافظه، مجوز، هماهنگکننده و رفتار در خرابی باید جدا و انتهابهانتها آزموده شوند.
مهمترین معیار امنیتی چیست؟
عدم اقدام و عدم دسترسی خارج از مجوز؛ میانگین کیفیت نمیتواند تخطی امنیتی را جبران کند.
هر چند وقت یکبار ارزیابی تکرار شود؟
پیش از هر تغییر موثر و بهصورت دورهای با نمونههای تازه تولید. رخداد مهم نیز باید آزمون رگرسیون جدید بسازد.
آیا تایید انسانی همه ریسک‌ها را حل می‌کند؟
نه. اگر اطلاعات ناقص یا اثر اقدام مبهم باشد، تایید صوری است. کنترل فنی، نمایش دلیل و امکان توقف همچنان لازم‌اند.
برای چارچوب سازمانی وسیع‌تر، حاکمیت و امنیت هوش مصنوعی و برای طراحی سطح اختیار، راهنمای ایجنت خودمختار را بخوانید. اصول کنترل، شفافیت و اعتماد در پژوهش Trustworthy Agents نیز تشریح شده‌اند.