ایجنت خودمختار سامانه‌ای است که می‌تواند برای رسیدن به هدف، بخشی از تصمیم‌ها و اقدامات را بدون تایید مرحله‌به‌مرحله انسان انجام دهد. خودمختاری صفر و یک نیست؛ از پیشنهاد ساده تا اجرای محدود و قابل توقف، چند سطح دارد. سطح مناسب باید بر اساس اثر اقدام، امکان بازگشت و کیفیت آزمون انتخاب شود.
خودمختاری بیشتر همیشه ارزش بیشتر ایجاد نمی‌کند. در بسیاری از فرایندهای سازمانی، ایجنتی که پیش‌نویس دقیق آماده میکند و در نقطه درست تایید می‌گیرد، از سامانه‌ای کاملا خودکار ایمن‌تر و اقتصادی‌تر است.
چهار سطح خودمختاری ایجنت
سطح ۱: پیشنهاد
ایجنت تحلیل و پیشنهاد می‌دهد، اما کاربر همه اقدامات را انجام می‌دهد. مناسب شروع و تصمیم‌های پراثر است.
سطح ۲: پیش‌نویس
فرم، ایمیل، گزارش یا برنامه اقدام آماده می‌شود و پس از بازبینی ثبت می‌گردد. این سطح زمان کار را کم میکند و مسوولیت را روشن نگه می‌دارد.
سطح ۳: اجرای تاییدشده
ایجنت ابزار را آماده میکند، پارامتر دقیق را نشان می‌دهد و با تایید مشخص همان اقدام را اجرا میکند.
سطح ۴: خودمختاری محدود
در سناریوهای آزموده‌شده، با سقف مبلغ، زمان، تعداد و دامنه مشخص اقدام میکند. خروج از مرز به توقف و ارجاع منتهی می‌شود.
مرز اختیار چگونه تعریف می‌شود؟
مرزها باید فنی و قابل اجرا باشند، نه فقط جمله‌ای در دستور. محدودیت مبلغ در API، فهرست منابع مجاز در کنترل دسترسی و سقف گام در هماهنگ‌کننده اعمال شود. مدل نمی‌تواند تنها نگهبان سیاست خود باشد.
- فهرست عملیات مجاز و ممنوع؛
- حد مبلغ، تعداد، زمان و هزینه؛
- دامنه داده و کاربران قابل دسترسی؛
- شرایط توقف، ارجاع و تلاش مجدد؛
- اقدام جبرانی و امکان بازگشت.
برای جزییات ابزار امن، اتصال ایجنت به API را بخوانید.
Human-in-the-loop کجا لازم است؟
تایید انسانی باید در نقطه‌ای قرار گیرد که تصمیم هنوز قابل تغییر و اطلاعات لازم قابل مشاهده است. نمایش یک دکمه تایید بدون توضیح اثر، کنترل واقعی نیست. خلاصه دلیل، منبع داده، پارامتر اقدام و پیامد باید کنار تایید دیده شوند.
تغییر دسترسی، انتقال پول، حذف دایمی، ارسال تعهد رسمی، تصمیم استخدامی و اقدام بر داده حساس از نقاط معمول تاییدند. راهنمای نظارت انسانی در هوش مصنوعی الگوهای طراحی را شرح می‌دهد.
توقف اضطراری و بازگشت
کلید توقف باید مستقل از خود ایجنت باشد و فورا اعتبارنامه یا صف اجرای آن را محدود کند. برای عملیات برگشت‌پذیر، اقدام جبرانی تعریف کنید؛ مثلا بستن تیکت ساخته‌شده یا بازگرداندن وضعیت قبلی. برای عملیات برگشت‌ناپذیر، پیشگیری و تایید دوگانه ضروری است.
چه زمانی اختیار را افزایش دهیم؟
افزایش اختیار باید نتیجه عبور از معیار باشد، نه گذشت زمان. تعداد کافی اجرای موفق، صفر تخطی مجوز، نرخ پایین اصلاح، پایداری در خطا و آمادگی تیم پاسخ‌گویی لازم‌اند. ابتدا روی گروه و حجم محدود فعال کنید و امکان بازگشت فوری داشته باشید.
| نشانه آمادگی | شاهد لازم |
|---|---|
| کیفیت پایدار | نتیجه آزمون و تولید در چند بازه |
| خطای کنترل‌شده | توقف و ارجاع درست در سناریوهای مرزی |
| مجوز صحیح | آزمون عدم دسترسی و ثبت کامل |
| بازیابی عملیاتی | مانور توقف و بازگشت موفق |
| مالکیت روشن | مسوول تصمیم، رخداد و تغییر |
ریسک‌های ایجنت خودمختار
تفسیر اشتباه هدف، زنجیره خطا میان ابزارها، تکرار عملیات، مصرف کنترل‌نشده و پذیرش دستور مخرب از داده خارجی ریسک‌های اصلی‌اند. با محدودکردن دامنه، جداسازی محیط اجرا، اعتبارسنجی خروجی و ارزیابی امنیت ایجنت می‌توان احتمال و اثر آن‌ها را کاهش داد.
سوالات متداول
آیا ایجنت خودمختار بدون انسان کار میکند؟
در یک دامنه محدود ممکن است، اما طراحی حرفهای همچنان مالک انسانی، پایش، امکان توقف و مسیر ارجاع دارد.
بالاترین سطح خودمختاری بهترین انتخاب است؟
خیر. بهترین سطح، کمترین اختیاری است که ارزش مورد نظر را با ریسک پذیرفتنی ایجاد میکند.
چگونه جلوی اقدام تکراری را بگیریم؟
از شناسه تکرارناپذیر، استعلام وضعیت پیش از retry و ثبت اتمیک نتیجه استفاده کنید.
چه کسی سطح اختیار را تصویب کند؟
مالک فرایند، امنیت، فناوری و مسوول ریسک باید بر اساس شواهد ارزیابی و اثر کسب‌وکار تصمیم مشترک بگیرند.
برای اجرای مرحله‌ای، ابتدا نقشه راه ساخت ایجنت و سپس راهنمای پایش محیط عملیاتی را دنبال کنید. پژوهش عامل‌های قابل اعتماد نیز بر کنترل، شفافیت و امنیت در کنار توانمندی تاکید دارد.