وقتی یکی از کارکنان گزارش محرمانه را در یک ابزار عمومی بارگذاری می‌کند، مسئله فقط انتخاب نادرست یک نرم‌افزار نیست. سازمان هنوز روشن نکرده چه داده‌ای مجاز است، چه کسی مسئول ابزار است و در صورت خطا چه باید کرد. حاکمیت هوش مصنوعی همین قواعد را به تصمیم‌های روزمره تبدیل می‌کند.
حاکمیت AI یک سند طولانی در بایگانی نیست
چارچوب خوب باید به پرسش‌های اجرایی پاسخ دهد: چه کسی کاربرد جدید را تأیید می‌کند؟ داده تا کجا می‌تواند خارج شود؟ خروجی پرریسک را چه کسی بازبینی می‌کند؟ رخداد کجا گزارش می‌شود؟ اگر پاسخ‌ها فقط در جلسه کمیته معلوم باشند، کنترل در عمل کار نمی‌کند.
از فهرست ساده‌ای از کاربردهای در حال استفاده شروع کنید؛ حتی ابزارهایی که تیم‌ها بدون خرید رسمی استفاده می‌کنند. برای هر مورد، مالک کسب‌وکار، مالک فنی، نوع داده، ارائه‌دهنده، کاربران و سطح اثر تصمیم را ثبت کنید.
کاربردها را بر اساس اثرشان طبقه‌بندی کنید
ریسک یک دستیار ویرایش متن عمومی با سامانه پیشنهاددهنده تصمیم استخدام یکسان نیست. چهار عامل به طبقه‌بندی کمک می‌کند: حساسیت داده، اثر خروجی بر افراد، میزان خودکاربودن اقدام و امکان بازگشت. هرچه اثر و خودمختاری بیشتر باشد، آزمون و تأیید انسانی باید سخت‌گیرانه‌تر شود.
حداقل کنترل‌های داده
- داده‌ها را به عمومی، داخلی، محرمانه و بسیار حساس تقسیم کنید.
- ارسال هر طبقه به سرویس‌های بیرونی را صریحا مجاز یا ممنوع کنید.
- مدت نگهداری ورودی و خروجی توسط ارائه‌دهنده را بررسی کنید.
- اطلاعات شخصی و اسرار تجاری را تا حد امکان پیش از پردازش حذف یا ماسک کنید.
- دسترسی مدل به منبع را هم‌سطح دسترسی همان کاربر نگه دارید.
در پایگاه دانش، اعمال مجوز باید پیش از بازیابی سند انجام شود. جزئیات این موضوع در مقاله طراحی پایگاه دانش هوشمند با RAG آمده است.
خروجی مدل را مثل ورودی انسانی بررسی کنید
مدل ممکن است با اعتمادبه‌نفس اطلاعات نادرست بسازد، دستور مخرب داخل سند را دنبال کند یا بخشی از زمینه حساس را بازتاب دهد. مجموعه آزمون باید علاوه بر سناریوی عادی، ورودی مبهم، داده ناقص، تلاش برای دورزدن دستور و درخواست خارج از مجوز را پوشش دهد.
برای هر کاربرد، حداقل کیفیت و رفتار توقف تعریف کنید. پاسخ «اطلاعات کافی ندارم» در بسیاری از موقعیت‌ها بهتر از حدس روان و قانع‌کننده است.
اصل کمترین اختیار برای ایجنت‌ها
اتصال مدل به ابزار، سطح ریسک را تغییر می‌دهد. ایجنتی که فقط رکورد را می‌خواند با ایجنتی که ایمیل می‌فرستد یا مبلغی را ثبت می‌کند یکسان نیست. مجوزها را به عملیات ریز تقسیم کنید و اقدام حساس را پشت تأیید انسانی بگذارید. کلید مشترک با دسترسی مدیر سیستم، میان‌بری خطرناک است.
برای معماری ابزار و نقاط تأیید، راهنمای ایجنت سازمانی را ببینید.
ثبت رویداد؛ به اندازه کافی، نه بی‌حد
باید بتوانید مسیر یک پاسخ را بازسازی کنید: نسخه مدل، منابع استفاده‌شده، ابزارهای فراخوانی‌شده، زمان، نتیجه و تأیید کاربر. در عین حال لاگ نباید به مخزن تازه‌ای از داده محرمانه تبدیل شود. داده حساس را ماسک و دوره نگهداری را محدود کنید.
آمادگی برای رخداد
پیش از نخستین رخداد تصمیم بگیرید چه کسی سرویس را متوقف می‌کند، کلیدها چگونه لغو می‌شوند، کاربران چگونه مطلع می‌شوند و شواهد کجا نگهداری می‌شود. یک تمرین رومیزی کوتاه، شکاف‌های مسئولیت را بهتر از ده صفحه سیاست نشان می‌دهد.
تقسیم مسئولیت در یک تیم کوچک
مالک کسب‌وکار درباره ضرورت و اثر خروجی پاسخ‌گوست. فناوری معماری و دسترسی را نگه می‌دارد. امنیت تهدید و رخداد را بررسی می‌کند. حقوقی و منابع انسانی بر کاربردهای مرتبط با افراد نظارت دارند. کاربران نیز باید مسیر گزارش پاسخ نامطمئن را بدانند. آموزش نقش‌ها در مقاله آموزش سازمانی هوش مصنوعی توضیح داده شده است.
چک‌لیست پیش از بهره‌برداری
- کاربرد، مالک و کاربران مشخص‌اند.
- منبع و طبقه داده ثبت شده است.
- مجموعه آزمون و حداقل کیفیت داریم.
- سطح مجوز و نقاط تأیید مستندند.
- لاگ، پایش هزینه و امکان توقف فعال است.
- کاربر آموزش دیده و مسیر گزارش خطا را می‌شناسد.
برای بازبینی معماری، دسترسی و ریسک یک کاربرد مشخص می‌توانید از مرکز پشتیبانی سوهاب AI درخواست ارزیابی ثبت کنید.