در نخستین جلسه امنیت یک پروژه زبانی معمولا این سؤال مطرح می‌شود: «آیا داده از سازمان خارج می‌شود؟» پاسخ فقط به نام مدل وابسته نیست. مسیر انتقال درخواست، محل ثبت لاگ، سیاست نگهداری، دسترسی مدیران سامانه و حتی ابزار پایش می‌تواند داده را در معرض دسترسی قرار دهد.
به همین دلیل بعضی سازمان‌ها سراغ مدل زبانی خصوصی یا استقرار On-Premise می‌روند. این انتخاب در شرایط درست کنترل بیشتری می‌دهد، اما هزینه و مسئولیت عملیاتی آن باید پیش از خرید سخت‌افزار دیده شود.
سه الگوی رایج استقرار LLM
سرویس ابری مدیریت‌شده
راه‌اندازی سریع، دسترسی به مدل‌های به‌روز و هزینه اولیه کمتر از مزایای آن است. در مقابل، باید قرارداد پردازش داده، منطقه میزبانی، نگهداری لاگ و شرایط استفاده ارائه‌دهنده با سیاست سازمان سازگار باشد.
ابر خصوصی یا محیط اختصاصی
مدل در شبکه یا حساب ابری اختصاصی سازمان اجرا می‌شود و اتصال‌ها کنترل‌پذیرترند. تیم همچنان از انعطاف زیرساخت ابری استفاده می‌کند، ولی هزینه شبکه، پایش و عملیات را بر عهده می‌گیرد.
استقرار داخل سازمان
وزن مدل، سرویس استنتاج و داده در مرکز داده سازمان قرار می‌گیرند. این گزینه برای محیط‌های جدا از اینترنت، الزامات قراردادی سخت یا حجم ثابت و بالا قابل بررسی است. محدودیت ظرفیت، تهیه GPU، برق، خنک‌سازی و به‌روزرسانی مدل بخشی از تصمیم‌اند.
چه زمانی On-Premise منطقی است؟
- خروج داده از شبکه طبق مقررات یا قرارداد ممنوع است؛
- سامانه باید در شبکه جدا از اینترنت کار کند؛
- حجم مصرف پایدار و به اندازه‌ای است که هزینه مالکیت توجیه شود؛
- تیم زیرساخت توان نگهداری GPU، درایور، مدل و سرویس پایش را دارد؛
- مدل کوچک‌تر و تخصصی نیاز را با کیفیت قابل قبول پاسخ می‌دهد.
اگر پروژه هنوز در مرحله آزمایش است، بار کاری نوسان دارد یا تیم عملیات تجربه لازم را ندارد، معماری ترکیبی اغلب شروع کم‌ریسک‌تری است. داده حساس می‌تواند در شبکه بماند و فقط بخش کنترل‌شده‌ای از پردازش به سرویس بیرونی سپرده شود.
هزینه‌هایی که در برآورد اولیه جا می‌مانند
قیمت GPU تنها بخشی از هزینه است. افزونگی، ظرفیت زمان اوج، نسخه پشتیبان، مانیتورینگ، بهینه‌سازی مدل، وصله امنیتی، آزمون نسخه جدید و نیروی آماده‌باش باید محاسبه شوند. مدل نیز ثابت نمی‌ماند؛ تغییر نسخه ممکن است کیفیت برخی سناریوها را بهتر و برخی را ضعیف‌تر کند.
خصوصی بودن به‌تنهایی امنیت ایجاد نمی‌کند
مدلی که داخل سازمان اجرا می‌شود همچنان ممکن است اطلاعات واحد دیگری را به کاربر نشان دهد یا در برابر تزریق دستور آسیب‌پذیر باشد. کنترل دسترسی باید تا سطح منبع سند ادامه پیدا کند. رویدادها ثبت شوند، خروجی‌های حساس قابل ردگیری باشند و مجموعه آزمون برای حملات متداول وجود داشته باشد. چک‌لیست حاکمیت هوش مصنوعی چارچوب این کنترل‌ها را توضیح می‌دهد.
مدل خصوصی یا RAG؟
این دو جایگزین هم نیستند. مدل خصوصی محل اجرای مدل را تعیین می‌کند؛ RAG دانش اختصاصی را هنگام پاسخ در اختیار آن می‌گذارد. برای بسیاری از کاربردها، یک مدل مناسب همراه RAG از آموزش مجدد کامل، به‌روزتر و قابل استنادتر است. مقایسه RAG و فاین‌تیونینگ به انتخاب روش کمک می‌کند.
پیش از تصمیم چه آزمایشی انجام دهیم؟
سه تا پنج سناریوی واقعی، حجم درخواست، سقف زمان پاسخ و کیفیت مورد انتظار را مشخص کنید. سپس همان مجموعه را روی دو معماری اجرا و هزینه هر هزار درخواست، کیفیت، زمان پاسخ و بار عملیاتی را مقایسه کنید. تصمیمی که با بار واقعی آزمایش شده باشد از انتخاب صرفا سخت‌افزاری دقیق‌تر است.
برای طراحی این مقایسه می‌توانید از طریق مرکز پشتیبانی سوهاب AI درخواست ارزیابی معماری ثبت کنید.