از نوع وظیفه شروع کنید، نه نام مدل
برای مسیریابی درخواست براساس سقف مبلغ مصوب، یک قانون صریح می‌تواند کافی باشد. برای یافتن روند فروش، ابتدا تعریف داده و تحلیل آماری را بررسی کنید. برای دسته‌بندی متن آزاد یا تهیه پیش‌نویس پاسخ، مدل می‌تواند گزینه قابل آزمایش باشد. این‌ها قواعد انتخاب پیشنهادی‌اند، نه اثبات برتری یک فناوری. معیار اصلی، کیفیت مورد نیاز و پیامد خطاست؛ اضافه کردن مدل به یک قانون روشن، به‌خودی‌خود ارزش ایجاد نمی‌کند.
| وظیفه آموزشی | گزینه اولیه برای بررسی | خروجی قابل آزمون |
|---|---|---|
| ارجاع براساس مبلغ و نقش | قواعد و گردش کار | مسیر یکسان برای ورودی و قانون یکسان |
| گزارش روند فروش | کیفیت داده و تحلیل | تعریف سنجه و تطبیق محاسبه با منبع |
| پیش‌نویس پاسخ از اسناد | بازیابی و مدل با بازبینی | پاسخ مستند، رعایت دسترسی و امکان امتناع |
| پرداخت یا تصمیم حساس | کنترل قطعی و مسئول انسانی | مجوز، ثبت تصمیم و بررسی پیش از اقدام |
پیامد خطا را برای همان کاربرد تعریف کنید
در مثال آموزشی دستیار پشتیبانی، پاسخ ناقص درباره شیوه استفاده با افشای سند مشتری دیگر یکسان نیست. قبل از نمونه‌سازی، خطاها را به کیفیت محتوا، دسترسی داده و اقدام اشتباه تفکیک کنید. مالک هر خطا و امکان جبران آن را بنویسید. مشخص کنید خروجی فقط پیش‌نویس است یا می‌تواند پیام بفرستد، رکورد تغییر دهد یا تراکنش آغاز کند؛ اختیار بیشتر، آزمون‌ها و کنترل‌های بیشتری می‌طلبد.
- چه کسی از پاسخ غلط متأثر می‌شود و چه کسی مجاز به تأیید آن است؟
- کدام خطا باید مانع ادامه یا انتشار شود؟
- در نبود شواهد کافی، پاسخ مناسب امتناع، پرسش تکمیلی یا ارجاع به انسان است؟
- آیا کاربر می‌تواند خطا را گزارش کند و مالک مشخصی آن را پیگیری می‌کند؟
دسترسی به سند و اختیار ابزار را از مدل جدا کنترل کنید
OWASP توضیح می‌دهد که دستور مخرب می‌تواند از فایل یا صفحه وارد شود و بازیابی اسناد یا تنظیم مدل، تزریق دستور را کاملاً رفع نمی‌کند. در دستیار اسنادی، محتوای بازیابی‌شده را داده غیرقابل اعتماد بدانید؛ مجوز مشاهده هر سند و اختیار اقدام را در برنامه اعمال کنید. حداقل دسترسی و تأیید انسانی برای اقدام پرریسک از کنترل‌های پیشنهادی OWASP هستند. وجود ارجاع به سند، تضمین صحت یا مجوز دسترسی نیست.
منبع فنی این بخش: OWASP Gen AI Security Project [۳]
ارزیابی را پیش از تنظیم نمونه آماده کنید
NIST AI RMF بر ارزیابی مستند و تکرارپذیر تأکید می‌کند؛ پروفایل هوش مصنوعی مولد، منبع مکمل برای ریسک‌های همین خانواده است. برای پایلوت، یک مجموعه جدا از نمونه‌های روزمره، مبهم و ناموفق تهیه کنید. اگر همان مثال‌ها بارها برای تنظیم استفاده شده‌اند، نتیجه آن‌ها را به‌عنوان آزمون مستقل گزارش نکنید. جدول زیر یک طرح ارزیابی پیشنهادی برای دستیار اسنادی است.
| معیار | روش پیشنهادی سنجش |
|---|---|
| درستی و اتکا به سند | بازبین دامنه، ادعاها را با نسخه مشخص منبع تطبیق دهد |
| حفظ مرز دسترسی | پرسش درباره سند خارج از نقش کاربر و محتوای مخرب آزموده شود |
| ابهام و نبود پاسخ | رفتار امتناع، پرسش تکمیلی یا ارجاع بررسی شود |
| هزینه و زمان پاسخ | با ورودی و بار کاری مشخص، مصرف و زمان ثبت شود |
| خطای مهم | نوع خطا، تعداد وقوع و تعداد نمونه‌های مربوط گزارش شود |
منبع فنی این بخش: NIST AI Resource Center [۱]NIST [۲]
یک امتیاز کلی، خطاهای مهم را پنهان می‌کند
برای پاسخ‌های صحیح، مخرج و تعداد نمونه را همراه درصد گزارش کنید و نتیجه را برای فارسی و انگلیسی جدا ببینید. تعداد کم نمونه یا حذف پرونده‌های دشوار، اعتبار تصمیم را محدود می‌کند. امتیاز خود مدل می‌تواند یک علامت کمکی باشد؛ برای پاسخ‌های حساس، بازبینی فرد آشنا با حوزه و شواهد مستقل لازم است. کیفیت، تأخیر و هزینه را جدا ثبت کنید تا بهبود یکی با افت دیگری پنهان نشود.
- نام و نسخه مدل، تنظیمات، نسخه دستور و منبع داده هر اجرا را نگه دارید.
- معیار قبولی و خطاهای مانع انتشار را پیش از مشاهده نتایج توافق کنید.
- راهکار قاعده‌محور یا روش دستی فعلی را با همان وظیفه و روش سنجش مقایسه کنید.
- زمان بازبینی و اصلاح انسانی را در ارزیابی عملیاتی وارد کنید.
پایلوت محدود را با مسیر توقف اجرا کنید
برای دستیار پشتیبانی، می‌توان ابتدا پیش‌نویس را فقط به کارشناس نشان داد و ارسال را در اختیار او نگه داشت. فرض این طراحی باید در رابط و دسترسی ابزار هم برقرار باشد. برای داده، مجوز استفاده، محل پردازش، نگهداری و شرایط عرضه‌کننده را مشخص کنید. نمونه ساختگی برای آزمون اولیه مفید است، اما رفتار روی داده واقعی مجاز را اثبات نمی‌کند. پیش از فعال‌سازی، مسئول پایش و نسخه قابل بازگشت را تعیین کنید.
- با تغییر مدل، دستور، منبع یا ابزار، آزمون‌های مرتبط دوباره اجرا شوند.
- خطای مهم، مسیر توقف یا غیرفعال‌سازی قابلیت داشته باشد.
- بازخورد کاربران با حذف اطلاعات حساس و دوره نگهداری مشخص ثبت شود.
- پیش از افزایش اختیار یا کاربران، شواهد و ریسک باقی‌مانده مرور شوند.
از پایلوت چه تصمیمی می‌خواهید؟
خروجی مطلوب صرفاً یک نمایش جذاب نیست: یک کاربرد محدود، مجموعه ارزیابی، نتیجه قابل بازتولید، هزینه با فرض‌های روشن و تصمیم ادامه، اصلاح یا توقف بخواهید. اگر داده مجاز یا معیار پذیرش ندارید، ابتدا همان شکاف را برطرف کنید. اگر قواعد قطعی مسئله را پوشش می‌دهند، مسیر اتوماسیون فرایند را بررسی کنید. اگر مدل ارزش قابل اندازه‌گیری نشان داد، طراحی بهره‌برداری و کنترل‌ها مرحله بعد است.