در بسیاری از کارهای نرم‌افزاری، پاسخ مورد نیاز یک متن بلند نیست. می‌خواهیم بدانیم پیام مشتری دربارهٔ پرداخت است یا ارسال، یک سند به کدام بخش برود، یا درخواست به بررسی دقیق‌تر نیاز دارد یا نه. مدل تصمیم برای همین انتخاب‌های مشخص طراحی می‌شود.
در این نوشته، «سیستم ۱» نامی برای تصمیم مستقیم و بدون تولید زنجیرهٔ متنی طولانی است. این تعبیر از تمایز فکر سریع و سنجیده در روان‌شناسی الهام می‌گیرد؛ همان تمایزی که دنیل کانمن در Thinking, Fast and Slow شرح می‌دهد. کاربرد آن در مدل‌های هوش مصنوعی یک تشبیه است، نه ادعای شباهت سازوکار مدل به ذهن انسان.
ورودی و خروجی چه شکلی دارند؟
یک متن، یک پرسش و چند گزینه داریم. مثلاً متن تیکت و پرسش «کدام تیم باید این پیام را بررسی کند؟» با گزینه‌های پرداخت، ارسال، مرجوعی و نامشخص. خروجی مدل امتیاز یا احتمال گزینه‌هاست.
در سنجه، مدل بدون تولید پاسخ آزاد به گزینه‌ها امتیاز می‌دهد. برنامه می‌تواند خروجی را مستقیم در مسیر کار به کار ببرد. این شکل خروجی هزینهٔ پردازش متن آزاد و خطای استخراج جواب را کم می‌کند، اما درست بودن تصمیم را تضمین نمی‌کند.
زمان پاسخ را باید اندازه گرفت. اندازهٔ مدل، طول ورودی، تعداد پرسش‌ها و شرایط اجرا روی آن اثر دارند. «سیستم ۱» به‌تنهایی وعدهٔ سرعت ثابت نیست. زمان صف و شبکه را هم حساب کنید.
چهار کاربرد در کار روزمره
دسته‌بندی پیام: تیکت‌ها را میان تیم‌ها تقسیم می‌کنیم. پیام چندموضوعی را باید از قبل تعریف کرده باشیم: آیا چند برچسب می‌گیرد یا به یک تیم اصلی می‌رود؟ بدون این قرارداد، دقت مدل معنای روشنی ندارد.
مسیریابی درخواست: کار ساده به مسیر کم‌هزینه‌تر می‌رود و کار پیچیده‌تر به مدل یا کارشناس مناسب. معیار سنجش فقط دقت مسیریاب نیست؛ باید دید پاسخ نهایی بهتر شده و هزینهٔ کل چه تغییری کرده است.
گارد ورودی: مدل می‌تواند نشانه‌های درخواست نامناسب یا تزریق پرامپت را تشخیص دهد. گارد یک لایهٔ کمکی است. مجوز خواندن فایل، انجام پرداخت یا دسترسی به حساب را خود برنامه باید کنترل کند.
بررسی اسناد کسب‌وکار: می‌توان پرسید آیا متن شامل شرط تمدید قرارداد است، آیا مشتری درخواست لغو کرده، یا آیا شرح کالا با دستهٔ پیشنهادی سازگار است. برای این کارها باید متن کافی و گزینهٔ «اطلاعات ناکافی» در نظر گرفت. تشخیص وجود یک بند با داوری حقوقی دربارهٔ آن فرق دارد.
احتمال مدل همیشه قابل اعتماد نیست
اگر مدل برای گروهی از پاسخ‌ها احتمال حدود هشتاد درصد می‌دهد، انتظار داریم نزدیک به هشتاد درصد همان پاسخ‌ها درست باشند. بررسی این رابطه را کالیبراسیون می‌نامیم. مدل می‌تواند در انتخاب گزینه خوب باشد ولی احتمال‌هایش بیش از حد مطمئن یا بیش از حد محتاط باشند.
Guo و همکاران در On Calibration of Modern Neural Networks نشان می‌دهند که دقت خوب لزوماً با کالیبراسیون خوب همراه نیست. تنظیم احتمال را هم باید سنجید. روشی که روی یک دامنه جواب داده، ممکن است روی پیام‌های مشتریان یک فروشگاه مناسب نباشد.
برای همین، نباید یک آستانهٔ ثابت را از نمونهٔ آموزشی به تصمیم پرهزینه منتقل کرد. هزینهٔ خطای رد و خطای عبور را مشخص کنید و روی دادهٔ همان کاربرد بسنجید.
کجا باید توقف کنیم؟
وقتی گزینه‌ها مبهم‌اند، متن شواهد کافی ندارد یا تصمیم به اطلاعات بیرونی وابسته است، مدل نباید مجبور به انتخاب قطعی شود. مسیر ارجاع یا گردآوری اطلاعات بخشی از طراحی درست است.
همچنین خروجی عددی، توضیح علت نیست. اگر دلیل تصمیم لازم است، باید شواهد متن و روش بازبینی جداگانه‌ای داشت. ساختن توضیح پس از انتخاب گزینه، ثابت نمی‌کند مدل واقعاً با همان دلیل انتخاب کرده است.
سنجه در این تصویر
سنجه، خانوادهٔ مدل‌های تصمیم دانا، سه مدل دارد: قناری، کبوتر و شاهین. قناری و کبوتر از راه API در دسترس‌اند و شاهین به‌زودی. نسخهٔ فعلی قناری، قناری ایرانی v0.1 (Ghanari-IR v0.1) است؛ کبوتر بر پایهٔ d3-mini و بدون تغییر وزن عرضه می‌شود. بهبود قناری ایرانی را برای کارهای ایرانی سنجیده‌ایم و ادعای بهبود عمومی فارسی نداریم.
برای شکل دقیق درخواست و خروجی، مستندات سنجه را ببینید. انتخاب مدل را با چند پیام نمونه تمام نکنید؛ روی خطاهای مهم کسب‌وکار خودتان تصمیم بگیرید.
منابع
- Daniel Kahneman، Thinking, Fast and Slow، ۲۰۱۱؛ منبع تمایز مفهومی فکر سریع و سنجیده.
- Guo و همکاران، On Calibration of Modern Neural Networks، ICML ۲۰۱۷.