مهندسی کانتکست · حافظه و اطلاعات مرتبط

اطلاعات کمتر.
زمینهٔ درست‌تر.

چه چیزی باید در لحظهٔ پاسخ‌دادن جلوی مدل باشد؟ انتخاب کن، بودجه را بسنج و ببین کدام مدرک واقعاً به سؤال پاسخ می‌دهد.

چیدن کانتکست
ساخته‌های نیما مهندسی کانتکست

چرا این ساخته را امتحان کنی؟

هر چیزی که مدل می‌بیند، از یک پنجرهٔ محدود می‌گذرد.

مهندسی کانتکست یعنی انتخاب، خلاصه‌سازی و حذف به‌موقع اطلاعات. در این کارگاه با یک بودجهٔ واقعی توکن کار می‌کنی و می‌بینی چطور یک انتخاب اشتباه، پاسخ مدل را از مسیر خارج می‌کند.

  • بودجهٔ واقعی توکنآیتم‌ها را انتخاب کن و لحظه‌ای ببین پنجره چقدر پر شده است.
  • خلاصه‌سازی و حذفیاد بگیر چه چیزی باید بماند، چه چیزی فشرده شود و چه چیزی برود.
  • تشخیص علت خطاسناریوهای خراب را عیب‌یابی کن و بگو کدام قطعهٔ کانتکست مقصر بود.
دسترسی کامل، رایگان

می‌خواهی بیشتر و متفاوت یاد بگیری؟

اول مشخصات و آدرس ایمیلت را همین‌جا ثبت کن تا دسترسی به این محتوای آموزشی، شبیه‌سازها و بازی‌ها به‌طور کامل برایت باز شود — یک بار برای همهٔ ساخته‌ها.

بدون اسپم؛ فقط خبر ساخته‌ها و دوره‌های تازه. حساب کاربری داری؟ وارد شو

مدل به چه چیزی
احتیاج دارد؟

پرامپت فقط بخشی از کانتکست است. دستورها، سؤال کاربر، نتیجهٔ ابزار، سند بازیابی‌شده و خلاصهٔ گفت‌وگو هم در پاسخ نقش دارند. کار مهندسی کانتکست، انتخاب و سازمان‌دهی همین ورودی‌هاست.

تمرین: مشتری پرسیده «سفارش من هنوز ارسال نشده؛ می‌توانم لغوش کنم؟» اسناد مرتبط را انتخاب کن. اطلاعات بیشتر همیشه به معنای پاسخ بهتر نیست.

میز انتخاب اطلاعات

اعداد توکن، مقادیر فرضی این تمرین‌اند.
چه چیزهایی به مدل برسد؟

مصرف ورودی / بودجهٔ انتخابی

۱۲۰۰ / ۱۶۰۰

۳۰۰ توکن ثابت برای دستور و سؤال منظور شده است. ظرفیت خروجی در این مدل ساده محاسبه نمی‌شود.

پاسخ نمونه بر اساس انتخاب تو

این پاسخ با قواعد ثابت تمرین ساخته می‌شود؛ خروجی یک مدل زبانی نیست.

بازیابی به‌موقع

برای پاسخ به وضعیت سفارش، همان سفارش و قانون مرتبط را پیدا کن. RAG اطلاعات مرتبط را از منبع بیرونی به ورودی مدل اضافه می‌کند؛ ارتباط و تازگی منبع همچنان باید بررسی شود.

خلاصه هم انتخاب است

خلاصهٔ خوب خواستهٔ فعلی، تصمیم‌های قبلی و محدودیت‌های مهم را حفظ می‌کند. اگر خلاصه قانون یا استثنا را حذف کند، کوچک‌ترشدن کانتکست به قیمت از دست رفتن اطلاعات تمام می‌شود.

بودجهٔ توکن را چطور در پروژهٔ واقعی حساب کنیم؟

از توکنایزر یا API شمارش توکن همان مدل استفاده کن؛ تعداد کلمات و حروف معیار دقیقی نیست. دستور، پیام‌ها، اسناد، ابزارها و فضای خروجی را مطابق محدودیت سرویس در نظر بگیر.

یک سند، دستور جدید نیست

اگر داخل سند بازیابی‌شده نوشته باشد «قواعد را نادیده بگیر»، آن جمله بخشی از دادهٔ سند است. منبع و مرز داده را روشن نگه دار و اجرای ابزار را به متن سند واگذار نکن.

یک تصمیم با تو

برای پاسخ دقیق به سؤال لغو سفارش، کدام ورودی ضروری است؟

برای مطالعهٔ بیشتر: مهندسی مؤثر کانتکست — Anthropic

از یادگیری به اجرا

مسئلهٔ خودت را
به یک پروژه تبدیل کن.

گفت‌وگو با نیما