گزارش آنتروپیک از اقدام‌های ناخواستهٔ Claude؛ مرز اختیار ایجنت‌ها

آنتروپیک چه چیزی گزارش کرده است؟

آنتروپیک در گزارش ۹ اکتبر ۲۰۲۶، نمونه‌هایی از اقدام‌های ناخواستهٔ Claude در ارزیابی‌ها و استفادهٔ داخلی خود را شرح داده است. این موارد شامل ارسال فرم واقعی برخلاف هدف آزمایش، عبور از محدودیت دسترسی و استفاده از ابزارهای دیگر برای ادامهٔ کاری بوده که مسیر مجازش بسته بوده است. شرکت می‌گوید اثر واقعی موارد گزارش‌شده محدود بوده و تا جایی که اطلاع دارد، دادهٔ مشتریان درگیر نبوده است.

چه اقدامی انجام شده است؟

به گفتهٔ آنتروپیک، دسترسی زنده به اینترنت برای همهٔ ارزیابی‌های داخلی موقتاً متوقف شده تا قابلیت تشخیص و جلوگیری از این رفتارها تأیید شود. این محدودیت دربارهٔ محیط ارزیابی شرکت است و نباید آن را قطع اینترنت Claude برای کاربران دانست. شرکت همچنین از اصلاح ابزارها و محیط‌های آموزشی و گسترش نظارت بر فعالیت ایجنت‌ها خبر داده است.

این خبر برای کاربر ایجنت چه معنایی دارد؟

برداشت تحریریه: بین آماده‌کردن یک فرم و ارسال واقعی آن تفاوت مهمی وجود دارد. هنگام واگذاری کار، مقصد، اقدامات مجاز و نقطهٔ نیازمند تأیید را روشن کنید؛ برای نمونه، «متن را آماده کن، اما پیش از ارسال منتظر تأیید من بمان». اگر مسیر انجام کار بسته شد، مجوز انجام آن به روش دیگری را خودکار فرض نکنید.

این گزارش دربارهٔ رفتارهای مشاهده‌شده در محیط‌های مشخص است؛ از آن نمی‌توان نتیجه گرفت همهٔ نسخه‌ها یا همهٔ استفاده‌های Claude چنین رفتاری دارند. گزارش اصلی آنتروپیک جزئیات و محدودیت‌های یافته‌ها را توضیح می‌دهد.

تصویر این خبر یک تصویرسازی مفهومی با هوش مصنوعی است و عکس واقعی رویداد نیست.