استارتاپ آنتروپیک (Anthropic) روز پنج‌شنبه ۲۵ تیر ۱۴۰۴ با انتشار بیانیه‌ای رسمی اعلام کرد موفق به توسعه مجموعه‌ای از ایجنت‌های هوشمند برای بازرسی رفتار مدل‌های هوش مصنوعی شده است.
به گزارش آناژورنال، این ایجنت‌ها می‌توانند به‌صورت خودکار مشکلات احتمالی مدل‌های زبانی و مولد را در مراحل توسعه شناسایی کرده و گزارش دهند.
این اقدام در چارچوب آزمایش‌های پیش از عرضه مدل جدید Claude Opus 4 انجام شده و آنتروپیک همزمان با این خبر، کد منبع ایجنت‌ها را به‌صورت متن‌باز در گیت‌هاب منتشر کرده است تا دیگر توسعه‌دهندگان و پژوهشگران نیز امکان استفاده و بهینه‌سازی این ایجنت‌ها را داشته باشند.
یکی از مهم‌ترین چالش‌های فعالان حوزه هوش مصنوعی مولد، ارزیابی هم‌راستایی (Alignment) یا همخوانی مدل‌ها با ارزش‌ها و اهداف کاربران است.
به گفته کارشناسان، مدل‌هایی که بیش‌ازحد از کاربران تبعیت می‌کنند یا به‌دنبال تحقق منافع مستقل خود هستند، می‌توانند خطرآفرین و غیرقابل‌کنترل شوند.
با این حال، فرآیند ارزیابی و بازرسی دقیق چنین مدل‌هایی بسیار پیچیده و زمان‌بر است و به همین دلیل توسعه ایجنت‌های خودکار در این حوزه می‌تواند گامی مهم در ارتقای امنیت، شفافیت و پایش‌پذیری مدل‌های هوش مصنوعی باشد.
آنتروپیک اعلام کرده این ایجنت‌های بازرسی می‌توانند به‌عنوان ابزاری مستقل یا در کنار دیگر ابزارهای توسعه، روند نظارت بر رفتار مدل‌ها در مراحل قبل و بعد از انتشار را ساده‌تر و سریع‌تر کنند.
برخی از اهداف این پروژه عبارتند از: شناسایی سوگیری‌های مدل، بررسی پاسخ‌های غیرمنتظره، پایش تبعیت بیش‌ازحد یا رفتارهای خطرناک، و ارائه گزارش‌های دقیق به تیم‌های توسعه‌دهنده.
این اقدام آنتروپیک می‌تواند به الگویی برای دیگر توسعه‌دهندگان حوزه هوش مصنوعی مولد تبدیل شود تا با استفاده از ابزارهای متن‌باز و ایجنت‌های بازرسی، فرآیند توسعه و نظارت مدل‌های زبانی به‌صورت شفاف‌تر و مسئولانه‌تر انجام شود.
سوالات متداول:
۱. آنتروپیک چه ابزاری برای مدل‌های هوش مصنوعی منتشر کرده است؟
آنتروپیک مجموعه‌ای از ایجنت‌های هوشمند متن‌باز را منتشر کرده است که می‌توانند رفتار مدل‌های هوش مصنوعی را بازرسی و مشکلات احتمالی آنها را به‌صورت خودکار شناسایی کنند.
۲. ایجنت‌های بازرسی آنتروپیک چه کاربردی دارند؟
این ایجنت‌ها می‌توانند در مراحل توسعه و قبل از انتشار مدل‌های زبانی، سوگیری‌ها، رفتارهای خطرناک، پاسخ‌های غیرمنتظره و تبعیت بیش‌ازحد از کاربران را شناسایی و گزارش دهند.
۳. چرا ارزیابی هم‌راستایی مدل‌های هوش مصنوعی مهم است؟
مدل‌هایی که بیش‌ازحد از کاربران تبعیت می‌کنند یا دنبال منافع مستقل خود هستند، ممکن است رفتارهای خطرناک نشان دهند، بنابراین ارزیابی هم‌راستایی آنها برای اطمینان از امنیت و کنترل‌پذیری ضروری است.
۴. آیا ایجنت‌های آنتروپیک رایگان و متن‌باز هستند؟
بله، آنتروپیک این ایجنت‌ها را به‌صورت متن‌باز در گیت‌هاب منتشر کرده و پژوهشگران و توسعه‌دهندگان می‌توانند به‌صورت رایگان از آنها استفاده کنند.
۵. این ایجنت‌ها در چه پروژه‌ای استفاده شده‌اند؟
این ایجنت‌ها بخشی از فرآیند آزمایش و آماده‌سازی مدل Claude Opus 4 پیش از عرضه عمومی آن هستند و در مراحل پایش و بهبود این مدل به‌کار گرفته شده‌اند.
