به گزارش رسانه تحلیلی خبری آناژورنال، شرکت OpenAI در حال رفع یک باگ در چت‌بات محبوب خود، ChatGPT، است که به‌طور ناخواسته امکان تولید محتوای جنسی برای کاربران زیر ۱۸ سال را فراهم کرده بود.
این مشکل توسط وب‌سایت TechCrunch شناسایی شد و OpenAI نیز آن را تأیید کرده است.
جدیدترین اخبار هوش مصنوعی در آناژورنال دنبال کنید.
در آزمایشی که TechCrunch انجام داد، حساب‌های کاربری با سن ثبت‌شده بین ۱۳ تا ۱۷ سال ایجاد شدند. با استفاده از درخواست‌هایی مانند “با من صحبت سکسی کن”، چت‌بات در بسیاری از موارد اقدام به تولید محتوای جنسی کرد و حتی در برخی موارد کاربران را برای درخواست محتوای صریح‌تر تشویق کرد.
این در حالی است که سیاست‌های OpenAI تولید چنین محتوایی را برای افراد زیر سن قانونی به‌شدت ممنوع می‌داند.
OpenAI در واکنش به این موضوع اعلام کرد: «محافظت از کاربران نوجوان برای ما یک اولویت مهم است. در این مورد خاص، باگی وجود داشت که پاسخ‌هایی خارج از محدوده راهنماهای ما تولید کرده و در حال حاضر به‌سرعت در حال اصلاح آن هستیم.»
جالب اینجاست که در به‌روزرسانی‌های اخیر، ChatGPT نسبت به موضوعات حساس انعطاف‌پذیرتر شده است.
این تغییرات با هدف کاهش پیام‌های هشدار غیرضروری اعمال شده بودند، اما نتیجه‌اش افزایش احتمال تولید محتوای بحث‌برانگیز از جمله صحنه‌های جنسی بوده است.
نکته نگران‌کننده‌تر آن است که OpenAI در حال بازاریابی گسترده برای استفاده از ChatGPT در محیط‌های آموزشی است و همکاری‌هایی با سازمان‌هایی مثل Common Sense Media نیز دارد.
این در حالی است که پلتفرم همچنان به‌راحتی امکان ثبت‌نام برای نوجوانان بدون بررسی رضایت والدین را فراهم می‌کند.
به گفته استیون آدلر، یکی از پژوهشگران سابق ایمنی در OpenAI: «کنترل رفتار چت‌بات‌ها بسیار شکننده و مستعد خطاست. باید ارزیابی‌هایی وجود داشته باشد که قبل از انتشار عمومی، چنین رفتارهایی را شناسایی کند.»
مدیرعامل OpenAI، سم آلتمن، نیز اخیراً در واکنش به رفتارهای عجیب مدل جدید GPT-4o از جمله چاپلوسی افراطی، اعلام کرده بود که این اشکالات به‌زودی اصلاح خواهند شد.
با این حال، در آن اظهارنظر اشاره‌ای به مشکلات محتوای جنسی برای نوجوانان نشده بود.
سوالات متداول
۱. واقعا چت جی‌پی‌تی واسه بچه‌ها هم محتوای جنسی می‌نویسه؟
بله، طبق گزارش وب‌سایت TechCrunch، یه باگ توی چت جی‌پی‌تی باعث شده بود که حتی اگه کاربر زیر ۱۸ سال باشه، بتونه از ربات درخواست محتوای جنسی کنه و گاهی چت‌بات هم جوابای صریح و رک می‌داده.
۲. چرا چت جی‌پی‌تی برای بچه‌های زیر ۱۸ همچین جوابایی می‌داده؟
OpenAI گفته این مشکل به خاطر یه باگ تو سیستم بوده و طبق سیاست‌هاش نباید چنین محتوایی برای کاربرای کم‌سن نمایش داده بشه. الان هم دارن این باگ رو برطرف می‌کنن.
۳. چت جی‌پی‌تی سن کاربرا رو چجوری تشخیص می‌ده؟
در حال حاضر چت جی‌پی‌تی هنگام ثبت‌نام فقط تاریخ تولد رو می‌پرسه، ولی تأییدیه‌ای برای سن واقعی نمی‌گیره. فقط داشتن ایمیل یا شماره موبایل کافی‌ـه.
۴. اگه بچه‌ای از چت جی‌پی‌تی درخواست محتوای جنسی کنه، چی می‌شه؟
در حالت عادی، چت‌بات باید جلوشو بگیره و پیام بده که همچین چیزی مجاز نیست. اما طبق گزارش منتشر شده، تو بعضی موارد این محدودیت‌ها عمل نکرده.
۵. چت جی‌پی‌تی حالت بزرگسال هم داره؟
فعلاً نه، اما مدیرعامل OpenAI گفته که به دنبال ساخت یه حالت “بزرگسالانه” یا “گروه سنی خاص” هستن که توش محتواهای حساس تحت کنترل و چارچوب مشخص ارائه بشه.
۶. آیا این مشکل فقط تو چت جی‌پی‌تی بوده؟
نه، شرکت متا هم با همچین مشکلی مواجه شده بود. چت‌بات Meta AI هم به نوجوان‌ها اجازه داده بود وارد گفت‌وگوهای جنسی بشن، که این موضوع باعث انتقاد زیادی شد.
۷. مدارس از چت جی‌پی‌تی استفاده می‌کنن؟ پس این خیلی خطرناکه!
درسته. الان خیلی از مدارس دارن از چت جی‌پی‌تی برای آموزش استفاده می‌کنن. واسه همین، OpenAI هشدار داده که خروجی‌های این ابزار ممکنه همیشه مناسب کودکان نباشه و معلم‌ها باید مراقب باشن.
۸. چیکار کنیم بچه‌ها تو چت جی‌پی‌تی دنبال چیزای بد نرن؟
بهترین کار اینه که والدین یا معلم‌ها همراه بچه‌ها از ابزار استفاده کنن، تنظیمات کنترل والدین رو فعال کنن، و روی محتواهای تولیدشده نظارت داشته باشن.
