به گزارش رسانه تحلیلی خبری آناژورنال چند روز پیش OpenAI از دو مدل جدید استدلالگر خود، o3 و o4-mini، رونمایی کرد که از بسیاری جهات نسبت به مدل‌های قبلی این شرکت پیشرفت کرده‌اند.
با این حال، طبق گزارش‌های جدید، این مدل‌ها هنوز دچار مشکل توهم هستند؛ به این معنا که گاهی اطلاعاتی اشتباه و غیرواقعی ارائه می‌دهند.
جدیدترین اخبار هوش مصنوعی را در آناژورنال بخوانید.
براساس گزارش تک‌کرانچ، مدل‌های o3 و o4-mini نسبت به مدل‌های قبلی OpenAI، از جمله o1، o1-mini و o3-mini، توهمات بیشتری ایجاد می‌کنند.
این مسئله به چالشی بزرگ در دنیای هوش مصنوعی تبدیل شده است که برطرف کردن آن دشوار است.
OpenAI به طور رسمی اعلام کرده است که هنوز دلیل دقیق این موضوع را نمی‌داند و تحقیقات بیشتری برای فهم علت افزایش توهمات در این مدل‌ها نیاز است.
این مدل‌ها در برخی زمینه‌ها مانند کدنویسی و ریاضیات عملکرد بهتری دارند، اما به دلیل تعداد بالاتر ادعاهایشان، بیشتر دچار توهم می‌شوند.
مدل o3 در پاسخ به سوالات بنچمارک PersonQA (معیار داخلی برای سنجش دقت مدل در مورد اشخاص) حدود 33 درصد توهم ایجاد می‌کند که دو برابر مدل‌های قبلی است. همچنین، مدل o4-mini با عملکرد بدتری در این بنچمارک، 48 درصد توهم می‌سازد.
در نهایت، اگرچه توهمات می‌توانند به مدل‌ها کمک کنند تا به ایده‌های جالبی برسند، اما برای کسب‌وکارها و کاربرانی که به دقت بالایی نیاز دارند، این مشکل جدی است.
یکی از روش‌های امیدوارکننده برای حل این مشکل، افزودن قابلیت جستجوی وب به مدل‌هاست که در مدل‌هایی مانند GPT-4o با این قابلیت، دقت بالاتری مشاهده شده است.
سوالات متداول:
چرا مدل‌های o3 و o4-mini دچار توهم می‌شوند؟
تحقیقات نشان داده‌اند که این مدل‌ها به دلیل افزایش تعداد ادعاهایشان، به‌طور مکرر اطلاعات اشتباه ارائه می‌دهند.
در حال حاضر، OpenAI نمی‌داند دلیل دقیق این موضوع چیست و تحقیقات بیشتری در این زمینه در حال انجام است.
مدل‌های جدید o3 و o4-mini در چه زمینه‌هایی بهتر از مدل‌های قبلی عمل می‌کنند؟
این مدل‌ها در زمینه‌هایی مانند کدنویسی و ریاضیات عملکرد بهتری دارند. اما مشکل توهم آنها در سایر بخش‌ها بیشتر است.
چه درصدی از نتایج مدل o3 و o4-mini دچار توهم هستند؟
طبق گزارش‌ها، مدل o3 در حدود 33 درصد از سوالات PersonQA دچار توهم است، در حالی که مدل o4-mini عملکرد بدتری دارد و 48 درصد از پاسخ‌ها اشتباه است.
چگونه می‌توان توهمات مدل‌های هوش مصنوعی را کاهش داد؟
یکی از روش‌های موثر برای کاهش توهمات، افزودن قابلیت جستجوی وب به مدل‌ها است که دقت بیشتری در پاسخ‌ها ایجاد می‌کند.
چرا توهمات مدل‌های هوش مصنوعی مشکل‌ساز است؟
برای کاربرانی که به دقت بالا در اطلاعات نیاز دارند، توهمات می‌توانند موجب ارائه اطلاعات نادرست و مخرب شوند، به‌ویژه در حوزه‌هایی مانند تحقیق، کدنویسی و تصمیم‌گیری‌های مهم تجاری.
