فاش شدن آزمایش‌های سری متا برای بهبود عملکرد مدل‌های هوش مصنوعی

به گزارش رسانه تحلیلی خبری آناژورنال، آزمایش‌های محرمانه متا که اخیراً فاش شده‌اند، جزئیات تازه‌ای از تأثیر داده‌ها بر عملکرد مدل‌های هوش مصنوعی مانند Llama را آشکار می‌کنند.

طبق این اسناد، پژوهشگران متا از فرآیند «Ablation» استفاده می‌کنند تا مشخص کنند کدام داده‌ها بیشترین تأثیر را در بهبود عملکرد مدل‌ها دارند.

جدیدترین اخبار هوش مصنوعی در آناژورنال دنبال کنید.

در این آزمایش‌ها، برخی از داده‌های آموزشی با کتاب‌هایی از پایگاه داده LibGen جایگزین شده‌اند که به صورت غیرقانونی منتشر شده‌اند.

نتایج آزمایش‌ها نشان می‌دهند که تغییرات در داده‌های آموزشی می‌توانند تأثیر زیادی بر عملکرد مدل‌های هوش مصنوعی داشته باشند.

برای مثال، افزودن کتاب‌های علمی و داستانی به داده‌ها باعث بهبود قابل‌توجهی در بنچمارک‌های صنعتی مانند BooIQ شده است.

با این حال، این نوع آزمایش‌ها هنوز در سطح محرمانه باقی مانده‌اند، زیرا انتشار نتایج آن‌ها می‌تواند تبعات حقوقی به همراه داشته باشد.

در این بین، برخی متخصصان معتقدند که این افشاگری‌ها می‌تواند منجر به ایجاد سیستم‌های جدید برای تخصیص اعتبار به منابع داده‌های آموزشی و پرداخت حق‌الزحمه به تولیدکنندگان محتوا شود.

سوالات متداول

1. ابلیشن تو هوش مصنوعی یعنی چی؟
ابلیشن (Ablation) یه روش آزمایشیه که توش بخشی از داده‌ها یا اجزای مدل رو عمداً حذف می‌کنن تا ببینن اگه اون قسمت نباشه، عملکرد مدل چه تغییری می‌کنه. اینجوری می‌تونن بفهمن کدوم داده‌ها واقعاً مهم بودن تو آموزش مدل.

2. چرا متا از داده‌های غیرقانونی مثل LibGen استفاده کرده؟
هدف متا این بوده که ببینه اضافه‌کردن این کتاب‌ها به داده‌های آموزشی، چقدر روی کیفیت مدل تأثیر داره. البته چون این داده‌ها غیرقانونی منتشر شدن، استفاده ازشون تو آزمایش‌ها کلی حاشیه درست کرده.

3. چی باعث شد اطلاعات آزمایش‌های محرمانه متا لو بره؟
یه پرونده حقوقی باعث شد اسناد داخلی متا فاش بشن. تو این اسناد معلوم شد متا آزمایش‌های زیادی با داده‌های مختلف انجام داده تا عملکرد مدل Llama رو بهینه کنه.

4. چرا شرکت‌هایی مثل متا نتیجه آزمایش‌هاشون رو منتشر نمی‌کنن؟
چون اگه معلوم شه کدوم داده‌ها بیشترین تاثیر رو داشتن، صاحبان اون محتواها ممکنه بیان و درخواست حق‌الزحمه کنن. واسه همین شرکتا ترجیح می‌دن ساکت بمونن.

5. اضافه‌کردن کتابای علمی و داستانی چه تاثیری روی مدل متا داشته؟
طبق اسناد، اضافه کردن این کتابا باعث شده مدل متا تو تست BooIQ بین ۴.۵ تا ۶ درصد بهتر عمل کنه، یعنی تونسته به صدها سؤال بیشتر جواب درست بده.

6. BooIQ چیه اصلاً؟
BooIQ یه تست معروف تو حوزه هوش مصنوعیه که توش حدود ۱۶ هزار سوال بله/خیر هست. هرچی یه مدل بتونه به سوالات بیشتری درست جواب بده، یعنی باهوش‌تره.

7. چرا ابلیشن واسه هوش مصنوعی مهمه؟
چون کمک می‌کنه بفهمیم چه داده‌هایی واقعاً مفید بودن. اینطوری شرکتا می‌تونن مدل‌های دقیق‌تر، سریع‌تر و کم‌هزینه‌تری بسازن.

8. آیا استفاده از داده‌های غیرمجاز برای آموزش مدل‌های هوش مصنوعی قانونیه؟
از لحاظ اخلاقی و قانونی محل بحثه. خیلیا معتقدن اگه یه شرکت از محتوای یه نویسنده استفاده کنه، باید بهش پول بده یا حداقل اسمش رو بیاره.