رسوایی جمنای؛ چرا گوگل قابلیت تولید چهره را غیرفعال کرد؟

به گزارش رسانه تحلیلی خبری آناژورنال گوگل در مسیر توسعه‌ی چت‌بات‌های هوش مصنوعی بارد و جمنای با مشکلاتی جدی مواجه شد.

از کلیشه‌های نژادی و خروجی‌های توهین‌آمیز گرفته تا فشارهای مدیریتی برای عرضه‌ی سریع‌تر، این بحران‌ها نشان دادند که رقابت در هوش مصنوعی می‌تواند چالش‌های اخلاقی و فنی گسترده‌ای به همراه داشته باشد.

در دسامبر ۲۰۲۱، گوگل در واکنش به پیشرفت‌های OpenAI و معرفی ChatGPT، وضعیت اضطراری (Code Red) اعلام کرد و تیم توسعه‌ی هوش مصنوعی را موظف کرد تا ظرف ۱۰۰ روز یک محصول رقابتی بسازند.

این فشار زمانی موجب شد که مشکلات نظارتی و کنترل کیفیت نادیده گرفته شوند.

نمونه‌های اولیه‌ی بارد خروجی‌هایی با سوگیری نژادی و اشتباهات جدی تولید می‌کردند:

• در معرفی نام‌های هندی، افراد را بازیگران بالیوود معرفی می‌کرد، درحالی‌که نام‌های چینی را به دانشمندان کامپیوتر نسبت می‌داد.
• در پاسخ به درخواست نوشتن ترانه‌ی رپ درباره‌ی انداختن باتری خودرو به دریا، محتوایی خشن و توهین‌آمیز تولید کرد که هیچ ارتباطی با درخواست اصلی نداشت.
• کارشناسان داخلی نسبت به این مشکلات هشدار دادند، اما تیم مدیریتی برای عرضه‌ی سریع‌تر این نگرانی‌ها را نادیده گرفت.

در اوایل ۲۰۲۴، با معرفی مدل جمنای، گوگل با موج جدیدی از انتقادات مواجه شد. قابلیت تولید تصویر جمنای واکنش‌های شدیدی به همراه داشت، زیرا در برخی موارد:

• هنگام درخواست تصویر یک سناتور قرن نوزدهم آمریکا، جمنای تنها افراد اقلیت‌های نژادی را نمایش می‌داد.
• در نمایش سربازان نازی، مدل تصاویری از افراد غیرسفیدپوست تولید می‌کرد که با واقعیت تاریخی همخوانی نداشت.

این مشکلات باعث شد که گوگل به‌طور موقت قابلیت تولید چهره‌ی انسان در جمنای را غیرفعال کند.

اما این تصمیم، نه‌تنها مانع از انتقادات نشد، بلکه باعث افت ارزش سهام شرکت شد و انتقادهای گسترده‌ای را از سوی رسانه‌ها و سیاست‌مداران به همراه داشت.

پس از این بحران‌ها، سوندار پیچای (مدیرعامل گوگل) تصمیم گرفت تیمی جدید برای بررسی اعتماد و ایمنی در هوش مصنوعی تشکیل دهد.

همچنین اصول اخلاقی جدیدی برای بهبود عملکرد مدل‌ها تدوین شد.

بااین‌حال، این حوادث نشان داد که رقابت بی‌وقفه در توسعه‌ی هوش مصنوعی، بدون زیرساخت‌های نظارتی و اخلاقی کافی، می‌تواند به بحران‌های فرهنگی و اجتماعی منجر شود.

آینده‌ی هوش مصنوعی گوگل به میزان موفقیت این اصلاحات بستگی دارد.

سوالات متداول:

چرا گوگل قابلیت تولید چهره در جمنای را غیرفعال کرد؟
به دلیل مشکلاتی در نمایش تنوع نژادی. مدل به‌جای نمایش تصاویر واقعی، خروجی‌هایی غیرطبیعی ارائه می‌داد، مثلاً سربازان نازی را با چهره‌های غیرسفیدپوست نشان می‌داد که انتقادات زیادی به دنبال داشت.

آیا بارد و جمنای نژادپرستانه هستند؟
گوگل ادعا می‌کند که روی رفع سوگیری‌های نژادی کار می‌کند، اما در برخی تست‌ها دیده شده که این مدل‌ها همچنان کلیشه‌های نژادی را بازتولید می‌کنند، مثل معرفی تمام افراد هندی به عنوان بازیگر بالیوود.

چرا گوگل در رقابت با ChatGPT عجله کرد؟
بعد از موفقیت OpenAI با ChatGPT، گوگل احساس خطر کرد و با اعلام وضعیت اضطراری (Code Red)، توسعه‌ی بارد را تنها در ۱۰۰ روز کلید زد.

این شتاب باعث شد کیفیت و بررسی‌های اخلاقی قربانی شوند.

آیا هوش مصنوعی گوگل اطلاعات غلط هم ارائه می‌دهد؟
بله، مانند بسیاری از مدل‌های زبانی، بارد و جمنای دچار “توهم” می‌شوند و گاهی پاسخ‌های نادرست یا حتی توهین‌آمیز تولید می‌کنند.

برخی از این اشتباهات به مشکلات الگوریتمی و عدم کنترل کیفی کافی برمی‌گردد.

گوگل برای رفع مشکلات بارد و جمنای چه اقداماتی انجام داده است؟
تیم‌های هوش مصنوعی گوگل تغییراتی ایجاد کرده‌اند، از جمله اصلاح الگوریتم‌ها، جذب متخصصان جدید در حوزه اعتماد و ایمنی، و تدوین اصول اخلاقی جدید برای بهبود عملکرد این مدل‌ها.

چرا سهام گوگل بعد از مشکلات جمنای افت کرد؟
واکنش‌های منفی کاربران و رسانه‌ها، به‌خصوص پس از مشکلات تولید تصویر در جمنای، باعث شد سرمایه‌گذاران نگران شوند و ارزش سهام آلفابت (شرکت مادر گوگل) کاهش پیدا کند.

آیا گوگل توانایی رقابت با OpenAI را دارد؟
گوگل همچنان یکی از قدرتمندترین شرکت‌های فناوری در زمینه‌ی هوش مصنوعی است، اما چالش‌های اخیر نشان داده که مسیر رقابت با OpenAI بدون دردسر نیست و نیاز به اصلاحات جدی دارد.

چرا برخی از کارکنان گوگل از تیم‌های هوش مصنوعی استعفا دادند؟
برخی از اعضای تیم‌های نظارتی معتقد بودند که مدیریت گوگل برای عرضه‌ی سریع‌تر بارد و جمنای، مسائل اخلاقی و دقت را فدا کرده است.

این فشار باعث نارضایتی و در نهایت استعفای بعضی از کارکنان شد.

آیا گوگل می‌تواند مشکلات بارد و جمنای را برطرف کند؟
احتمالاً بله، اما نیاز به زمان، منابع بیشتر و تغییرات اساسی در نحوه‌ی توسعه‌ی این مدل‌ها دارد.

گوگل وعده داده که با بهبود الگوریتم‌ها و افزایش نظارت، کیفیت این چت‌بات‌ها را ارتقا دهد.

چطور می‌توان از نسخه‌ی جدید جمنای استفاده کرد؟
نسخه‌های جدید جمنای از طریق اپلیکیشن Google Gemini و برخی سرویس‌های هوش مصنوعی گوگل در دسترس هستند.

برای استفاده، کافی است به Google Labs مراجعه کنید یا اپ مربوطه را دانلود کنید.