تحقیقات هوش مصنوعی با مشکل محتوای کم‌کیفیت مواجه است؛ دانشگاهیان می‌گویند: «این یک آشوب است»

Aisha Down

مردی که در دفتر روی لپ‌تاپ تایپ می‌کند
نویسنده، کوین ژو، اکنون Algoverse را اداره می‌کند؛ یک شرکت پژوهش و مربی‌گری هوش مصنوعی برای دانش‌آموزان دبیرستانی. عکاسی: Cavan Images/Alamy

پژوهش‌های هوش مصنوعی مورد سؤال قرار گرفته‌اند، زیرا نویسنده ادعا می‌کند امسال بیش از ۱۰۰ مقاله درباره هوش مصنوعی نوشته است که ۸۹ مقاله از آنها این هفته در یکی از پیشروترین کنفرانس‌های جهان درباره هوش مصنوعی و یادگیری ماشین ارائه می‌شود؛ این موضوع سؤالاتی را در میان دانشمندان رایانه درباره وضعیت پژوهش‌های هوش مصنوعی برانگیخته است.

یک شخص ادعا می‌کند امسال ۱۱۳ مقاله علمی درباره هوش مصنوعی تألیف کرده است که ۸۹ مقاله از آنها این هفته در یکی از پیشروترین کنفرانس‌های جهان در زمینه هوش مصنوعی و یادگیری ماشین ارائه می‌شود؛ این امر سؤال‌هایی را در میان دانشمندان رایانه درباره وضعیت پژوهش‌های هوش مصنوعی به وجود آورده است.

نویسنده، کوین ژو، به‌تازگی مدرک لیسانس رشته‌ی علوم کامپیوتر را از دانشگاه کالیفرنیا، برکلی دریافت کرده و در حال حاضر شرکت Algoverse را که یک شرکت پژوهشی و مربی‌گری هوش مصنوعی برای دانش‌آموزان دبیرستانی است، مدیریت می‌کند؛ بسیاری از این دانش‌آموزان هم‌نویسندگان مقالات او هستند. خود ژو در سال ۲۰۱۸ از دبیرستان فارغ‌التحصیل شد.

مقالاتی که او در دو سال گذشته منتشر کرده است، موضوعاتی نظیر استفاده از هوش مصنوعی برای شناسایی دامداران کوچ‌نشین در جنوب صحرای آفریقا، ارزیابی ضایعات پوستی و ترجمه گویش‌های اندونزیایی را شامل می‌شوند. در پروفایل لینکدین خود، او ادعا می‌کند که «بیش از ۱۰۰ مقاله برتر کنفرانس در سال گذشته» منتشر کرده است که «توسط OpenAI، مایکروسافت، گوگل، استنفورد، MIT، آکسفورد و دیگران ارجاع شده‌اند».

مقاله‌های ژو «فاجعه» هستند، هانی فرید، استاد علوم کامپیوتر در برکلی، در مصاحبه‌ای گفت. او افزود: «من تا حد زیادی مقتنع هستم که کل این مسأله، از بالا به پایین، صرفاً کدگذاری «vibe» است»، که به معنای استفاده از هوش مصنوعی برای ایجاد نرم‌افزار است.

ناظران ربات‌ها در آشفتگی

استانداردهای بازبینی پژوهش‌های هوش مصنوعی با بیشتر حوزه‌های علمی دیگر متفاوت است. اکثر کارهای هوش مصنوعی و یادگیری ماشین تحت فرایندهای سخت‌گیرانه بازنگری همتا، همانند رشته‌های شیمی و زیست‌شناسی، قرار نمی‌گیرند؛ در عوض، مقالات غالباً به‌صورت کمتر رسمی در کنفرانس‌های بزرگ مانند NeurIPS، یکی از برترین همایش‌های جهان در زمینه یادگیری ماشین و هوش مصنوعی، ارائه می‌شوند؛ که ژو نیز در برنامه این کنفرانس حضور دارد.

مطالعه موردی ژو نشانگر یک مسألهٔ بزرگ‌تر در پژوهش‌های هوش مصنوعی است، فرید گفت. کنفرانس‌هایی از جمله NeurIPS با افزایش چشمگیر تعداد مقالات ارسالی مواجه شده‌اند: در سال جاری NeurIPS ۲۱٬۵۷۵ مقاله دریافت کرد، که در مقایسه با زیر ۱۰٬۰۰۰ مقاله در سال ۲۰۲۰، افزایش چشمگیری است. یک کنفرانس دیگر برتر هوش مصنوعی، کنفرانس بین‌المللی نمایاندن یادگیری (ICLR)، گزارش داد که برای کنفرانس ۲۰۲۶، افزایش ۷۰٪ در مقالات ارسالی داشته است و نزدیک به ۲۰٬۰۰۰ مقاله دریافت کرده، در حالی که برای کنفرانس ۲۰۲۵ این عدد کمی بیش از ۱۱٬۰۰۰ مقاله بود.

«نقد‌کنندگان از کیفیت پایین مقالات شکایت می‌کنند و حتی گمان می‌کنند برخی از آن‌ها توسط هوش مصنوعی تولید شده‌اند. چرا این جشنواره علمی طعم خود را از دست داده است؟» بلاگ فناوری چینی 36Kr در یک پست نوامبر درباره ICLR پرسید و اشاره کرد که میانگین امتیازهایی که نقد‌کنندگان به مقالات اختصاص داده‌اند، سالانه کاهش یافته است.

در همین حال، دانشجویان و پژوهشگران تحت فشار فزاینده‌ای برای افزایش تعداد مقالات و همگام شدن با همتایان خود قرار دارند. انتشار عدد دو رقمی – که حتی کمتر تعداد سه رقمی – از مقالات علمی رشتهٔ رایانه با کیفیت بالا در یک سال، برای پژوهشگران غیرمعمول است، دانشگاهیان گفتند. فرید می‌گوید که گاهی دانش‌آموزان او مقالاتی «vibe coded» می‌نویسند تا تعداد انتشارهای خود را بالا ببرند.

«افراد جوان بسیار زیادی می‌خواهند وارد هوش مصنوعی شوند. در حال حاضر یک جنون وجود دارد»، فرید گفت.

NeurIPS مقالات ارسالی را بازبینی می‌کند، اما فرآیند آن بسیار سریع‌تر و کمتر دقیق از بازنگری علمی استاندارد است، جفری والینگ، استادیار در دانشگاه فناوری ویرجینیا، بیان کرد. امسال، این کنفرانس از تعداد زیادی از دانشجویان دکترا برای ارزیابی مقالات استفاده کرده که یک صندلی مسئول (area chair) در NeurIPS گفت این امر روی فرآیند تأثیر منفی گذاشته است.

«واقعیت این است که داوران کنفرانس اغلب باید در مدت زمان کوتاهی ده‌ها مقاله را بررسی کنند و معمولاً بازبینی کمی یا اصلاً وجود ندارد»، والینگ گفت.

والینگ با فرید موافقت کرد که تعداد مقالات منتشر شده بیش از حد است و گفت که نویسندگانی را دیده است که بیش از ۱۰۰ مقاله در یک سال منتشر کرده‌اند. او افزود: «پژوهشگران بیشتر به خاطر حجم انتشاراتشان به‌جای کیفیت پاداش می‌گیرند… همه به افسانهٔ بهره‌وری فوق‌العاده علاقه‌مندند»، او گفت.

در صفحه سؤالات متداول Algoverse، پاسخ‌ها دربارهٔ اینکه برنامهٔ این شرکت چگونه می‌تواند به آیندهٔ تحصیلی یا شغلی متقاضیان کمک کند، توضیح می‌دهد: «مهارت‌ها، دستاوردها و انتشاراتی که در اینجا به‌دست می‌آورید در جامعهٔ علمی مورد احترام فراوانی قرار دارند و می‌توانند واقعیاً درخواستٔ دانشگاه یا رزومهٔ شما را تقویت کنند. این به‌ویژه زمانی صادق است که پژوهش شما در یک کنفرانس برتر پذیرفته شود – دستاوردی متمایز حتی برای پژوهشگران حرفه‌ای.»

فرید می‌گوید که اکنون به دانش‌آموزان توصیه می‌کند که وارد پژوهش هوش مصنوعی نشوند، به‌دلیل «جنون» موجود در این حوزه و حجم بالای کارهای کم‑کیفیتی که توسط افرادی که به‌دنبال بهبود چشم‌انداز شغلی خود هستند، منتشر می‌شود.

«این فقط یک آشوب است. نمی‌توانید همگام بمانید، نمی‌توانید منتشر کنید، نمی‌توانید کار خوب انجام دهید، نمی‌توانید اندیشمند باشید»، او گفت.

سیل ضایعات

با این‌حال، کارهای برجسته‌ای همچنان از این فرآیند به‌دست آمده‌اند. به‌ویژه مقالهٔ گوگل دربارهٔ ترانسفورمرها با عنوان «Attention Is All You Need» – که پایهٔ نظری پیشرفت‌های هوش مصنوعی منجر به ChatGPT شد – در سال ۲۰۱۷ در NeurIPS ارائه شد.

سازمان‌دهندگان NeurIPS تأیید می‌کنند که این کنفرانس تحت فشار است. در اظهاری به گاردین، سخنگویی گفت که رشد هوش مصنوعی به‌عنوان یک حوزه، «افزایش قابل‌توجهی در تعداد مقالات ارسالی و ارزش افزودهٔ بیشتر به پذیرش‌های بازنگری شده در NeurIPS» را به دنبال داشته و «بار قابل‌توجهی بر روی سیستم بازنگری ما وارد کرده است».

مراجعات ژو عمدتاً به کارگاه‌های داخل NeurIPS تعلق داشته‌اند که فرآیند انتخاب متفاوتی نسبت به جلسهٔ اصلی دارند و اغلب جایی هستند که کارهای کارآیی‌نوبت‌شده ارائه می‌شوند، گفت سازمان‌دهندگان NeurIPS. فرید اظهار داشت که این توضیح برای این‌که یک فرد نام خود را بر روی بیش از ۱۰۰ مقاله بگذارد، کافی نیست.

«من این را به‌عنوان استدلالی قانع‌کننده برای گذاشتن نام خود بر روی ۱۰۰ مقاله که احتمالاً نمی‌توانید به‌طور معناداری در آن‌ها مشارکت کنید، نمی‌بینم»، فرید گفت.

مشکل بزرگ‌تر از سیل مقالات در NeurIPS است. بازبین‌های ICLR از هوش مصنوعی برای ارزیابی حجم عظیمی از مقالات استفاده کردند – که منجر به ارجاع‌های «توهمی» و بازخوردی شد که «بسیار پرحرف با نکات گلوله‌ای فراوان» بود، طبق مقالهٔ اخیر منتشر شده در Nature.

احساس سقوط به‌قدری گسترده است که یافتن راه‌حلی برای این بحران، خود به‌عنوان موضوعی برای مقاله‌ها تبدیل شده است. یک مقالهٔ موضعی در ماه می ۲۰۲۵ – نسخهٔ علمی و مستدل نظرات روزنامه‌ای – که توسط سه دانشمند کامپیوتر کره‌جنوبی نوشته شده بود و راه‌حلی برای «چالش‌های بی‌سابقهٔ افزایش مقالات همراه با نگرانی‌های فزاینده در مورد کیفیت بازنگری و مسئولیت بازبین‌ها» پیشنهاد می‌داد، در کنفرانس بین‌المللی یادگیری ماشین ۲۰۲۵ جایزهٔ برترین کار را دریافت کرد.

در عین حال، فرید می‌گوید که شرکت‌های بزرگ فناوری و سازمان‌های کوچک ایمنی هوش مصنوعی اکنون کارهای خود را بر روی arXiv بارگذاری می‌کنند، سایتی که پیش‌تر تنها برای پیش‌چاپ‌های کم‌دید در حوزه ریاضیات و فیزیک اختصاص داشت و اینترنت را با کارهایی که به‌عنوان علم ارائه می‌شوند اما تحت استانداردهای بازنگری نیستند، سیل می‌کند.

هزینهٔ این، به‌قول فرید، این است که تقریباً غیرممکنی دانست که در حوزهٔ هوش مصنوعی چه می‌گذرد – برای روزنامه‌نگاران، عموم مردم و حتی متخصصان این حوزه: «به‌عنوان یک خوانندهٔ متوسط هیچ فرصتی ندارید تا سعی کنید درک کنید چه اتفاقی در ادبیات علمی می‌افتد. نسبت سیگنال به نویز شما تقریباً برابر یک است. من به‌ سختی می‌توانم به این کنفرانس‌ها بروم و بفهمم دقیقاً چه می‌گذرد.»

«به دانش‌آموزان می‌گویم اگر هدف‌تان بهینه‌سازی تعداد مقالات منتشرشده است، در واقع این کار آن‌قدر سخت نیست. فقط کارهای بسیار ضعیف و کم‌کیفیت انجام دهید و آن‌ها را به کنفرانس‌ها تزریق کنید. اما اگر می‌خواهید کارهای دقیق و اندیشمندانه انجام دهید، در موقعیتی ضعیف هستید چون عملاً به‌صورت یک‌جانبه از سلاح‌های خود خالی شده‌اید»، او گفت.

دیدگاه‌ها

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *