توسط : در دنیای پژوهش‌های علمی، دقت و صحت نتایج از اهمیت بالایی برخوردار است. اما حتی پژوهشگران باتجربه نیز ممکن است اشتباهات ناخواسته‌ای مرتکب شوند. اخیراً ماجرای رسانه‌ای دربارۀ خطرات مضر “ظروف پلاستیکی سیاه” نشان داد که یک خطای محاسباتی ساده می‌تواند جهان را دچار نگرانی کند. این خطا باعث شد خطر یک مادۀ شیمیایی ده برابر بیشتر از حد واقعی نشان داده شود و سطح ترس عمومی را بالا ببرد. در چنین شرایطی، هوش مصنوعی (AI) پتانسیل بالایی برای پیشگیری و کشف این‌گونه خطاهای پژوهشی دارد. در این مقاله قصد داریم به بررسی دو پروژه مهم یعنی پروژهٔ Black Spatula و پروژهٔ YesNoError بپردازیم که در زمینۀ شناسایی اتوماتیک خطاهای علمی فعالیت می‌کنند.
چالش‌های پیش روی صحت پژوهش‌ها
با گسترش دسترسی به اینترنت و امکان انتشار سریع، تعداد مقالات علمی در حوزه‌های مختلف روزبه‌روز بیشتر می‌شود. این حجم عظیم باعث می‌شود روند داوری و اعتبارسنجی پژوهش‌ها دشوارتر شود. حتی کوچک‌ترین اشتباه در داده‌ها یا محاسبات، مانند اضافه شدن یک صفر در یک فرمول یا جدول، می‌تواند نتیجه را به‌کلی تغییر داده و مخاطراتی جدی ایجاد کند. فرایند داوری همتا (Peer Review) زمان‌بر است و در برخی موارد نمی‌تواند تمام اشتباهات را شناسایی کند؛ زیرا این کار به بررسی عمیق و صرف انرژی زیاد نیاز دارد.
دو پروژه پیشرو در شناسایی خطاهای پژوهشی
1. پروژه Black Spatula
Black Spatula یک ابزار متن‌باز (Open-Source) است که از مدل‌های هوش مصنوعی برای شناسایی خطاهای محاسباتی، متدولوژیک و استنادی در مقالات علمی استفاده می‌کند. تاکنون بیش از ۵۰۰ مقاله در این پروژه بررسی شده و نتایج حاکی از وجود اشتباهات گوناگون در تعداد قابل‌توجهی از آن‌هاست. از ویژگی‌های برجستۀ این پروژه می‌توان به موارد زیر اشاره کرد:
- استفاده از جامعه‌ای متشکل از توسعه‌دهندگان و مشاوران داوطلب
- عدم انتشار عمومی خطاها تا زمان تأیید آن‌ها توسط نویسندگان اصلی
- نرخ خطای نسبی در شناسایی خطا (حدود ۱۰٪ موارد تشخیص اشتباه یا همان False Positive)
2. پروژه YesNoError
YesNoError با الهام از Black Spatula ایجاد شد و از اهداف بلندپروازانه‌تری برخوردار است. این پروژه با استفاده از سرمایه‌گذاری در قالب رمزارز اختصاصی، بیش از ۳۷ هزار مقاله را در مدت کوتاهی تحلیل کرده است. YesNoError به کاربران اجازه می‌دهد تا:
- به کمک هوش مصنوعی، به‌سرعت خطاهای احتمالی را در مقالات شناسایی کنند.
- داده‌ها و نتایج را در وبسایت خود علامت‌گذاری و گزارش کنند.
- در آینده نزدیک، از پلتفرم ResearchHub برای انجام بررسی‌های انسانی و تخصصی بهره ببرند و به متخصصان رمزارز پرداخت کنند تا نتایج را تأیید کنند.
هوش مصنوعی چطور خطاها را تشخیص می‌دهد؟
هر دو پروژه از مدل‌های زبانی بزرگ (LLMs) به‌صورت زیر استفاده می‌کنند:
- استخراج اطلاعات
ابتدا متن مقاله، جداول، نمودارها و بخش‌های کلیدی استخراج می‌شوند. - تولید دستورالعمل‌های پیچیده (Prompting)
مدل هوش مصنوعی با مجموعه‌ای از دستورالعمل‌ها یا پرامت‌ها در متن به‌دنبال تناقضات و خطاهای احتمالی می‌گردد. - تحلیل چندمرحله‌ای
مقاله ممکن است چند بار بررسی شود؛ یک بار برای تشخیص خطاهای محاسباتی، بار دیگر برای اشکالات روش‌شناختی، و بار دیگر برای بررسی ارجاعات. این رویکرد Cross-Checking دقت تشخیص را بالاتر می‌برد. - تخمین هزینه
هر مقاله به‌طور متوسط از ۰٫۱۵ تا چند دلار هزینه تحلیلی دارد که به طول مقاله و تعداد مراحل بررسی مرتبط است.
محدودیت‌ها و نقدها
-
نرخ مثبت کاذب (False Positive)
طبق گزارش Black Spatula، هنوز حدود ۱۰٪ موارد شناسایی‌شده واقعاً خطا نیستند. این موضوع نیاز به بررسی انسانی توسط متخصصان دارد که زمان و انرژی زیادی می‌طلبد. -
خطر آسیب به اعتبار پژوهشگران
شناسایی اشتباه خطا می‌تواند موجب خدشه‌دار شدن اعتبار نویسندگان شود؛ در حالی که هیچ اشتباهی در کار نبوده است. -
سرکوب یا تمرکز هدفمند
در صورتی که پروژه‌هایی نظیر YesNoError از سیستم رأی‌گیری با رمزارز استفاده کنند، ممکن است اولویت بررسی‌ها به پژوهش‌هایی داده شود که جنجالی یا موضوعات سیاسی و حساس دارند. -
کشف اشتباهات جزئی و کم‌اهمیت
بسیاری از اشتباهات گزارش‌شده ممکن است صرفاً شامل خطای نگارشی یا ارقام جزئی باشند که بر نتیجۀ کلی پژوهش تأثیری ندارند و صرفاً حجم کاری محققان را افزایش می‌دهد.
گام‌های آینده و راهکارها
-
همکاری با مجلات معتبر و نهادهای دانشگاهی
اگر ژورنال‌ها و دانشگاه‌ها از این ابزارها برای غربالگری اولیه مقالات استفاده کنند، احتمال ورود خطاهای فاحش به متون علمی کاهش می‌یابد. -
بهبود مدل‌های هوش مصنوعی
استفاده از مدل‌های تخصصی‌تر می‌تواند خطای مثبت کاذب را کاهش دهد و سرعت و دقت را در شناسایی خطا بالا ببرد. -
استفاده از متخصصان رشته‌های مختلف
هر خطا نیازمند تأیید انسانی و تخصصی در همان حوزۀ علمی است؛ بنابراین همکاری میان پژوهشگران حوزه‌های متفاوت برای اعتبارسنجی خودکار ضروری است. -
شفافیت در گزارش نتایج
اعلام عمومی میزان دقت و ساختار مدل‌های هوش مصنوعی باعث می‌شود جامعه علمی دید روشن‌تری نسبت به قابلیت‌ها و محدودیت‌های این ابزارها داشته باشد.
جمع‌بندی
ظهور ابزارهای هوش مصنوعی در زمینۀ شناسایی خطاهای پژوهشی می‌تواند نقطۀ عطفی در بهبود کیفیت مقالات علمی باشد. پروژه‌های Black Spatula و YesNoError نشان می‌دهند که این فناوری نوظهور چگونه در کمتر از چند ثانیه می‌تواند اشتباهات عمده یا حتی تقلب علمی را آشکار کند. بااین‌حال، نباید فراموش کرد که هوش مصنوعی تنها یک ابزار مکمل است و برای تأیید نهایی همچنان به تخصص انسانی نیاز داریم. اگر این ابزارها با دقت، شفافیت و همکاری گستردۀ محققان و ناشران استفاده شوند، می‌توانند سطح اعتبار تحقیقات علمی را به‌طور چشمگیری ارتقا دهند.
