توسط : اخیرا مقاله‌ای در PLoS Biology منتشر شد که با بررسی بیش از ۳۰۰ مطالعه مبتنی بر داده‌های NHANES نشان داد پژوهش‌های بیومدیکال در حال غرق شدن در حجم انبوهی از مقالات کم‌کیفیت هستند. این مقالات که اغلب الگوی تکراری و فرمولیک دارند، با استفاده از ابزارهای هوش مصنوعی و دسترسی آزاد به داده‌های سلامت عمومی، ادعاهای گمراه‌کننده‌ای ارائه می‌دهند. پژوهشگران هشدار می‌دهند این روند نه‌تنها اعتبار داده‌های ارزشمند NHANES را خدشه‌دار می‌کند، بلکه خوانندگان و متخصصان حوزه سلامت را از مسیر یافته‌های واقعی منحرف می‌سازد.
چرا NHANES هدف جذابی برای تولید مقالات کم‌کیفیت است؟
مجموعه داده‌های US National Health and Nutrition Examination Survey یا NHANES به دلیل رایگان و آماده‌تحلیل بودن، به سرعت به گزینه‌ای مطلوب برای بسیاری از پژوهشگران از جمله کسانی تبدیل شده که فقط به دنبال انتشار زیاد مقالات هستند. با هزاران متغیر مختلف از وضعیت سلامت تا رژیم غذایی و سبک زندگی شرکت‌کنندگان، امکان آزمون رابطه یک متغیر ساده (مثلا سطح ویتامین D یا نشانگرهای التهابی) با یک بیماری پیچیده فراهم می‌شود. این سادگی و دسترسی بی‌دردسر باعث شده تا برخی تنها یک همبستگی سطحی را گزارش کنند و عوامل مخدوش‌کننده و طراحی مطالعه اصولی را نادیده بگیرند.
آسیب‌های استفاده نامناسب از هوش مصنوعی در تحقیقات پزشکی
از زمان ظهور مدل‌های زبان بزرگ، رشد سرسام‌آور ابزارهای هوش مصنوعی این امکان را به پژوهشگران داده تا در زمان کوتاهی الگوهای همبستگی بسازند. اما بررسی ۲۸ مقاله درباره افسردگی نشان داد که پس از اعمال اصلاحات آماری مناسب، فقط نیمی از این مطالعات هنوز معنادار باقی می‌مانند. بسیاری از مقاله‌ها به‌صورت هدفمند داده‌های نامطلوب را حذف کرده یا سال‌های خاصی را انتخاب کرده‌اند تا به نتایج مثبت برسند؛ مساله‌ای که با اصطلاح «Cherry-Picking» شناخته می‌شود و اعتبار یافته‌ها را کاملا زیر سوال می‌برد.
چه اتفاقی از سال ۲۰۲۲ افتاد؟
با همه‌گیر شدن مدل‌های پیشرفته هوش مصنوعی در سال ۲۰۲۲، نرخ انتشار مقاله‌های مبتنی بر NHANES به‌طور مشهودی افزایش یافت. در سال ۲۰۲۴ بیش از نیمی از ۳۴۱ مطالعه بررسی‌شده منتشر شده‌اند و این اتفاق هم‌زمان با عمومی شدن ابزارهای LLM بود. به این ترتیب، دوره اخیر تبدیل به دوره‌ای شده که مقالاتی با کیفیت پایین، اما تعداد بالا، فضای علمی را اشباع کرده و رقبای جدی برای تحقیقات دقیق و معتبر ایجاد می‌کنند.
راهکارهایی برای بازگرداندن اعتبار به تحقیقات NHANES
برای مقابله با این بحران، ثبت پیش‌طرح تحقیق (Pre-registration) پیش از دسترسی به داده‌ها ضروری است تا پژوهشگران ملزم شوند سوال‌ها و روش‌شناسی پژوهش خود را از ابتدا شفاف کنند. علاوه بر این، انتشار کدهای تحلیل و توضیح کامل معیارهای انتخاب یا حذف داده‌ها می‌تواند امکان بازتولید نتایج را فراهم سازد. مجلات علمی نیز باید فرآیند داوری را با بررسی دقیق‌تر روش‌های آماری و پوشش کامل داده‌های NHANES سخت‌گیرانه‌تر کنند. در نهایت، آموزش اصول صحیح آماری و آگاهی از خطرات Overfitting و Multiple testing برای پژوهشگران ضروری است تا از انتشار نتایج گمراه‌کننده جلوگیری شود.
چگونه معتبرترین تحقیقات بیومدیکال را تشخیص دهیم؟
برای یافتن پژوهش‌های معتبر، ابتدا به دنبال مقالات Preregistered باشید که در پایگاه‌هایی مثل ClinicalTrials.gov یا OSF ثبت شده‌اند. سپس بررسی کنید آیا کد تحلیل و داده‌های استفاده‌شده به‌صورت شفاف منتشر شده‌اند یا خیر. همچنین توجه کنید که مدل آماری مقاله چندین متغیر مخدوش‌کننده را کنترل کرده باشد. مرور سیستماتیک و متاآنالیزهای مستقل نیز ابزاری مناسب برای سنجش کیفیت و پایایی یافته‌های یک حوزه خاص است.
