كشفت دراسة حديثة نُشرت في مجلة التقارير العلمية أن أداء الباحثين البشريين أفضل من أداء نماذج اللغة الكبيرة (LLMs) في إعداد مراجعات الأدبيات المنهجية.
ما هي نماذج اللغة الآلية؟
نماذج اللغة الآلية هي أنظمة ذكاء اصطناعي متقدمة تستخدم أساليب التعلم العميق لتحليل كميات هائلة من بيانات الإدخال وتوليد لغة شبيهة باللغة البشرية. منذ إطلاق ChatGPT من OpenAI في عام 2022، اكتسبت نماذج اللغة الآلية اهتمامًا عامًا كبيرًا لقدرتها على أداء مجموعة واسعة من المهام اليومية، بما في ذلك توليد النصوص، وترجمة اللغات، وكتابة البريد الإلكتروني، وغير ذلك الكثير.
أصبحت نماذج التعلم الآلي جزءًا لا يتجزأ من قطاعات الرعاية الصحية والتعليم والبحث العلمي، وذلك لقدرتها على تفسير النصوص وإنشائها. في الواقع، أثبتت العديد من الدراسات أن نماذج التعلم الآلي، مثل GPT-4 وBERT، قادرة على أداء مجموعة واسعة من المهام الطبية، بما في ذلك شرح بيانات تسلسل الحمض النووي الريبوزي (RNA)، وتلخيص المحتوى، وكتابة التقارير الطبية.
في البحث العلمي، استُخدمت نماذج التعلم الآلي في فرز وتلخيص الأدبيات، وتحليل البيانات، وإعداد التقارير. ورغم إمكاناتها الهائلة في تسريع العمليات العلمية، فإن دمجها بشكل مسؤول في مجالات الرعاية الصحية والتعليم والبحث العلمي يتطلب تحليلاً شاملاً للتحديات المحتملة، بما في ذلك ضمان اتساق البيانات، والحد من التحيزات، والحفاظ على الشفافية في استخدامها.
تصميم الدراسة
لتوضيح مخاطر وفوائد دمج نماذج التعلم الآلي في المجالات العلمية الرئيسية، بحثت الدراسة الحالية فيما إذا كانت نماذج التعلم الآلي تتفوق على الباحثين البشريين في إجراء مراجعات منهجية للأدبيات. ولتحقيق هذه الغاية، تم استخدام ستة نماذج تعلم آلي مختلفة لإجراء عمليات البحث في الأدبيات، وفحص المقالات واختيارها، واستخراج البيانات وتحليلها، والصياغة النهائية للمراجعة المنهجية.
تمت مقارنة جميع النتائج بالمراجعة المنهجية الأصلية التي كتبها باحثون بشريون حول الموضوع نفسه. وتكررت هذه العملية مرتين لتقييم التغييرات والتحسينات التي طرأت على نماذج التعلم الآلي بمرور الوقت بين الإصدارات المختلفة.
النتائج الرئيسية وأهميتها
في المهمة الأولى التي شملت البحث في الأدبيات واختيارها، حقق برنامج LLM Gemini أفضل أداء باختياره 13 مقالة من أصل 18 مقالة علمية واردة في المراجعة المنهجية الأصلية التي أعدها باحثون بشريون. ومع ذلك، لوحظت قيود كبيرة في قدرة برامج LLM على أداء المهام الرئيسية، بما في ذلك البحث في الأدبيات، وتلخيص البيانات، وكتابة المسودة النهائية للمخطوطة.
من المرجح أن تعكس هذه القيود عدم قدرة العديد من طلاب ماجستير القانون على الوصول إلى قواعد البيانات الإلكترونية للمقالات العلمية. إضافةً إلى ذلك، قد تحتوي مجموعات بيانات التدريب المستخدمة في هذه النماذج على عدد قليل نسبيًا من المقالات البحثية الأصلية، مما يقلل من دقتها.
على الرغم من الأداء غير المرضي في المهمة الأولى، استخلصت نماذج التعلم الآلي (LLMs) العديد من المقالات المناسبة بسرعة أكبر من الباحثين البشريين. وبالتالي، يمكن الاستفادة من فعالية نماذج التعلم الآلي من حيث الوقت في الفرز الأولي للأدبيات، إلى جانب البحث المتقاطع القياسي في قواعد البيانات والمراجع الذي يقوم به الباحثون البشريون.
في المهمة الثانية لاستخراج البيانات وتحليلها، حقق برنامج LLM DeepSeek أفضل أداء، بنسبة 93% من الإجابات الصحيحة، وإجابات صحيحة تمامًا في سبع من أصل 18 مقالة أصلية. أما برامج LLM الثلاثة الأخرى، فقد كان أداؤها مُرضيًا في هذه المهمة، إذ تطلبت تعليمات مُعقدة وبطيئة، بالإضافة إلى عمليات تحميل متعددة للحصول على النتائج، مما يشير إلى انخفاض كفاءتها الزمنية مقارنةً بالعمل البشري.
في المهمة الثالثة المتعلقة بصياغة المسودة النهائية للمخطوطة، لم يحقق أي من نماذج التعلم الآلي المختبرة أداءً مرضياً. تحديداً، أنتجت هذه النماذج مقالات كاملة قصيرة وغير ملهمة، ولم تلتزم تماماً بالنموذج القياسي للمراجعة المنهجية.
أنتجت نماذج التعلم الآلي المختبرة مقالاتٍ بتنسيقٍ جيد ولغةٍ علميةٍ سليمة، مما قد يُضلل القراء غير المتخصصين. ونظرًا لأن المراجعات المنهجية والتحليلات التلوية تُعتبر المعيار الذهبي في الطب القائم على الأدلة، فإن التقييم النقدي للأبحاث المنشورة من قِبل خبراء بشريين أمرٌ ضروري لتوجيه الممارسة السريرية بفعالية.
الاستنتاجات
لا تستطيع نماذج التعلم الآلي الحديثة إنتاج مراجعة منهجية في المجال الطبي دون استراتيجيات هندسة التوجيه. ومع ذلك، تشير التحسينات الملحوظة في نماذج التعلم الآلي بين جولتين من التقييم إلى أنه مع الإشراف المناسب، يمكن لنماذج التعلم الآلي أن تقدم دعمًا قيّمًا للباحثين في جوانب معينة من عملية المراجعة. في هذا السياق، تشير الأدلة الحديثة إلى أن استراتيجيات التوجيه الموجه، مثل التوجيه الموجه بالمعرفة، يمكن أن تعزز أداء نماذج التعلم الآلي في العديد من مهام المراجعة.
تضمنت الدراسة الحالية مراجعة منهجية واحدة في المجال الطبي كمرجع للمقارنة، مما قد يحد من إمكانية تعميم هذه النتائج على مجالات علمية أخرى. لذا، ثمة حاجة إلى دراسات مستقبلية لتقييم مراجعات منهجية متعددة عبر مجالات طبية حيوية وغير طبية متنوعة لتحسين متانة النتائج وصلاحيتها الخارجية.
