في السنوات الأخيرة غدت المؤشرات المعيارية أداة أساسية لتقييم النماذج اللغوية الكبرى (LLMs)، من خلال اختبارات منظمة تقيس أداء النموذج في مهام متعددة.
لكن مع تسارع وتيرة تطوير النماذج، وتنوع اللغات والسياقات وصياغات الأوامر، ظهرت بشكل واضح محدودية هذه المؤشرات، وبرزت الحاجة إلى مراجعة عميقة وشاملة لها.
مكامن القصور في المؤشرات الثابتة:

1) التقادم السريع (Rapid Obsolescence):
تُظهر النماذج أداءً متفاوتًا بعد كل تحديث، حتى لو كان طفيفًا، مما يجعل نتائج المؤشرات غير مستقرة بمرور الوقت. وقد أصبح من الصعب الاعتماد على نتائج مؤشّر واحد لتحديد أداء نموذج لغوي بدقة على المدى القصير أو الطويل.

2) تجاهل تحوّلات الواقع (Distribution Shift Ignorance):
تختبر كثير من المؤشرات النماذجَ في سيناريوهات مثالية (idealized scenarios)، وتتجاهل تنوع الواقع مثل:
– تغير الأسلوب (Style variation)
– الأخطاء الإملائية والتشويش (Typos and noise)
– اللهجات والاختلافات المحلية (Dialects)
– إعادة الصياغة (Paraphrasing)

3) التحسين الاصطناعي للمؤشرات (Benchmark Overfitting):
تُدرّب بعض النماذج جزئيا أو كليا على بيانات المؤشرات المنتشرة، وهو ما يُعرف في الأدبيات بـ “تلوث مجموعة البيانات” (Dataset Contamination)؛ الأمر الذي يؤدي إلى رفع نتائج المؤشر دون أن يكون ذلك دالا على كفاءة حقيقية في السياقات الجديدة أو العملية.

4) غياب مؤشرات الثبات التحليلي (Lack of Robustness Signals):
قد لا تكون الفروقات الصغيرة بين النماذج في نتائج المؤشر – مثل 1% أو 2% – ذات دلالة إحصائية أو عملية؛ وبخاصة إذا لم يصاحبها تحليل لتوزيع الإجابات، ومدى اتساقها مع التقييم البشري (Human Alignment Consistency).
لقد دعت أبحاث حديثة إلى التخلي عن المؤشرات الثابتة (Static Benchmarks)، والاتجاه نحو التقييم الديناميكي (Dynamic Evaluation)؛ حيث تُبنى البيانات وتُختبر النماذج في الوقت الحقيقي، فضلا عن مشاركة الإنسان في عملية إنشاء الأمثلة والتقييم، وهو ما يعرف بـ human-and-model-in-the-loop evaluation.
وعلى الرغم من كون المؤشرات المعيارية أداة مهمة؛ فإنه ينبغي ألا نعتبرها نهاية المطاف في تقييم النماذج؛ بل علينا مواكبة التقدم الحادث في نماذج اللغة على مستوى طرائق التقييم.