قد تبدو العنونة الدلالية العميقة (Deep Semantic Annotation) عملًا تقنيًّا محدودًا: نصوص، وقائمة تصنيفات، وخانات يضع فيها المعنون (Annotator) الوسم المناسب. لكن ما يحدث في الحقيقة أبعد من ملء الجداول؛ إذ يتحول فهم بشري قابل للصواب والخطأ إلى بيانات مرجعية تتعلم منها الآلة، وتُختبر بها النماذج، وتُبنى عليها المعاجم، وتُستخرج منها نتائج قد تكتسب لاحقًا سلطة الحقيقة العلمية.

لهذا تعد العنونة الدلالية من أخطر مراحل بناء الموارد اللغوية (Language Resources). فالخطأ فيها لا يبقى رأيًا فرديًّا، بل يُثبَّت داخل البيانات، ويُكرَّر آليًّا، وقد يصبح معيارًا يُحكم به على إجابات أخرى أكثر صحة منه.

ومن هنا تبرز ضرورة ألا يقوم بالعنونة الدلالية العميقة، ولا سيما في مستوياتها المرجعية والتحكيمية، إلا خبراء أمضوا في دراسة المعنى وتحليل السياق وتصنيف الدلالات عملًا متواصلًا يتراوح بين خمسة عشر عامًا وعشرين عامًا.

هذا الشرط لا يستند إلى ادعاء أن الخبير يصبح مؤهلًا في يوم معين من عامه الخامس عشر، أو العشرين، بل إلى مبدأ أكثر بساطة: كلما زاد أثر القرار، وجب أن تزيد خبرة من يتخذه.

المعنى ليس معلومة ظاهرة في النص

تختلف العنونة الدلالية عن المهام التي تتعلق بظواهر يمكن ملاحظتها مباشرة. فالمعنون لا يجد معنى الكلمة مكتوبًا بجوارها، ولا يستخرجه كما يستخرج رقمًا، أو اسمًا، أو تاريخًا. إنه يبني حكمًا دلاليًّا (Semantic Judgment) بالاستناد إلى السياق، وإلى علاقات الكلمات، وإلى المجال المعرفي، وإلى مقصد المتكلم، وإلى ما استقر في خبرته من استعمالات سابقة.

وقد يكون اللفظ محتملًا لمعنيين، وقد يكون المعنى واقعًا بين فئتين، وقد يكون الاستعمال مجازيًّا، أو اصطلاحيًّا، أو ناشئًا عن تخصص بعينه. وقد تختلف دلالة الكلمة باختلاف النص القانوني، أو الطبي، أو الأدبي، أو الصحفي، مع بقاء قدر من الصلة بين الاستعمالات.

هنا تظهر ظواهر الغموض الدلالي (Semantic Ambiguity)، وتعدد المعنى (Polysemy)، وتدرج المعنى (Semantic Gradience)، والدلالة المقيدة بالمجال (Domain-Specific Meaning). وهذه الظواهر لا تُحل باختيار التعريف الأقرب في الظاهر، بل تحتاج إلى تحديد المعيار الذي يفصل بين معنى وآخر، ثم اختبار إمكان تطبيقه على جميع السياقات المشابهة.

قد يختار المبتدئ جوابًا صحيحًا في مثال واحد، لكن الخبير يسأل: هل يبقى هذا الجواب صحيحًا إذا تغير الفاعل، أو المجال، أو نوع النص، أو امتد السياق إلى جملة سابقة أو لاحقة؟

أخطر الأخطاء ما يبدو منظمًا

تخشى مشروعات العنونة عادةً من الأخطاء العشوائية: أن يضغط المعنون على خانة غير مقصودة، أو يسيء قراءة جملة، أو يخالف قاعدة واضحة. لكن هذه الأخطاء هي الأقل خطرًا؛ لأنها تظهر في المراجعة، ويمكن تصحيحها.

أما الخطر الحقيقي فهو الخطأ المنهجي (Systematic Error): أن يفهم الفريق فئة دلالية فهمًا ناقصًا، ثم يطبق هذا الفهم باتساق على آلاف السياقات.

عندئذ قد ترتفع نسبة اتفاق المعنونين (Inter-Annotator Agreement)، وقد تبدو الجداول نظيفة، وقد تنجح اختبارات الاتساق، مع أن المورد كله مبني على تصور مضطرب. فالاتفاق يثبت أن الأشخاص يكررون القرار نفسه، لكنه لا يثبت أن القرار صحيح.

وقد نبهت دراسات نمذجة العنونة إلى أن ارتفاع الاتفاق وحده ليس شرطًا كافيًا لضمان جودة الوسوم المرجعية؛ لأنه يقيس الاتساق بين المعنونين أكثر مما يقيس صحة الحكم نفسه (1).

ولهذا ينبغي التمييز بين اتساق البيانات (Data Consistency)، والصدق الدلالي (Semantic Validity). الأول يمكن قياسه إحصائيًّا، أما الثاني فيحتاج إلى معرفة لغوية عميقة، وإلى قدرة على نقد نظام التصنيف نفسه.

المعنون قليل الخبرة يسأل غالبًا: «ما الوسم الذي تنطبق عليه القاعدة؟». أما الخبير فيسأل أيضًا: «هل القاعدة نفسها صحيحة؟».

أدلة العنونة لا تحتوي اللغة كلها

تلجأ المشروعات إلى إعداد دليل العنونة (Annotation Guidelines) من أجل تعريف الفئات، وشرح الفروق، وتقديم الأمثلة، وتوحيد القرارات. ولا يمكن تنفيذ مشروع جاد من دون هذا الدليل، لكنه لا يستطيع أن يحل محل الخبرة.

فاللغة ستنتج دائمًا حالة لم يتنبأ بها واضعو الدليل: استعمالًا مستحدثًا، أو مجازًا لم يستقر، أو تركيبًا يؤدي معنى لا يساوي مجموع كلماته، أو مثالًا يناسب فئتين بدرجات متقاربة. وقد تكون المشكلة في المثال، أو في تعريف الفئة، أو في مخزون المعاني (Sense Inventory)، أو في الافتراض النظري الذي بُني عليه المشروع كله.

وقد بينت بحوث كشف عدم الاتساق أن التناقضات موجودة في المدونات المعنونة يدويًّا، وأن اكتشافها لا يساعد على تصحيح الوسوم فحسب، بل قد يكشف أيضًا قصورًا في إجراءات العنونة وفي الأدلة الإرشادية نفسها (2).

الخبير، إذن، لا يطبق الدليل فقط؛ بل يراقب ما إذا كان الدليل قادرًا على تفسير البيانات التي صُمم من أجلها. وهو يعرف متى ينبغي توضيح قاعدة، ومتى ينبغي دمج فئتين، ومتى يكون الفصل بينهما ضروريًّا، ومتى يكون إنشاء معنى جديد مجرد تضخيم وهمي لعدد المعاني.

هذه القدرة لا تنشأ من حفظ الدليل، بل من المعرفة الضمنية (Tacit Knowledge) التي تتراكم عبر سنوات طويلة من المقارنة والمراجعة والتحكيم.

عندما يصبح الوسم حقيقة مرجعية

بعد اعتماد العنونة، تتحول البيانات في كثير من المشروعات إلى معيار ذهبي (Gold Standard). ويستخدم هذا المعيار في تدريب النماذج (Model Training)، وفي تقييمها، وفي مقارنة نظام بآخر، وفي تحديد ما إذا كانت إجابة الآلة صحيحة أو خاطئة.

وهنا تتضاعف خطورة القرار.

إذا دمج المعنون معنيين مختلفين، فقد تتعلم الآلة تجاهل الفرق بينهما. وإذا قسم معنى واحدًا إلى فئات لا يسندها الاستعمال، فقد تتعلم الآلة فروقًا مصطنعة. وإذا تغير فهم الفريق للفئة في منتصف العمل من غير مراجعة المراحل السابقة، ظهر انحراف الوسوم (Label Drift)، فصارت الأجزاء الأولى من البيانات محكومة بمعيار، والأجزاء الأخيرة محكومة بمعيار آخر.

وقد أثبتت دراسات كشف التناقضات في العنونة الدلالية أن المدونات اليدوية لا تخلو من عدم الاتساق، وأن تصحيح هذه المشكلات يرفع جودة البيانات الناتجة (2). كما تشير أعمال أخرى إلى أن أخطاء المدونات المعنونة قد تؤثر تأثيرًا مباشرًا في جودة المصنفات التي تتدرب عليها، وفي صدق المقارنات بين الأنظمة.

ولا تقتصر المشكلة على دقة نموذج واحد؛ فالبيانات المرجعية قد يعاد استخدامها في عشرات الدراسات، وقد تنتقل أخطاؤها من مشروع إلى آخر، ثم تتحول بكثرة التكرار إلى افتراض مستقر لا يعود أحد إلى فحص أصله.

وهكذا لا يصف المعنون اللغة فقط، بل يشارك في صنع الصورة التي ستراها بها الآلة.

الخبرة تظهر حين تتعقد الدلالة

لا تؤثر الخبرة بالدرجة نفسها في جميع مهام العنونة. وقد يستطيع غير المتخصص أداء بعض المهام المحددة إذا كانت الفئات واضحة، وكان التدريب مكثفًا، وكانت الحالات الخلافية تُحال إلى خبراء.

لكن الصورة تختلف في تمييز معاني الكلمات (Word-Sense Disambiguation). فقد وجدت دراسة تحليلية واسعة أن متوسط الاتفاق بين الخبراء في هذه المهمة بلغ 88 في المئة، في مقابل 73 في المئة بين غير الخبراء. ورأى الباحثان أن تكلفة الاستعانة بالخبراء تصبح مبررة عندما تكون الحاجة إلى عنونة عالية الجودة (3).

ولا تعني هذه النتيجة أن الخبير لا يخطئ، ولا أن المبتدئ لا يصيب. لكنها تكشف أن الخبرة تصبح أكثر أهمية كلما ابتعدت المهمة عن الظواهر الظاهرة، واقتربت من تفسير المعنى.

وتؤكد ممارسات بعض المشروعات الدلالية الكبرى المبدأ نفسه؛ فقد اعتمد مشروع بنك القضايا (PropBank) على بناء أطر للأدوار مرتبطة بالمعاني المختلفة للأفعال، وعلى التصحيح اليدوي للمخرجات الآلية، وعلى عنونتين مستقلتين لكل حالة، ثم على تحكيم الخلافات ومراجعة اتساق الأطر بواسطة فريق من اللغويين المدربين تدريبًا عاليًا (4). وفي مشروعات أخرى كان كل مثال يعنونه شخصان مستقلان على الأقل، ثم يحسم الخبراء مواضع الاختلاف (5).

فالخبرة لا تلغي العمل الجماعي، لكنها تمنع أن تتحول الأغلبية العددية إلى بديل من الحكم العلمي.

لماذا من خمسة عشر إلى عشرين عامًا؟

لا تقدم الدراسات المتاحة رقمًا تجريبيًّا يثبت أن الخبرة اللازمة هي خمسة عشر عامًا أو عشرون عامًا بالضبط. لذلك ينبغي تقديم هذه المدة بوصفها معيارًا مهنيًّا احترازيًّا، لا بوصفها قانونًا علميًّا ثابتًا.

لكن اختيار هذه المدة ليس اعتباطيًّا. فالعنونة الدلالية العميقة تحتاج إلى ما لا توفره الدورات القصيرة، ولا المشروعات المحدودة: تحتاج إلى رؤية النظام وهو يُبنى، ويُختبر، ويفشل، ويُراجع. وتحتاج إلى التعامل مع نصوص مختلفة، ومجالات مختلفة، ومراحل تاريخية مختلفة، وأنواع متعددة من الغموض والحالات الحدية (Borderline Cases).

ويحتاج الخبير إلى أن يرى قرارات كان يظنها صحيحة ثم كشفت البيانات قصورها، وأن يراجع أعمال غيره، وأن يدافع عن أحكامه أمام اعتراضات علمية، وأن يتعلم متى يكون الخلاف راجعًا إلى النص، ومتى يكون راجعًا إلى التصنيف، ومتى يكون راجعًا إلى تصورات المعنون نفسه.

ومع ذلك، لا تكفي السنوات وحدها. فالمقصود خمسة عشر عامًا أو عشرون عامًا من العمل المتواصل فعلًا في الدلالة، أو صناعة المعاجم، أو تحليل السياق، أو بناء الموارد الدلالية، أو مراجعتها. وليس المقصود مرور المدة على شخص يشغل وظيفة لغوية بعيدة عن هذه الأعمال، أو يكرر خلالها المهمة نفسها من غير مراجعة أو تطور.

الزمن لا يصنع الخبير وحده، لكن الخبرة العميقة لا تنضج عادةً من دون زمن.

التنفيذ يمكن توزيعه، أما المسؤولية فلا

لا يعني اشتراط الخبرة أن يعمل خبير واحد منفردًا على ملايين السياقات، ولا أن يُستبعد الباحثون الأصغر سنًّا أو خبرة. يمكن توزيع مراحل من العمل على فريق مدرب، ويمكن للباحثين الجدد معالجة الحالات المستقرة، وتسجيل مواضع الشك، واختبار دليل العنونة، واكتشاف التناقضات.

لكن لا ينبغي أن تتساوى سلطة الجميع في تصميم منظومة المعاني، أو اعتماد الفروق، أو حسم الحالات الخلافية، أو إقرار النسخة النهائية.

ينبغي أن تخضع هذه المراحل للتحكيم الدلالي (Semantic Adjudication) الذي يجريه خبراء طويلو الممارسة، وأن يوثقوا أسباب قراراتهم، وأن يراجعوا أثر كل تعديل في البيانات السابقة، وأن يختبروا استقرار الفئات عبر النصوص والمجالات.

فالفرق كبير بين شخص يستطيع تطبيق تصنيف قائم، وشخص يستطيع معرفة أن التصنيف نفسه يحتاج إلى التغيير.

المعنى لا يصلح لخطوط الإنتاج

تقيس بعض المشروعات نجاح العنونة بعدد الكلمات المنجزة في اليوم، وبتكلفة الوسم، وبسرعة المعنون. وهذه مؤشرات إدارية مفيدة، لكنها تصبح خطرة عندما تطغى على ضمان الجودة (Quality Assurance).

فقد يكون توقف الخبير أمام مثال واحد أهم من عنونة مئات الأمثلة؛ لأن هذا المثال قد يكشف تداخلًا بين فئتين، أو نقصًا في مخزون المعاني، أو قاعدة مضللة ستتكرر بعد ذلك آلاف المرات.

الخبير لا يعطل المشروع عندما يتوقف؛ بل يمنعه من السير بسرعة في اتجاه خاطئ.

ولهذا لا تعد المطالبة بخبرة تتراوح بين خمسة عشر عامًا وعشرين عامًا مبالغة في تعظيم الأقدمية، بل اعترافًا بحجم السلطة التي تمنح لمن يضع الوسم الدلالي. فهو لا يقرر كيف نفهم نصًّا واحدًا فقط، بل يضع الحدود التي قد تتعلم من خلالها أنظمة معالجة اللغة الطبيعية (Natural Language Processing) والذكاء الاصطناعي (Artificial Intelligence) كيف تفهم آلاف النصوص الأخرى.

وفي العنونة الدلالية العميقة، لا يكفي أن نسأل: هل يستطيع الشخص اختيار وسم؟

السؤال الأهم هو: هل يمتلك من الخبرة ما يجعله يدرك متى يكون الوسم المتاح نفسه هو مصدر الخطأ؟

المصادر

(1) Passonneau, Rebecca J., and Bob Carpenter. “The Benefits of a Model of Annotation.” Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, 2013, pp. 187–195. رابط الدراسة

(2) Hollenstein, Nora, Nathan Schneider, and Bonnie Webber. “Inconsistency Detection in Semantic Annotation.” Proceedings of the Tenth International Conference on Language Resources and Evaluation, 2016, pp. 3986–3990. رابط الدراسة

(3) Bayerl, Petra Saskia, and Karsten Ingmar Paul. “What Determines Inter-Coder Agreement in Manual Annotations? A Meta-Analytic Investigation.” Computational Linguistics, vol. 37, no. 4, 2011, pp. 699–725. رابط الدراسة

(4) Palmer, Martha, Daniel Gildea, and Paul Kingsbury. “The Proposition Bank: An Annotated Corpus of Semantic Roles.” Computational Linguistics, vol. 31, no. 1, 2005, pp. 71–106. رابط الدراسة

(5) Hwang, Jena D., et al. “Double Trouble: The Problem of Construal in Semantic Annotation of Adpositions.” Proceedings of the 6th Joint Conference on Lexical and Computational Semantics, 2017, pp. 178–188. رابط الدراسة