جذر واحد وكلمات كثيرة
كيف يبحث بيان في النص القانوني العربي حين تتعدد صور الكلمة الواحدة.
[التاريخ] · [الكاتب] · قراءة في 6 دقائق
ابحث في القانون المدني عن «التعويض الاتفاقي» بحثًا حرفيًا، وقد لا تجد المادة 224. السبب ليس في القانون بل في الكتابة: كثير من النصوص المنشورة يكتب الكلمة «الاتفاقى» بالألف المقصورة، ويكتب «القاضى» لا «القاضي». حرف واحد يكفي ليُسقط البحثُ الحرفيُّ أهمَّ مادة في الموضوع.
العربية تبني الكلمات من جذور
تُبنى الكلمة العربية من جذر وأوزان. من الجذر «ع ق د» تأتي: عقد، وتعاقد، ومتعاقد، ومعقود، وانعقاد، والعاقد. ثم تلتصق بالكلمة حروف وضمائر: «وبعقده» كلمة واحدة في الكتابة، فيها واو وباء وعقد وهاء. فالبحث الذي يطابق الحروف كما هي إما أن يفوته «وبعقده»، وإما أن يجمع كل ما يحمل الحروف نفسها دون تمييز.
وتتعدد صور كتابة الكلمة الواحدة
- الياء في آخر الكلمة تُكتب في نصوص كثيرة ألفًا مقصورة: «القاضى» و«القاضي».
- الهمزة تتبدل صورها: «مسئولية» كما في نص القانون المدني، و«مسؤولية» كما يكتبها كثيرون اليوم.
- التاء المربوطة قد تظهر هاءً في النصوص المنقولة آليًا: «المادة» و«الماده».
- التشكيل يظهر أحيانًا ويغيب غالبًا، وقد تمتد الحروف بالتطويل: «القانـون».
القاضي حين يقرأ يرى الكلمة نفسها. والحاسوب يرى سلاسل حروف مختلفة.
لماذا يخطئ النموذج العام هنا
النموذج اللغوي لا يقرأ الحروف كما نقرؤها. يقطّع النص أولًا إلى وحدات صغيرة تُسمّى الرموز (tokens)، ثم يتعامل مع الرموز. والمقطِّع في أغلب النماذج العامة بُني في الأساس على نصوص إنجليزية، فيقطّع العربية إلى قطع أكثر. وقد وجد باحثون من جامعة أكسفورد سنة 2023 أن مقطِّعًا تستخدمه نماذج واسعة الانتشار يحتاج إلى نحو ثلاثة أضعاف عدد الرموز ليكتب بالعربية النص نفسه الذي يكتبه بالإنجليزية. فتصير «القاضى» و«القاضي» عنده سلسلتين مختلفتين من الرموز، رأى إحداهما أكثر بكثير من الأخرى. وحين يقتبس النموذج نصًا يميل إلى الصورة التي رآها أكثر، فقد «يصحح» نص المادة، فيخرج الاقتباس سلسًا ولا يطابق النص المنشور. هذا أصل المشكلة: النموذج يختار الشكل الأرجح، لا الشكل المنشور.
كيف يبحث بيان
[يؤكد شريف كل خطوة قبل النشر.]
- يوحّد صور الكتابة عند الفهرسة وعند البحث: الياء والألف المقصورة، وصور الهمزة، والتاء المربوطة، والتشكيل، والتطويل. فيجد «التعويض الاتفاقي» في نص يكتبه «الاتفاقى».
- يفصل الحروف الملتصقة ويرد الكلمة إلى أصلها، فيجد «وبعقده» حين تبحث عن «العقد»، ولا يخلط بين كلمتين متقاربتين بحكمين مختلفين كالفسخ والانفساخ، وهذا موضوع مقال مستقل.
- يبحث بالمعنى إلى جانب اللفظ، فيجد المادة التي تحكم سؤالك ولو لم تتطابق كلماتها مع كلماتك.
- يقتبس دائمًا من النص الأصلي بصورته المنشورة، لا من الصورة الموحّدة التي استخدمها في البحث. التوحيد أداة للعثور على النص، لا لتغييره.
ما يعنيه ذلك لك
اكتب سؤالك كما تكتب عادة، بالهمزة والياء اللتين تعرفهما. وحين ترى المادة في بيان فهي كما نُشرت، بحروفها.
المراجع. Petrov وآخرون، «Language Model Tokenizers Introduce Unfairness Between Languages»، NeurIPS 2023.