اختبار حديث يكشف هلوسة نماذج اللغة في استشهادات نظام حماية البيانات السعودي

اختبار ضيق لكنه مؤثر

يركز البحث، الذي أعدته نورة سليمان الراجح بعنوان “Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR”، على سؤال محدد: عندما يُطلب من نموذج لغوي تحديد المادة القانونية التي تنظّم مسألة في حماية البيانات، هل يجيب بالمادة الصحيحة، أم يمتنع عند غياب النص، أم يختلق استشهاداً يبدو مقنعاً؟

أهمية السؤال لا تأتي من الجانب الأكاديمي وحده. ففي بيئات الأعمال، قد يتحول رقم مادة خاطئ إلى سياسة داخلية، أو مذكرة امتثال، أو نص إرشادي للموظفين. المشكلة أن الاستشهاد القانوني يمنح الإجابة مظهراً من الدقة، حتى عندما يكون مضمونها غير صحيح. لذلك عالج البحث الاستشهادات بوصفها نقطة فشل عملية في استخدام النماذج اللغوية داخل الأعمال المنظمة.

المقارنة بين السعودية وأوروبا

بنى البحث معياراً ثنائي اللغة من 120 سؤالاً يغطي نظام حماية البيانات الشخصية السعودي واللائحة العامة لحماية البيانات الأوروبية GDPR. صيغت الأسئلة بالعربية والإنجليزية، وشملت أسئلة استرجاع مباشرة للمادة، وأسئلة تحقق من فرضيات صحيحة أو خاطئة، وأسئلة فخ لا توجد لها مادة قانونية صحيحة.

النتيجة المركزية أن الخلل لم يكن مرتبطاً بلغة السؤال بقدر ارتباطه بالولاية القانونية نفسها. النماذج الثلاثة المختبرة، وهي Gemini 2.5 Flash وGPT-OSS-120B وNemotron-3-Super-120B، أظهرت أداء شبه كامل في الاستشهادات المباشرة المتعلقة بـGDPR، لكنها أخفقت بدرجة كبيرة عند التعامل مع النظام السعودي. وتشير الورقة إلى أن نسبة التلفيق في الاستشهادات المباشرة المتعلقة بالنظام السعودي تراوحت بين 60 و77%، بينما بلغت دقة الاستشهادات المباشرة في GDPR بين 94 و100%.

هذا الفارق مهم للشركات العاملة في السعودية لأنه يعني أن استخدام الإنجليزية بدلاً من العربية لا يعالج المشكلة. بحسب البحث، مصدر المخاطرة هو تمثيل النص القانوني السعودي وتحديثاته في معرفة النموذج، وليس مجرد ضعف في معالجة اللغة العربية.

أين تظهر الهلوسة؟

صمم البحث أسئلة تكشف أخطاء شائعة في البيئات القانونية متعددة المستويات، مثل الخلط بين النظام ولائحته التنفيذية، أو التعامل مع مادة ملغاة كما لو كانت نافذة. ومن أبرز الأمثلة التي ناقشتها الورقة أسئلة عن مواعيد توجد في اللوائح التنفيذية لا في نص النظام ذاته، مثل نافذة الإبلاغ خلال 72 ساعة. في هذه الحالات، كان الجواب الصحيح هو عدم وجود مادة في النظام تحدد ذلك، لكن النماذج كثيراً ما ربطت الموعد بمادة نظامية خاطئة.

كما اختبر البحث التعامل مع المادة 32 من نظام حماية البيانات الشخصية بعد إلغائها بتعديل لاحق. أي إجابة تنسب مضموناً قانونياً قائماً إلى هذه المادة تعد تلفيقاً قابلاً للقياس. هذه النقطة تهم المؤسسات لأن الامتثال لا يعتمد على وجود نص فقط، بل على معرفة مستواه النظامي وحالته الحالية بعد التعديل أو الإلغاء.

الثقة ليست ضمانة

من أخطر ما خلص إليه البحث أن الثقة المعلنة من النموذج لا تصلح كحاجز أمان. فقد ذكرت الورقة أن 91% من الاستشهادات الملفقة جاءت مصحوبة بثقة لا تقل عن 0.8. بعبارة عملية، قد تبدو الإجابة الخاطئة حاسمة بما يكفي كي تمر في سير عمل داخلي غير مضبوط.

لذلك لا يكفي أن تطلب فرق الامتثال من النموذج “أن يكون دقيقاً” أو “ألا يخمن”. الدراسة أوضحت أن بروتوكول الاختبار منح النماذج خياراً صريحاً للإجابة بعدم وجود مادة أو بعدم اليقين، ومع ذلك ظهرت الاستشهادات المختلقة. هذا يجعل المراجعة الآلية أو البشرية للنصوص الرسمية شرطاً قبل الاعتماد على أي مخرج قانوني مولد بالذكاء الاصطناعي.