كيف تختبر OCR عربيًا باستخدام عينة من وثائق مؤسستك؟

هل نتائج OCR لدى هذا المورد صالحة لأرشيفك؟ هذا قرار مدير الأرشيف ومدير مشروع الأرشفة، قبل توقيع العقد أو قبل اعتماد المرحلة الأولى من الرقمنة. وهذا الدليل لا يشرح ما هو OCR، فذلك في شرح التعرف الضوئي على الحروف وكيف يحوّل الصور إلى نص، بل يعطيك طريقة اختبار تستطيع تنفيذها في أسبوع عمل مع فريقك، وتخرج منها بأرقام تخصك.

لماذا لا تكفي صفحات العرض التوضيحي؟

في معظم العروض التوضيحية يرفع المورد خطابًا مطبوعًا حديثًا بخط واضح على ورق أبيض، فيظهر النص كاملًا تقريبًا، ويخرج الجميع مطمئنين. المشكلة أن أرشيفك لا يشبه هذه الصفحة. فيه على الأرجح:

• خطابات صادرة قبل خمس عشرة سنة بخط طابعة نقطية أو بنسخ مصوّرة عن نسخ مصوّرة.
• أختام وتواقيع وتأشيرات بخط اليد فوق النص المطبوع.
• فواتير حرارية بهت حبرها، وجداول كثيفة بخط صغير.
• صفحات تجمع العربية والإنجليزية والأرقام في السطر نفسه، مثل عقود التوريد وبيانات الشحن.
• صفحات صُوّرت بالجوال في موقع المشروع، مائلة أو بظلال.

أداء أي محرك OCR يتغير كثيرًا بين هذه الحالات، بل بين صفحتين من الملف نفسه. لذلك لا يوجد رقم دقة واحد صالح لكل أرشيف. الرقم الوحيد المفيد لك هو الرقم الذي تقيسه على عينتك.

بناء العينة: التنويع أهم من الحجم

العينة الجيدة تمثل ما سيدخل النظام فعلًا، لا أفضل ما لديك. ابنها بطريقة الطبقات: قسّم أرشيفك إلى مجموعات بحسب الخصائص التي تؤثر في OCR، ثم خذ من كل مجموعة عددًا من الصفحات. وإن كنت ستقيّم معه التصنيف والاستخراج والبحث الدلالي، فلا تبنِ عينة لكل قدرة: ابنِ مجموعة واحدة موسومة كما في بناء مجموعة اختبار لوثائق عربية وإنجليزية مختلطة، واستعمل صفحاتها الممسوحة لاختبار OCR الموصوف هنا.

الأبعاد التي تُقسَّم عليها العينة

• نوع الوثيقة: خطابات، عقود، فواتير، نماذج معبأة، تقارير فنية، محاضر.
• الفترة الزمنية: وثائق حديثة، ووثائق من منتصف العمر، وأقدم ما ستُرقمنه.
• الجودة الظاهرة: جيدة، ومتوسطة، وضعيفة (باهتة، مائلة، عليها أختام كثيفة).
• مصدر الصورة: ماسح مكتبي، ماسح إنتاجي لدى مزود مسح، تصوير جوال، ملفات PDF ممسوحة قديمة موجودة لديك.
• اللغة: عربية فقط، عربية مع إنجليزية، إنجليزية فقط.

لا تحتاج كل التوافيق الممكنة. اختر المجموعات التي تمثل حجمًا كبيرًا من أرشيفك أو قيمة عالية فيه. مجموعة صغيرة الحجم لكنها حرجة، مثل العقود الموقعة، تستحق مكانًا في العينة حتى لو كانت نسبتها من الأرشيف قليلة.

المجموع هنا 170 صفحة، وهو حجم يستطيع فريق صغير التعامل معه. الأعداد اقتراح عملي لا معيار إحصائي. إن كان في أرشيفك نوع غالب، مثل ملفات موظفين تشكل نصف الأرشيف، فزِد حصته.

قواعد التطبيع العربي: قرر قبل أن تقيس

أكثر ما يربك قياس OCR العربي أن النص الصحيح نفسه يُكتب بأكثر من شكل. إذا لم تتفق مسبقًا على ما يُعد خطأ، ستجد نفسك تناقش كل صفحة. حدد القواعد التالية كتابيًا قبل التشغيل:

• الهمزات: هل «أحمد» و«احمد» متطابقتان في القياس؟ للبحث غالبًا نعم، لأن محرك البحث الجيد يطبّع الألف. للنسخ الحرفي قد تريد التمييز.
• التاء المربوطة والهاء، والياء والألف المقصورة: «مدرسة» و«مدرسه»، «على» و«علي». قرر كيف تُعامل.
• التشكيل والتطويل: احذفهما من المقارنة في الغالب، إلا في وثائق يكون التشكيل فيها جزءًا من المعنى.
• الأرقام: «١٤٤٥» و«1445» رقم واحد. قرر هل يُطبَّع أحدهما إلى الآخر في البحث والقياس.
• المسافات: الكلمات الملتصقة («عبدالله» و«عبد الله») والمنفصلة خطأً. هذه تؤثر في البحث أكثر من أي خطأ حرفي.
• ما لا يُقاس: الأختام والتواقيع والتأشيرات بخط اليد تُستبعد من مقارنة النص المطبوع، وتُقاس في اختبار مستقل إن كانت مهمة لك.

هذه القواعد لا تخص القياس وحده. اسأل المورد في العرض: هل يطبّع البحث في النظام هذه الفروق تلقائيًا؟ نتيجة OCR متوسطة مع بحث يطبّع الهمزات والأرقام قد تعطي المستخدم تجربة أفضل من نتيجة أدق مع بحث حرفي صارم.

طريقتان للقياس: اختبار البحث والمقارنة النصية

ليس المطلوب أن تصبح مختبرًا لغويًا. طريقتان متكاملتان تكفيان لاتخاذ القرار.

الطريقة الأولى: اختبار البحث (لكل صفحات العينة)

هذا هو القياس الأقرب لما يهمك فعلًا: هل سيجد الموظف الوثيقة؟ لكل صفحة في العينة، يختار أحد أعضاء فريق الأرشيف قبل التشغيل من ثلاث إلى خمس «كلمات بحث» واقعية مكتوبة في الصفحة: اسم جهة، رقم قيد، اسم شخص، رقم عقد، مصطلح في الموضوع. تُسجَّل الكلمات في جدول. بعد رفع العينة إلى النظام وتطبيق OCR، يُبحث عن كل كلمة وتُسجَّل النتيجة: وُجدت الصفحة، أو لم توجد.

الناتج نسبة بسيطة يفهمها أي مدير: من كل مئة عملية بحث واقعية، كم مرة ظهرت الوثيقة الصحيحة؟ واحسبها لكل مجموعة من مجموعات العينة على حدة، لأن المتوسط العام يخفي المجموعة الضعيفة.

الطريقة الثانية: المقارنة النصية (لعدد محدود من الصفحات)

اختر من كل مجموعة ثلاث إلى خمس صفحات، واطبع نصها يدويًا بدقة لتكون «النص المرجعي». ثم قارن ناتج OCR بالنص المرجعي بعد تطبيق قواعد التطبيع التي اتفقت عليها. المقياسان الشائعان:

• معدل خطأ الحروف (CER): عدد الحروف المستبدلة والمحذوفة والمضافة مقسومًا على عدد حروف النص المرجعي.
• معدل خطأ الكلمات (WER): الفكرة نفسها على مستوى الكلمة. أي كلمة فيها حرف خاطئ تُعد خطأ كاملًا.

معدل خطأ الكلمات أقرب لتجربة البحث، لأن حرفًا واحدًا خاطئًا يجعل الكلمة كلها غير قابلة للعثور عليها بالبحث الحرفي. توجد أدوات مفتوحة المصدر تحسب هذين المقياسين من ملفين نصيين، ويستطيع فريق التقنية تشغيلها. وإن لم تتوفر، فعدّ الكلمات الخاطئة يدويًا في صفحات قليلة يكفي لاتخاذ قرار.

ورقة القياس: ما الذي تسجله لكل صفحة

استعمل جدولًا واحدًا لكل مورد، بالأعمدة نفسها، حتى تستطيع المقارنة جنبًا إلى جنب.

عمود «نوع الأخطاء الغالب» أهم مما يبدو. إذا كانت أغلب الأخطاء نقاطًا مفقودة في صفحات قديمة، فالعلاج غالبًا في إعدادات المسح. وإذا كانت في ترتيب الكلمات المختلطة، فهي مسألة في المحرك نفسه لا يعالجها المسح. لمعالجة الملفات الضعيفة الموجودة لديك قبل الحكم على النتائج، راجع معالجة ملفات PDF منخفضة الجودة قبل اعتماد نتائج البحث.

تشغيل الاختبار خطوة بخطوة

1. ثبّت العينة ومعايير النجاح. اكتب قبل أي تشغيل: قواعد التطبيع، وكلمات البحث لكل صفحة، والحد الأدنى المقبول لكل مجموعة. مثلًا: أن تُوجد الوثيقة في الغالبية العظمى من عمليات البحث للخطابات الحديثة، مع قبول حد أدنى أقل للأرشيف القديم بشرط فهرسة حقوله الأساسية. الرقم تقرره أنت بحسب استخدامك.
2. سلّم العينة نفسها لكل مورد. الصور الأصلية نفسها، دون أن يعالجها أحد يدويًا قبل التشغيل. إن أراد المورد تطبيق تحسين آلي للصور فليكن ذلك جزءًا من مساره المعتاد، ويُذكر في النتائج.
3. اطلب النتائج بصيغة قابلة للفحص. ملفات PDF قابلة للبحث، وملفات نصية مستخرجة لكل صفحة. لا تكتفِ بمشاهدة النتيجة على شاشة المورد.
4. نفّذ اختبار البحث داخل النظام نفسه. الغاية أن تقيس تجربة المستخدم الكاملة: OCR مع محرك البحث مع التطبيع.
5. احسب المقارنة النصية للصفحات المرجعية. بعد التطبيع المتفق عليه.
6. حلّل الإخفاق بحسب المجموعة ونوع الخطأ. لا تختصر الأمر في رقم واحد.
7. قرر لكل مجموعة مسار معالجة. OCR وحده يكفي، أو OCR مع حقول مفهرسة، أو إعادة مسح، أو مراجعة بشرية. هذا القرار هو المخرج الحقيقي للاختبار.

أخطاء تفسد الاختبار

• اختيار الصفحات الجيدة فقط. يحدث دون قصد: يسحب الموظف أوضح ملف في الدرج. خصص لصفحات الجودة الضعيفة حصة ثابتة في العينة.
• اختيار كلمات البحث بعد رؤية النتائج. هنا يميل الفريق دون وعي إلى كلمات ظهرت صحيحة. ثبّت الكلمات قبل التشغيل.
• مقارنة موردين على عينتين مختلفتين. أي فرق بين العينتين يلغي قيمة المقارنة.
• الحكم على OCR بمعزل عن البحث. المستخدم لا يقرأ ناتج OCR، بل يبحث. قد يُخفي بحث يطبّع الهمزات والأرقام كثيرًا من الأخطاء، وقد يكشف بحث حرفي صارم أخطاء صغيرة.
• إهمال الأرقام. رقم قيد أو رقم عقد بخانة خاطئة يساوي وثيقة مفقودة. إن كان الرقم مفتاح استرجاع، فليكن حقلًا مفهرسًا يُراجع، لا نصًا يعتمد على OCR وحده.
• تجاهل مدة المعالجة. الدقة على 170 صفحة لا تخبرك بما يحدث عند معالجة مئات الآلاف. اسأل عن طريقة المعالجة بالدفعات وكيف تُتابع الملفات التي فشلت.

عندما تتضح المجموعات الضعيفة، يصبح سؤال المراجعة البشرية سؤالًا محددًا: أي الحقول وأي المجموعات تحتاج مراجعة، وبأي عمق؟ هذا موضوع متى تحتاج مراجعة بشرية لنتائج OCR قبل إدخالها للأرشيف.

ما تطلبه من المورد قبل الاختبار وبعده

كيف تختبر ذلك على وثيقة

يتيح وثيقة OCR للعربية والإنجليزية يحوّل الصور والمستندات الممسوحة إلى نص قابل للبحث، مع بحث نصي داخل محتوى ملفات PDF والمستندات الممسوحة، وبحث دلالي يفهم المعنى لا الكلمة الحرفية فقط. ويمكن إدخال الوثائق بالرفع الجماعي، أو بربط الماسح الضوئي بالنظام مباشرة، أو عبر تكامل البريد الإلكتروني.

لا نطلب منك أن تثق برقم دقة عام. الطريقة التي نقترحها هي نفسها الموصوفة في هذا الدليل:

• احجز عرضًا توضيحيًا على مستندات مؤسستك (نحو 30 دقيقة)، وأحضر معك عينة صغيرة متنوعة من الصفحات الصعبة لا السهلة.
• أو استخدم التجربة المجانية لمدة 30 يومًا المذكورة في صفحة الأسعار لتشغيل عينتك الكاملة وتنفيذ اختبار البحث بنفسك.
• اطلب في العرض أن ترى كيف يتعامل البحث مع الهمزات والأرقام والكلمات المختلطة من عينتك.
• إن كان جزء من أرشيفك ورقيًا، فالرقمنة تُنفَّذ داخليًا أو عبر مزود مسح متخصص، ويستقبل وثيقة الناتج ويطبق عليه OCR ويفهرسه. ناقش مع فريق وثيقة نطاق ذلك ضمن خطة ترحيل الأرشيف والرقمنة.

تفاصيل القدرات في قسم OCR والذكاء الاصطناعي والبحث.

من العينة إلى كراسة الشروط

1. حدد مجموعات أرشيفك واختر 150 إلى 200 صفحة تمثلها، مع حصة ثابتة للصفحات الضعيفة.
2. اكتب قواعد التطبيع وكلمات البحث لكل صفحة قبل أي تشغيل.
3. شغّل العينة نفسها على كل حل تقيّمه، وسجّل النتائج في ورقة القياس.
4. قرر مسار المعالجة لكل مجموعة، وانقل ذلك إلى نطاق المشروع وكراسة الشروط. للانتقال من الاختبار إلى تقدير الحجم الكامل، راجع تحديد نطاق مشروع رقمنة كبير قبل تسعيره.