استخراج الوثائق وتوحيدها باستخدام الوكلاء (حالة استخدام لوكيل الذكاء الاصطناعي)

التحدي

نظرًا لأن بيئة بيانات العميل تضمنت مصادر متنوعة، مثل ملفات .xlsx و.csv والوثائق المكتوبة بخط اليد والممسوحة ضوئيًا، فقد واجهت عمليات تنقية البيانات وتوحيدها وتحويلها لأغراض التحليلات التجارية صعوبات. وزادت الوثائق المكتوبة بخط اليد والممسوحة ضوئيًا من تعقيد العملية، حيث تطلبت استخراج النصوص ونقاط البيانات المضمنة يدويًّا.

كان هذا العمل اليدوي عرضة للأخطاء، ويستغرق وقتًا طويلاً، ويفتقر إلى الاتساق، حيث كانت البرامج النصية المكتوبة بلغة بايثون تحتاج إلى تعديلات مستمرة للتعامل مع أنماط البيانات وتنسيقاتها الجديدة.

نطاق المشروع

قمنا بتنفيذ وكيل قائم على الذكاء الاصطناعي لاستخراج الوثائق بطريقة وكيلية يعتمد على LangChain وواجهة برمجة تطبيقات OpenAI، ويتم دمجه بسلاسة في بيئة Azure. وكان الهدف هو أتمتة عملية إعداد البيانات وتبسيطها مع الحد الأدنى من التدخل اليدوي.

نهجنا في تطوير الوكلاء القائمين على الذكاء الاصطناعي

يعمل النظام المدعوم بالذكاء الاصطناعي على أتمتة عملية إعداد البيانات من خلال ما يلي:

1. تحليل ملفات Excel و CSV

يقوم الوكيل بقراءة وتحليل البيانات المنظمة الواردة في ملفات Excel و CSV.

2. استخراج ملفات PDF باستخدام Azure AI Document Intelligence

بالاستفادة من إمكانيات تقنية التعرف الضوئي على الحروف (OCR)، يقوم الوكيل باستخراج المحتوى المنظم وغير المنظم على حد سواء من المستندات المكتوبة بخط اليد التي تم مسحها ضوئيًا.

3. توحيد البيانات ومعالجة الاستثناءات

ويطبّق الوكيل قواعد توحيد محددة مسبقًا ويقوم تلقائيًّا بحل حالات عدم الاتساق في البيانات؛ كل ذلك دون الحاجة إلى أي تدخل يدوي.

تكامل الأنظمة

لضمان التشغيل السلس ضمن البنية التحتية الحالية:

• يتصل وكيل الذكاء الاصطناعي مباشرةً بواجهة برمجة تطبيقات Java الحالية، مما يوفر بيانات نظيفة وموحدة من أجل المعالجة اللاحقة.

الأمن والامتثال

تُجرى جميع عمليات الذكاء الاصطناعي داخل بيئة Azure الخاصة بالعميل، مما يضمن:

• أمن البيانات؛
• الامتثال التام؛
• لا يتم الكشف عن أي معلومات حساسة خارج البنية التحتية الموثوقة للعميل.

النتائج والإنجازات

في غضون أربعة أشهر، تم نشر الوكيل القائم على الذكاء الاصطناعي بشكل كامل، مما أدى إلى تقليل الحاجة إلى كتابة البرامج النصية يدويًّا بشكل كبير وتبسيط مسار البيانات بأكمله.

ويعمل الوكيل الآن على أتمتة عمليات تنظيف البيانات وتوحيدها عبر مصادر البيانات المختلفة، مع تمكين عملية استخراج البيانات بدقة باستخدام تقنية التعرف الضوئي على الحروف (OCR). ونتيجة لذلك، تمكن العميل من الحصول على بيانات أكثر اتساقًا، وتوافرها بشكل أسرع للتحليل، بالإضافة إلى القدرة على تركيز الجهود الهندسية على المهام ذات القيمة العالية.