منصة شاملة للتنبؤ بانبعاثات الكربون من النطاق 2 القابلة للتدقيق

92%
مؤشر F1 لاستخراج حقول الفواتير
MAPE ≤5.6%
دقة توقعات الطاقة
منصة شاملة للتنبؤ بانبعاثات الكربون من النطاق 2 القابلة للتدقيق | Crunch-IS Case Study
لقد أنشأنا منصة MLOps للإنتاج تعمل على توحيد بيانات العدادات الذكية والفواتير في مخزن ميزات مُصنف حسب الإصدارات، وتقوم بتدريب وإدارة نماذج التنبؤ بالسلاسل الزمنية في دورة أسبوعية آلية، وتقدم توقعات قابلة للتدقيق لانبعاثات ثاني أكسيد الكربون المكافئ (CO₂-e) من النطاق 2، والتي تستوفي متطلبات الإبلاغ وفقًا لمعيار CSRD والمعيار ISO 14064-1.
الصناعة:

الخدمات البيئية وتحليلات المعايير البيئية والاجتماعية والحوكمة (ESG)

الموقع:

ألمانيا

حجم الفريق:

6

المدة:

6.5 أشهر

Technologies
Statsmodels (SARIMAX)
Temporal Fusion Transformer (TFT)
Optuna (HPO)
Docling (OCR)
Vertex AI Text Embeddings
Qdrant Vector Search
BigQuery
Cloud Functions
Cloud Run
Cloud Scheduler
MLflow (Tracking & Registry)
DVC
Vertex AI Pipelines
GitHub Actions
Cloud Build
Cloud Deploy (Blue-Green)
Dataplex
Cloud Monitoring
Secret Manager
Terraform (IaC)
01

نبذة عن العميل

تقدم الشركة حلولاً آلية للإفصاح عن معايير ESG لشركات التصنيع المتوسطة الحجم في جميع أنحاء الاتحاد الأوروبي. ويوفر منتجها بيانات الإبلاغ عن انبعاثات الكربون من النطاق 2 للعملاء، الذين يقومون بدورهم بتقديمها مباشرةً إلى المدققين الماليين والهيئات التنظيمية البيئية.

الدقة وقابلية التكرار ليستا من العوامل التي تميز هذا العميل — بل هما جوهر المنتج نفسه. يجب أن تكون كل توقعات تُصدرها المنصة قابلة للتتبع، ومُصنَّفة حسب الإصدارات، وقابلة للدفاع عنها في حالة الخضوع للتدقيق.

منصة شاملة للتنبؤ بانبعاثات الكربون من النطاق 2 القابلة للتدقيق | Crunch-IS Case Study
02

التحدي

تطلب توسيع نطاق المنصة حل أربع مشكلات مترابطة:

1. بيانات الفواتير غير المنظمة على نطاق واسع.

كان حوالي 40% من مصادر بيانات العميل عبارة عن فواتير بصيغة PDF. وكانت تقنية التعرف الضوئي على الحروف (OCR) القائمة على القوالب قد فشلت بالفعل. وكانت المنصة بحاجة إلى استخراج الحقول الرئيسية — مثل الكيلوواط/ساعة، والتواريخ، ورموز التعريفات — بشكل موثوق عبر تنسيقات المستندات المختلفة التي تختلف باختلاف المورد والبلد.

2. التنبؤ متعدد الآفاق.

احتاجت الشركة إلى توقعات لاستهلاك الطاقة عبر ثلاثة آفاق زمنية في آن واحد: يومي، وشهري، وتوقعات متجددة لمدة 12 شهراً. ولم يكن من الممكن استخدام نموذج واحد يغطي هذه الآفاق الثلاثة جميعها — فقد كان لا بد من تصميم طبقة التنبؤ بحيث تتعامل مع كل أفق زمني بدقة.

3. تحديث معاملات الانبعاث.

يتطلب الامتثال لمعايير النطاق 2 ضرب توقعات الاستهلاك في معامل الانبعاثات الصحيح الخاص بشبكة الكهرباء لكل بلد على حدة للفترة المشمولة بالتقرير. وتتغير هذه المعاملات بشكل دوري. وكان من الضروري أن تقوم المنصة بتطبيق المعامل الصحيح على الفترة التاريخية الصحيحة — بشكل متسق وتلقائي.

4. ضوابط الإصدار المطابقة لمعايير التدقيق.

طلبت الجهات التنظيمية إثباتًا على أن إصدارات النماذج الجديدة دخلت مرحلة الإنتاج من خلال عمليات إطلاق مرحلية وخاضعة للرقابة — وأنه يمكن التراجع عن أي إصدار إنتاجي بشكل شبه فوري في حالة تدهور الأداء.

03

الحل الذي قدمناه

لقد قمنا بتصميم وتنفيذ بنية MLOps معيارية ومصممة خصيصًا للسحابة، تغطي عمليات استيعاب البيانات، وإدارة السمات، وتدريب النماذج، والاستدلال، وقابلية المراقبة — وقد تم تصميمها منذ البداية بحيث تتيح إمكانية التدقيق التنظيمي.

استيعاب البيانات عبر مسارين

تدخل البيانات المنظمة وغير المنظمة إلى المنصة عبر مسارات منفصلة تتلاقى في مخزن ميزات واحد. ويتم استيعاب قراءات العدادات الذكية عبر وظيفة سحابية (Cloud Function) لا تعتمد على خادم، والتي تستخرج بيانات واجهة برمجة التطبيقات (API) كل ساعة وتقوم بتحميلها مباشرةً إلى BigQuery.

بالنسبة للفواتير، يتم تشغيل مسار معالجة المستندات فور التحميل: حيث تستخرج Docling النص الخام عبر تقنية التعرف الضوئي على الحروف (OCR)، ثم تقوم Vertex AI بتحويله إلى تمثيلات متجهة، ويقوم مسار RAG الذي يستخدم Qdrant وGPT-4o باستخراج الحقول ذات الصلة — مثل كيلوواط/ساعة المستهلكة، وتواريخ الفوترة، والتعرفة — بمعدل F1 يبلغ 92%.

مخزن الميزات ذو الإصدارات

يتم تنقية كلا تدفقَي البيانات وتحويلهما ودمجهما في BigQuery باستخدام نماذج dbt، مما ينتج عنه مصدر موثوق واحد لتدريب النماذج. وتخضع كل لقطة من لقطات مجموعات البيانات للتحكم في الإصدارات باستخدام DVC. ويتم الاحتفاظ بعوامل الانبعاثات الشبكية المستمدة من مصادر الوكالة الدولية للطاقة (IEA) والاتحاد الأوروبي (EU) في شكل جدول «البُعد البطيء التغير» (Slowly Changing Dimension) للحفاظ على الدقة التاريخية لفترات الإبلاغ السابقة.

التدريب الآلي للنماذج وإدارتها

تقوم مهمة أسبوعية في «Vertex AI Pipeline» بإعادة تدريب نموذج SARIMAX، مع تشغيل «Temporal Fusion Transformer» كنموذج منافس. تتولى Optuna عملية تحسين المعلمات الفائقة. ويقوم MLflow بتسجيل جميع المعلمات والمقاييس والنتائج لكل عملية تشغيل. يتم تسجيل النماذج التي تحقق متوسطًا للنسبة المئوية للخطأ المطلق (MAPE) أقل من 6% كإصدارات جديدة وترقيتها إلى الاسم المستعار @champion في سجل نماذج MLflow — وهي النماذج الوحيدة المؤهلة للاستدلال في بيئة الإنتاج.

الاستدلال المجدول وحساب الانبعاثات

تقوم خدمة «Cloud Run» اليومية باستدعاء نموذج @champion المسجل، وتحميل أحدث الميزات من BigQuery، وإنشاء توقعات لجميع الآفاق الزمنية المطلوبة، وضربها في عوامل الانبعاث الحالية، وكتابة القيم النهائية لثاني أكسيد الكربون المكافئ (CO₂-e) في جدول تنبؤات مخصص. ويتم تغذية النتائج مباشرةً إلى لوحات معلومات «النطاق 2» القابلة للتدقيق في Looker.

التكامل المستمر/التسليم المستمر (CI/CD)، وجودة البيانات، وقابلية المراقبة

يؤدي إجراء الالتزام في الفرع الرئيسي إلى تشغيل GitHub Actions، التي تقوم بإنشاء صور الحاويات واختبارها في Cloud Build قبل نشرها في Artifact Registry. ويقوم Cloud Deploy بتنفيذ عمليات النشر بنظام «الأزرق-الأخضر» لكل إصدار.

يقوم مسار التدريب بتشغيل مجموعة أدوات التحقق من صحة «Great Expectations» قبل بدء تدريب النموذج — وفي حال اكتشاف انحراف في المخطط أو تغيرات إحصائية كبيرة، يتوقف التشغيل تلقائيًا.

يتم تشغيل مهمة مراقبة نموذج Vertex AI يوميًا، حيث تكتشف أي انحراف في التنبؤات والسمات، وتقوم بإرسال إشعار إلى فريق المناوبة عبر PagerDuty عندما يتدهور الأداء إلى ما يتجاوز مستويات الخدمة المستهدفة (SLOs) المحددة.

يتم تخزين جميع بيانات الاعتماد الحساسة في «Secret Manager» ويتم إدخالها أثناء وقت التشغيل. وتغذي السجلات المنظمة لوحات معلومات «Cloud Monitoring» التي تغطي زمن الاستجابة ومعدلات الأخطاء وحالة خط الأنابيب.

Crunch-IS image case study
04

نتائج العميل

وقد تم تسليم المنصة في غضون 6.5 أشهر، وحققت نتائج قابلة للقياس في مجالات دقة التنبؤ وجودة البيانات وإدارة عمليات الإصدار:

توقعات قابلة للتدقيق بجودة الإنتاج

تقدم المنصة توقعات لانبعاثات ثاني أكسيد الكربون المكافئ (CO₂-e) من النطاق 2 بنماذج يُعاد تدريبها أسبوعيًا، بمتوسط نسبة مئوية للخطأ المطلق (MAPE) يبلغ ≤5.6% — وهو ما يقع ضمن عتبة الأداء المطلوبة للوفاء بالتزامات العميل المتعلقة بالتقارير التنظيمية. ويمكن تتبع كل توقّع إلى إصدار النموذج، ولقطة مجموعة البيانات، وعامل الانبعاث الذي تم استخلاصه منه.

معالجة الفواتير الفعالة

يحقق مسار معالجة المعلومات المستمدة من المستندات درجة F1 تبلغ 92% في استخراج حقول الفواتير، ليحل بذلك محل نهج التعرف الضوئي على الحروف (OCR) القائم على القوالب الذي تم التخلي عنه بالفعل. وتدخل بيانات الفواتير غير المنظمة الآن إلى مخزن الميزات بنفس وتيرة دخول بيانات واجهة برمجة التطبيقات (API) المنظمة، دون الحاجة إلى تصحيح يدوي.

الإصدارات الخاضعة للتحكم، التراجع بنقرة واحدة

يتم نشر كل إصدار من النموذج في بيئة الإنتاج عبر عملية نشر آلية بنظام «الأزرق-الأخضر». وفي حال حدوث تدهور في الأداء، يمكن استعادة الإصدار السابق الأفضل أداءً في خطوة واحدة. وتتلقى الجهات التنظيمية دليلاً على عمليات الإصدار المرحلية والخاضعة للرقابة كجزء من سجل التدقيق.

عمليات مؤتمتة بالكامل

تعمل المنصة دون تدخل يدوي في جميع مراحل الاستيعاب والتدريب والاستدلال والمراقبة. وتمنع إجراءات ضمان جودة البيانات وصول البيانات غير الصحيحة إلى النموذج. كما يكشف نظام رصد الانحراف عن أي تدهور في الأداء قبل أن يؤثر على نتائج التقارير.

أخبرنا بما تعمل على بنائه

أرسل لنا مخططاً أولياً أو مواصفات أو ثلاث جمل عن النقطة التي توقف عندها النظام. عادةً ما تكفي محادثة واحدة لمعرفة ما إذا كنا مناسبين لك.

البرمجيات المخصصة، والذكاء الاصطناعي والتعلم الآلي، والبيانات والتحليلات، والحوسبة السحابية، والأمن — من تحديد النطاق المبكر وحتى التسليم على المدى الطويل.

  • 170+ خبير
  • 120+ مشروع منجز
  • 97% نسبة الرضا التام

    لقد قرأت ووافقت على شروط الاستخدام و سياسة الخصوصية *

    خصوصيتك تهمنا. نستخدم ملفات تعريف الارتباط لتحسين تجربتك وتخصيص المحتوى.