End-to-End-Plattform für revisionssichere Scope-2-CO₂-Prognosen

92 %
Rechnungsfeld-Extraktion F1-Score
≤5,6 % MAPE
Genauigkeit der Energievorhersage
End-to-End-Plattform für revisionssichere Scope-2-CO₂-Prognosen | Crunch-IS Case Study
Wir haben eine produktive MLOps-Plattform entwickelt, die Smart-Meter- und Rechnungsdaten in einem versionierten Feature Store vereint, Zeitreihenprognosemodelle in einem wöchentlichen, automatisierten Zyklus trainiert und steuert und prüfbare Scope-2-CO₂-e-Prognosen liefert, die den CSRD- und ISO 14064-1-Berichtsanforderungen entsprechen.
Industrie:

Umweltdienstleistungen & ESG-Analytik

Standort:

Deutschland

Teamgröße:

6

Dauer:

6,5 Monate

Technologies
Statsmodels (SARIMAX)
Temporal Fusion Transformer (TFT)
Optuna (HPO)
Docling (OCR)
Vertex AI Text Embeddings
Qdrant Vector Search
BigQuery
Cloud Functions
Cloud Run
Cloud Scheduler
MLflow (Tracking & Registry)
DVC
Vertex AI Pipelines
GitHub Actions
Cloud Build
Cloud Deploy (Blue-Green)
Dataplex
Cloud Monitoring
Secret Manager
Terraform (IaC)
01

Über den Kunden

Der Kunde bietet automatisierte ESG-Berichtslösungen für mittelgroße Produktionsunternehmen in der EU. Sein Produkt liefert Scope-2-Daten für die Berichterstattung an Kunden, die diese direkt an Finanzprüfer und Umweltbehörden übermitteln.

Genauigkeit und Reproduzierbarkeit sind für diesen Kunden kein Unterscheidungsmerkmal – sie sind das Produkt. Jede Prognose, die die Plattform erstellt, muss nachvollziehbar, versioniert und bei einem Audit vertretbar sein.

End-to-End-Plattform für revisionssichere Scope-2-CO₂-Prognosen | Crunch-IS Case Study
02

Herausforderung

Die Skalierung der Plattform erforderte die Lösung von vier zusammenhängenden Problemen:

1. Unstrukturierte Rechnungsdaten in großem Umfang.

Etwa 40 % der Datenquellen des Kunden waren PDF-Rechnungen. Die schablonenbasierte OCR hatte bereits versagt. Die Plattform musste Schlüsselfelder – Kilowattstunden, Datumsangaben, Tarifcodes – zuverlässig aus verschiedenen Dokumentenformaten extrahieren, die sich je nach Anbieter und Land unterschieden.

2. Multi-Horizont-Prognose.

Das Unternehmen benötigte Energieverbrauchsprognosen für drei Zeithorizonte gleichzeitig: täglich, monatlich und einen rollierenden 12-Monats-Ausblick. Ein einzelnes Modell, das alle drei Horizonte abdeckt, war nicht praktikabel – die Prognoseschicht musste so strukturiert sein, dass sie jeden Horizont genau abdecken konnte.

3. Aktualität der Emissionsfaktoren.

Die Einhaltung von Scope 2 erfordert die Multiplikation der Verbrauchsprognosen mit dem korrekten länderspezifischen Netzemissionsfaktor für den Berichtszeitraum. Diese Faktoren ändern sich in regelmäßigen Abständen. Die Plattform musste den richtigen Faktor auf das richtige historische Fenster anwenden – konsistent und automatisch.

4. Release-Kontrollen auf Audit-Niveau.

Die Regulierungsbehörden verlangten den Nachweis, dass neue Modellversionen durch gestaffelte, kontrollierte Freigaben in die Produktion gelangen – und dass jede Produktionsversion bei Leistungseinbußen nahezu sofort zurückgesetzt werden kann.

03

Gelieferte Lösung

Wir entwarfen und implementierten eine modulare, Cloud-native MLOps-Architektur, die die Datenaufnahme, das Feature-Management, das Modelltraining, die Inferenz und die Beobachtbarkeit abdeckt und von Anfang an auf die Überprüfbarkeit durch die Aufsichtsbehörden ausgelegt war.

Datenaufnahme über zwei Pfade

Strukturierte und unstrukturierte Daten gelangen über separate Pipelines in die Plattform, die in einem einzigen Feature Store zusammenlaufen. Die Smart-Meter-Messwerte werden über eine serverlose Cloud-Funktion aufgenommen, die stündliche API-Daten abruft und direkt in BigQuery lädt.

Für Rechnungen wird beim Hochladen eine Dokumentenverarbeitungspipeline ausgelöst: Docling extrahiert den Rohtext per OCR, Vertex AI wandelt ihn in Vektoreinbettungen um und ein RAG-Flow mit Qdrant und GPT-4o extrahiert die relevanten Felder – verbrauchte kWh, Rechnungsdatum und Tarif – mit einem F1-Score von 92 %.

Versionierter Feature Store

Beide Datenströme werden bereinigt, umgewandelt und in BigQuery mit dbt-Modellen zusammengeführt, so dass eine einzige Quelle der Wahrheit für das Modelltraining entsteht. Jeder Datensatz-Snapshot ist mit DVC versionskontrolliert. Netzemissionsfaktoren aus IEA- und EU-Quellen werden als Slowly Changing Dimension-Tabelle gepflegt, um die historische Genauigkeit für vergangene Berichtszeiträume zu erhalten.

Automatisiertes Modelltraining und Governance

Ein wöchentlicher Auftrag der Vertex AI Pipeline trainiert ein SARIMAX-Modell neu, wobei ein Temporal Fusion Transformer als Herausforderer läuft. Optuna übernimmt die Optimierung der Hyperparameter. MLflow protokolliert alle Parameter, Metriken und Artefakte für jeden Lauf. Modelle, die einen MAPE-Wert von weniger als 6 % erreichen, werden versioniert und in der MLflow Model Registry unter dem Alias @champion geführt – die einzigen Modelle, die für die Produktionsinferenz in Frage kommen.

Geplante Inferenz und Emissionsberechnung

Ein täglicher Cloud Run-Dienst ruft das registrierte @champion-Modell ab, lädt die neuesten Features aus BigQuery, erstellt Prognosen über alle erforderlichen Zeithorizonte, multipliziert sie mit aktuellen Emissionsfaktoren und schreibt die endgültigen CO₂-e-Werte in eine spezielle Prognosetabelle. Die Ausgabe fließt direkt in prüfbare Scope-2-Dashboards in Looker ein.

CI/CD, Datenqualität und Beobachtbarkeit

Commits an den Hauptzweig lösen GitHub Actions aus, die Container-Images in Cloud Build erstellen und testen, bevor sie in Artifact Registry veröffentlicht werden. Cloud Deploy führt Blue-Green-Rollouts für jede Veröffentlichung aus.

Die Trainings-Pipeline führt eine Great Expectations-Validierungssuite durch, bevor das Modelltraining beginnt – wenn eine Schemadrift oder signifikante statistische Verschiebungen festgestellt werden, wird der Lauf automatisch angehalten.

Ein Vertex AI Model Monitoring Job wird täglich ausgeführt, um Vorhersage- und Feature-Drift zu erkennen und das Bereitschaftsteam über PagerDuty zu alarmieren, wenn die Leistung unter die festgelegten SLOs fällt.

Alle sensiblen Anmeldedaten werden im Secret Manager gespeichert und zur Laufzeit eingespeist. Strukturierte Protokolle speisen Cloud Monitoring Dashboards, die Latenz, Fehlerraten und den Zustand der Pipeline abdecken.

Crunch-IS image case study
04

Die Ergebnisse des Kunden

Die Plattform wurde in 6,5 Monaten geliefert und erzielte messbare Ergebnisse in den Bereichen Prognosegenauigkeit, Datenqualität und Release Governance:

Prüfbare Prognosen in Produktionsqualität

Die Plattform liefert wöchentlich neu trainierte Scope-2-CO₂-e-Prognosen mit einem MAPE von ≤5,6 % – innerhalb der Leistungsschwelle, die für die regulatorischen Berichtsverpflichtungen des Kunden erforderlich ist. Jede Vorhersage ist auf die Modellversion, den Datensatz-Snapshot und den Emissionsfaktor, der sie erstellt hat, rückführbar.

Rechnungsverarbeitung, die funktioniert

Die Document Intelligence Pipeline erreicht einen F1-Score von 92 % bei der Extraktion von Rechnungsfeldern und ersetzt damit den schablonenbasierten OCR-Ansatz, der bereits aufgegeben worden war. Unstrukturierte Rechnungsdaten werden jetzt im gleichen Rhythmus wie strukturierte API-Daten ohne manuelle Korrektur in den Feature Store übernommen.

Kontrollierte Freigaben, Rollback mit einem Klick

Jede Modellversion wird über ein automatisiertes Blue-Green-Deployment in der Produktion eingesetzt. Wenn die Leistung nachlässt, kann der vorherige Champion in einem einzigen Schritt wiederhergestellt werden. Die Aufsichtsbehörden erhalten einen Nachweis über die schrittweise, kontrollierte Freigabe als Teil des Audit-Protokolls.

Vollständig automatisierter Betrieb

Die Plattform läuft ohne manuelle Eingriffe in den Bereichen Datenaufnahme, Training, Inferenz und Überwachung. Leitplanken für die Datenqualität verhindern, dass schlechte Daten ein Modell erreichen. Die Drift-Erkennung deckt Verschlechterungen auf, bevor sie sich auf die Berichtsausgabe auswirken.

Erzählen Sie uns, was Sie entwickeln

Schicken Sie uns eine Skizze, eine Spezifikation oder drei Sätze dazu, wo Ihr System gerade feststeckt. Ein Gespräch reicht in der Regel, um herauszufinden, ob wir zueinander passen.

Individuelle Software, KI & ML, Daten und Analytics, Cloud und Sicherheit – vom ersten Scoping bis zur langfristigen Umsetzung.

  • 170+ Experten
  • 120+ abgeschlossene Projekte
  • 97% rundum zufrieden

    Ich habe die Nutzungsbedingungen und Datenschutzbestimmungen gelesen und akzeptiert *

    Ihre Privatsphäre ist uns wichtig. Wir verwenden Cookies, um Ihr Erlebnis zu verbessern und Inhalte zu personalisieren.