End-to-End-platform til reviderbar prognosticering af Scope 2-kulstofudledning

92 %
udtræk af fakturafelter F1-score
≤5,6 % MAPE
energiprognosens nøjagtighed
End-to-End-platform til reviderbar prognosticering af Scope 2-kulstofudledning | Crunch-IS Case Study
Vi byggede en produktions-MLOps-platform, der forener data fra smart-målere og fakturaer i et versioneret feature store, træner og styrer tidsserie-prognosemodeller i en ugentlig automatiseret cyklus og leverer reviderbare Scope 2 CO₂-e-prognoser, der opfylder rapporteringskravene i CSRD og ISO 14064-1.
Branche:

Miljøtjenester & ESG-analyser

Placering:

Tyskland

Varighed:

6,5 måneder

Technologies
Statsmodels (SARIMAX)
Temporal Fusion Transformer (TFT)
Optuna (HPO)
Docling (OCR)
Vertex AI Text Embeddings
Qdrant Vector Search
BigQuery
Cloud Functions
Cloud Run
Cloud Scheduler
MLflow (Tracking & Registry)
DVC
Vertex AI Pipelines
GitHub Actions
Cloud Build
Cloud Deploy (Blue-Green)
Dataplex
Cloud Monitoring
Secret Manager
Terraform (IaC)
01

Om kunden

Kunden leverer automatiserede ESG-oplysningsløsninger til mellemstore produktionsvirksomheder på tværs af EU. Deres produkt leverer Scope 2-kulstofrapporteringsdata til kunder, som indsender dem direkte til finansielle revisorer og miljømyndigheder.

Nøjagtighed og reproducerbarhed er ikke differentieringsfaktorer for denne kunde — de er produktet. Hver prognose, som platformen producerer, skal kunne spores, versioneres og forsvares under en revision.

End-to-End-platform til reviderbar prognosticering af Scope 2-kulstofudledning | Crunch-IS Case Study
02

Udfordring

At skalere platformen krævede løsning af fire sammenhængende problemer:

1. Ustrukturerede fakturadata i stor skala.

Omkring 40 % af kundens datakilder var PDF-fakturaer. Skabelonbaseret OCR var allerede slået fejl. Platformen skulle udtrække nøglefelter — kilowatt-timer, datoer, tarifkoder — pålideligt på tværs af dokumentformater, der varierede fra leverandør til leverandør og fra land til land.

2. Prognoser med flere tidshorisonter.

Virksomheden krævede prognoser for energiforbrug på tre tidshorisonter samtidigt: dagligt, månedligt og et rullende 12-måneders udsyn. En enkelt model, der betjener alle tre, var ikke levedygtig — prognoselaget skulle struktureres til at håndtere hver horisont præcist.

3. Aktualitet af emissionsfaktorer.

Scope 2-overholdelse kræver, at forbrugsprognoser ganges med den korrekte landespecifikke emissionsfaktor for nettet for den periode, der rapporteres. Disse faktorer ændrer sig periodisk. Platformen skulle anvende den rigtige faktor på det rigtige historiske vindue — konsekvent og automatisk.

4. Frigivelseskontroller i revisionskvalitet.

Tilsynsmyndigheder krævede bevis for, at nye modelversioner kom i produktion gennem trinvise, kontrollerede frigivelser — og at enhver produktionsversion kunne rulles tilbage næsten øjeblikkeligt, hvis ydeevnen forringedes.

03

Løsningen, vi leverede

Vi designede og implementerede en modulær, cloud-native MLOps-arkitektur, der dækker dataindtagelse, feature-styring, modeltræning, inferens og observerbarhed — bygget fra starten til lovgivningsmæssig auditerbarhed.

Dataindtagelse via to spor

Strukturerede og ustrukturerede data kommer ind på platformen gennem separate pipelines, der konvergerer i ét enkelt feature store. Aflæsninger fra smarte målere indlæses via en serverless Cloud Function, der henter API-data hver time og indlæser dem direkte i BigQuery.

For fakturaer udløses en pipeline til dokumentbehandling ved upload: Docling udtrækker rå tekst via OCR, Vertex AI konverterer den til vektor-embeddings, og et RAG-flow, der bruger Qdrant og GPT-4o, henter de relevante felter — forbrugte kWh, faktureringsdatoer og tarif — med en F1-score på 92 %.

Versioneret feature store

Begge datastrømme renses, transformeres og sammenføjes i BigQuery ved hjælp af dbt-modeller, hvilket skaber én enkelt kilde til sandhed for modeltræning. Hvert datasæt-snapshot versionsstyres med DVC. Emissionsfaktorer for elnettet fra IEA- og EU-kilder vedligeholdes som en Slowly Changing Dimension-tabel for at bevare historisk nøjagtighed for tidligere rapporteringsperioder.

Automatiseret modeltræning og -styring

Et ugentligt Vertex AI Pipeline-job genoptræner en SARIMAX-model, med en Temporal Fusion Transformer kørende som udfordrer. Optuna håndterer hyperparameteroptimering. MLflow logger alle parametre, metrikker og artefakter for hver kørsel. Modeller, der opnår en MAPE under 6 %, versioneres og forfremmes til @champion-aliasset i MLflow Model Registry — de eneste modeller, der er berettigede til produktionsinferens.

Planlagt inferens og emissionsberegning

En daglig Cloud Run-tjeneste henter den registrerede @champion-model, indlæser de nyeste features fra BigQuery, genererer prognoser på tværs af alle påkrævede tidshorisonter, multiplicerer dem med aktuelle emissionsfaktorer og skriver de endelige CO₂-e-værdier til en dedikeret forudsigelsestabel. Outputtet føres direkte ind i reviderbare Scope 2-dashboards i Looker.

CI/CD, datakvalitet og observerbarhed

Commits til hovedgrenen udløser GitHub Actions, som bygger og tester container-images i Cloud Build, før de publiceres til Artifact Registry. Cloud Deploy udfører blue-green-udrulninger for hver udgivelse.

Træningspipelinen kører en Great Expectations-valideringssuite, før modeltræningen begynder — hvis der registreres skemadrift eller betydelige statistiske forskydninger, standser kørslen automatisk.

Et Vertex AI Model Monitoring-job kører dagligt, registrerer forudsigelses- og feature-drift og tilkalder on-call-teamet via PagerDuty, når ydeevnen forringes ud over de definerede SLO’er.

Alle følsomme legitimationsoplysninger opbevares i Secret Manager og injiceres ved kørsel. Strukturerede logfiler føder Cloud Monitoring-dashboards, der dækker latenstid, fejlrater og pipelinesundhed.

Crunch-IS image case study
04

Kundens resultater

Leveret på 6,5 måneder producerede platformen målbare resultater på tværs af prognosenøjagtighed, datakvalitet og release-styring:

Reviderbare prognoser i produktionskvalitet

Platformen leverer ugentligt gentrænede Scope 2 CO₂-e-prognoser med en MAPE på ≤5,6 % — inden for den præstationstærskel, der kræves til kundens forpligtelser vedrørende myndighedsrapportering. Hver prognose kan spores tilbage til den modelversion, det datasæt-snapshot og den emissionsfaktor, der producerede den.

Fakturabehandling, der virker

Dokumentintelligens-pipelinen opnår en F1-score på 92 % for udtræk af fakturafelter og erstatter den skabelonbaserede OCR-tilgang, der allerede var blevet opgivet. Ustrukturerede fakturadata indgår nu i feature store med samme kadence som strukturerede API-data, uden manuel korrektion.

Kontrollerede udgivelser, tilbagerulning med ét klik

Hver modelversion udrulles til produktion via en automatiseret blå-grøn udrulning. Hvis ydeevnen forringes, kan den tidligere champion-model genoprettes i ét enkelt trin. Tilsynsmyndigheder modtager bevis for trinvise, kontrollerede frigivelsesprocesser som en del af revisionssporet.

Fuldautomatiseret drift

Platformen kører uden manuel indgriben på tværs af indlæsning, træning, inferens og overvågning. Kontroller af datakvaliteten forhindrer dårlige data i at nå frem til en model. Driftdetektion afslører forringelse, før den påvirker rapporteringsoutputtet.

Fortæl os, hvad I bygger

Send et oplæg, en specifikation eller tre sætninger om, hvor systemet er gået i stå. Én samtale er som regel nok til at afgøre, om vi passer til jer.

Skræddersyet software, AI og ML, data og analyse, cloud og sikkerhed — fra tidlig afklaring til langsigtet levering.

  • 170+ eksperter
  • 120+ leverede projekter
  • 97% fuldt tilfredse

    Jeg har læst og accepteret Brugsbetingelserne og Privatlivspolitikken *

    Dit privatliv er vigtigt. Vi bruger cookies til at forbedre din oplevelse og tilpasse indhold.