Ende-til-ende-plattform for reviderbar Scope 2-karbonprognostisering

92 %
faktura-feltekstraksjon F1-score
≤5,6 % MAPE
nøyaktighet i energiprognoser
Ende-til-ende-plattform for reviderbar Scope 2-karbonprognostisering | Crunch-IS Case Study
Vi bygde en produksjonsklar MLOps-plattform som forener data fra smartmålere og fakturaer i en versjonert feature store, trener og styrer tidsseriemodeller for prognoser i en ukentlig automatisert syklus, og leverer reviderbare Scope 2 CO₂-e-prognoser som oppfyller rapporteringskravene i CSRD og ISO 14064-1.
Industri:

Miljøtjenester og ESG-analyse

Sted:

Tyskland

Varighet:

6,5 måneder

Technologies
Statsmodels (SARIMAX)
Temporal Fusion Transformer (TFT)
Optuna (HPO)
Docling (OCR)
Vertex AI Text Embeddings
Qdrant Vector Search
BigQuery
Cloud Functions
Cloud Run
Cloud Scheduler
MLflow (Tracking & Registry)
DVC
Vertex AI Pipelines
GitHub Actions
Cloud Build
Cloud Deploy (Blue-Green)
Dataplex
Cloud Monitoring
Secret Manager
Terraform (IaC)
01

Om kunden

Kunden tilbyr automatiserte ESG-rapporteringsløsninger for mellomstore produksjonsbedrifter i hele EU. Produktet deres leverer karbonrapporteringsdata for Scope 2 til kunder som sender dem direkte til finansielle revisorer og miljøtilsynsmyndigheter.

Nøyaktighet og reproduserbarhet er ikke differensieringsfaktorer for denne kunden — de er selve produktet. Hver prognose plattformen produserer må være sporbar, versjonert og forsvarlig under revisjon.

Ende-til-ende-plattform for reviderbar Scope 2-karbonprognostisering | Crunch-IS Case Study
02

Utfordring

Skalering av plattformen krevde løsning av fire sammensatte problemer:

1. Ustrukturerte fakturadata i stor skala.

Omtrent 40 % av kundens datakilder var PDF-fakturaer. Malbasert OCR hadde allerede feilet. Plattformen måtte trekke ut nøkkelfelter — kilowattimer, datoer, tariffkoder — pålitelig på tvers av dokumentformater som varierte etter leverandør og land.

2. Prognoser over flere tidshorisonter.

Virksomheten krevde prognoser for energiforbruk over tre tidshorisonter samtidig: daglig, månedlig og en rullerende 12-måneders utsikt. En enkelt modell som betjente alle tre var ikke levedyktig — prognoselaget måtte struktureres for å håndtere hver horisont nøyaktig.

3. Oppdaterte utslippsfaktorer.

Scope 2-samsvar krever multiplisering av forbruksprognoser med den korrekte landsspesifikke utslippsfaktoren for nettet for perioden som rapporteres. Disse faktorene endres jevnlig. Plattformen måtte bruke riktig faktor på riktig historisk vindu — konsekvent og automatisk.

4. Utgivelseskontroll på revisjonsnivå.

Regulatorer krevde bevis for at nye modellversjoner gikk i produksjon gjennom trinnvise, kontrollerte utgivelser — og at enhver produksjonsversjon kunne rulles tilbake nærmest umiddelbart hvis ytelsen ble dårligere.

03

Løsningen vi leverte

Vi designet og implementerte en modulær, skybasert MLOps-arkitektur som dekker datainntak, feature-håndtering, modelltrening, inferens og observerbarhet — bygget fra starten for regulatorisk reviderbarhet.

Datainntak via to spor

Strukturerte og ustrukturerte data kommer inn i plattformen gjennom separate pipelines som møtes i en enkelt feature store. Avlesninger fra smarte målere hentes inn via en serverløs Cloud Function som trekker time-for-time API-data og laster dem direkte inn i BigQuery.

For fakturaer utløses en dokumentbehandlingspipeline ved opplasting: Docling trekker ut rå tekst via OCR, Vertex AI konverterer den til vektorinnbygginger, og en RAG-flyt som bruker Qdrant og GPT-4o henter de relevante feltene — forbrukte kWh, faktureringsdatoer og tariff — med en F1-score på 92 %.

Versjonert feature store

Begge datastrømmene renses, transformeres og sammenføyes i BigQuery ved hjelp av dbt-modeller, noe som gir én enkelt kilde til sannhet for modelltrening. Hvert datasettsnapshot er versjonskontrollert med DVC. Utslippsfaktorer for strømnettet fra IEA- og EU-kilder vedlikeholdes som en Slowly Changing Dimension-tabell for å bevare historisk nøyaktighet for tidligere rapporteringsperioder.

Automatisert modelltrening og styring

En ukentlig Vertex AI Pipeline-jobb trener opp en SARIMAX-modell på nytt, med en Temporal Fusion Transformer som kjører som utfordrer. Optuna håndterer hyperparameteroptimalisering. MLflow logger alle parametere, metrikker og artefakter for hver kjøring. Modeller som oppnår en MAPE under 6 % versjoneres og forfremmes til @champion-aliaset i MLflow Model Registry — de eneste modellene som er kvalifisert for produksjonsinferens.

Planlagt inferens og utslippsberegning

En daglig Cloud Run-tjeneste henter den registrerte @champion-modellen, laster inn de nyeste featurene fra BigQuery, genererer prognoser på tvers av alle nødvendige tidshorisonter, multipliserer dem med gjeldende utslippsfaktorer, og skriver de endelige CO₂-e-verdiene til en dedikert prediksjonstabell. Resultatet mates direkte inn i reviderbare Scope 2-dashbord i Looker.

CI/CD, datakvalitet og observerbarhet

Commits til hovedgrenen utløser GitHub Actions, som bygger og tester container-images i Cloud Build før de publiseres til Artifact Registry. Cloud Deploy utfører blå-grønne utrullinger for hver utgivelse.

Treningspipelinen kjører en Great Expectations-valideringssuite før modelltreningen begynner — hvis skjemadrift eller betydelige statistiske endringer oppdages, stopper kjøringen automatisk.

En Vertex AI Model Monitoring-jobb kjører daglig, oppdager prediksjons- og feature-drift og varsler vaktteamet via PagerDuty når ytelsen forringes utover definerte SLO-er.

All sensitiv påloggingsinformasjon lagres i Secret Manager og injiseres ved kjøretid. Strukturerte logger mater Cloud Monitoring-dashbord som dekker latens, feilrater og pipeline-helse.

Crunch-IS image case study
04

Kundens resultater

Levert på 6,5 måneder produserte plattformen målbare resultater innen prognosenøyaktighet, datakvalitet og utgivelsesstyring:

Reviderbare prognoser med produksjonskvalitet

Plattformen leverer Scope 2 CO₂-e-prognoser fra modeller som trenes opp på nytt hver uke, med en MAPE på ≤5,6 % — innenfor ytelsesterskelen som kreves for kundens forpliktelser til regulatorisk rapportering. Hver prognose kan spores tilbake til modellversjonen, datasettøyeblikksbildet og utslippsfaktoren som produserte den.

Fakturabehandling som fungerer

Dokumentintelligens-pipelinen oppnår en F1-score på 92 % for uttrekking av fakturafelt, og erstatter den malbaserte OCR-tilnærmingen som allerede var forlatt. Ustrukturerte fakturadata går nå inn i feature store i samme takt som strukturerte API-data, uten manuell korrigering.

Kontrollerte utgivelser, tilbakerulling med ett klikk

Hver modellversjon distribueres til produksjon via en automatisert blå-grønn distribusjon. Hvis ytelsen forringes, kan den forrige champion-modellen gjenopprettes i ett enkelt steg. Regulatorer mottar bevis på trinnvise, kontrollerte utgivelsesprosesser som en del av revisjonsloggen.

Fullautomatisert drift

Plattformen kjører uten manuell inngripen på tvers av innhenting, trening, inferens og overvåking. Datakvalitetssikringer hindrer dårlige data i å nå en modell. Avviksdeteksjon avdekker forringelse før den påvirker rapporteringsresultatet.

Fortell oss hva du bygger

Send en skisse, en spesifikasjon eller tre setninger om hvor systemet har stoppet opp. Vanligvis er én samtale nok til å finne ut om vi er det rette valget for deg.

Skreddersydd programvare, AI og ML, data og analyse, sky og sikkerhet – fra tidlig prosjektavgrensning til langsiktig levering.

  • 170+ eksperter
  • 120+ leverte prosjekter
  • 97% helt fornøyde

    Jeg har lest og akseptert Bruksvilkårene og Personvernerklæringen *

    Personvernet ditt er viktig. Vi bruker informasjonskapsler for å forbedre opplevelsen din og tilpasse innhold.