End-to-end platform voor auditeerbare CO2-prognoses in scope 2

92%
F1-score voor extractie van factuurvelden
≤5,6% MAPE
nauwkeurigheid van de energieprognose
End-to-end platform voor auditeerbare CO2-prognoses in scope 2 | Crunch-IS Case Study
We bouwden een MLOps-platform voor productie dat data van slimme meters en facturen samenbrengt in een versiebeheerde feature store, tijdreeksmodellen traint en beheerst in een wekelijkse automatische cyclus, en auditeerbare scope 2-prognoses voor CO₂-e levert die voldoen aan de rapportage-eisen van CSRD en ISO 14064-1.
Branche:

Milieudiensten en ESG-analyse

Locatie:

Duitsland

Teamgrootte:

6

Duur:

6,5 maanden

Technologies
Statsmodels (SARIMAX)
Temporal Fusion Transformer (TFT)
Optuna (HPO)
Docling (OCR)
Vertex AI Text Embeddings
Qdrant Vector Search
BigQuery
Cloud Functions
Cloud Run
Cloud Scheduler
MLflow (Tracking & Registry)
DVC
Vertex AI Pipelines
GitHub Actions
Cloud Build
Cloud Deploy (Blue-Green)
Dataplex
Cloud Monitoring
Secret Manager
Terraform (IaC)
01

Over de klant

De klant levert geautomatiseerde oplossingen voor ESG-rapportage aan middelgrote productiebedrijven in de EU. Hun product levert scope 2-rapportagegegevens aan klanten die deze rechtstreeks indienen bij accountants en milieutoezichthouders.

Nauwkeurigheid en reproduceerbaarheid zijn voor deze klant geen onderscheidende extra’s — ze zíjn het product. Elke prognose die het platform maakt, moet traceerbaar, versiebeheerd en verdedigbaar zijn bij een audit.

End-to-end platform voor auditeerbare CO2-prognoses in scope 2 | Crunch-IS Case Study
02

Uitdaging

Het platform opschalen vroeg om vier op elkaar stapelende problemen op te lossen:

1. Ongestructureerde factuurgegevens op schaal.

Ongeveer 40% van de gegevensbronnen van de klant bestond uit pdf-facturen. OCR op basis van sjablonen had al gefaald. Het platform moest de belangrijkste velden — kilowattuur, data, tariefcodes — betrouwbaar uitlezen uit documentformaten die per leverancier en per land verschilden.

2. Prognoses over meerdere horizonnen.

De business had tegelijk energieverbruiksprognoses nodig over drie tijdshorizonnen: dagelijks, maandelijks en een voortschrijdend jaarbeeld van 12 maanden. Eén model voor alle drie was niet haalbaar — de prognoselaag moest zo worden opgezet dat elke horizon nauwkeurig wordt bediend.

3. Actuele emissiefactoren.

Voor scope 2 moeten verbruiksprognoses worden vermenigvuldigd met de juiste landspecifieke emissiefactor van het net voor de gerapporteerde periode. Die factoren veranderen periodiek. Het platform moest de juiste factor consequent en automatisch op het juiste historische venster toepassen.

4. Releasebeheer op auditniveau.

Toezichthouders eisten bewijs dat nieuwe modelversies via gefaseerde, beheerste releases in productie kwamen — en dat elke productieversie vrijwel direct kon worden teruggedraaid als de prestaties terugliepen.

03

De oplossing die wij leverden

We ontwierpen en bouwden een modulaire, cloud-native MLOps-architectuur die data-inname, featurebeheer, modeltraining, inferentie en observability omvat — vanaf het begin gebouwd op auditeerbaarheid voor toezichthouders.

Data-inname langs twee paden

Gestructureerde en ongestructureerde data komen het platform binnen via aparte pipelines die samenkomen in één feature store. Meterstanden van slimme meters komen binnen via een serverless Cloud Function die uurlijkse API-gegevens ophaalt en rechtstreeks in BigQuery laadt.

Voor facturen start bij het uploaden een documentverwerkingspipeline: Docling haalt de ruwe tekst via OCR eruit, Vertex AI zet die om in vector-embeddings, en een RAG-flow met Qdrant en GPT-4o haalt de relevante velden op — verbruikte kWh, factuurdata en tarief — met een F1-score van 92%.

Versiebeheerde feature store

Beide datastromen worden in BigQuery met dbt-modellen opgeschoond, getransformeerd en samengevoegd tot één bron van waarheid voor modeltraining. Elke snapshot van een dataset staat onder versiebeheer met DVC. Emissiefactoren van het net uit IEA- en EU-bronnen worden bijgehouden als Slowly Changing Dimension-tabel, zodat de historische nauwkeurigheid voor eerdere rapportageperioden behouden blijft.

Geautomatiseerde modeltraining en governance

Een wekelijkse Vertex AI Pipeline-job hertraint een SARIMAX-model, met een Temporal Fusion Transformer als uitdager. Optuna verzorgt de optimalisatie van hyperparameters. MLflow legt van elke run alle parameters, metrieken en artefacten vast. Modellen met een MAPE onder 6% worden versiebeheerd en gepromoveerd naar de alias @champion in het MLflow Model Registry — de enige modellen die in productie mogen draaien.

Geplande inferentie en emissieberekening

Een dagelijkse Cloud Run-service haalt het geregistreerde @champion-model op, laadt de laatste features uit BigQuery, maakt prognoses voor alle vereiste tijdshorizonnen, vermenigvuldigt die met de actuele emissiefactoren en schrijft de definitieve CO₂-e-waarden naar een aparte voorspellingstabel. De uitvoer voedt rechtstreeks de auditeerbare scope 2-dashboards in Looker.

CI/CD, datakwaliteit en observability

Commits op de hoofdbranch starten GitHub Actions, die containerimages in Cloud Build bouwen en testen voordat ze naar Artifact Registry gaan. Cloud Deploy voert bij elke release een blue-green-uitrol uit.

De trainingspipeline draait een validatiesuite met Great Expectations voordat de modeltraining begint — worden er schemadrift of grote statistische verschuivingen gedetecteerd, dan stopt de run automatisch.

Een job van Vertex AI Model Monitoring draait dagelijks, detecteert drift in voorspellingen en features, en waarschuwt het dienstdoende team via PagerDuty wanneer de prestaties onder de afgesproken SLO’s zakken.

Alle gevoelige inloggegevens staan in Secret Manager en worden tijdens runtime ingevoegd. Gestructureerde logs voeden dashboards in Cloud Monitoring voor latency, foutpercentages en de gezondheid van de pipeline.

Crunch-IS image case study
04

Resultaten voor de klant

Het platform, opgeleverd in 6,5 maanden, leverde meetbare resultaten op het gebied van prognosenauwkeurigheid, datakwaliteit en releasebeheer:

Auditeerbare prognoses op productiekwaliteit

Het platform levert wekelijks hertrainde scope 2-prognoses voor CO₂-e met een MAPE van ≤5,6% — binnen de prestatiedrempel die de wettelijke rapportageverplichtingen van de klant vereisen. Elke prognose is te herleiden tot de modelversie, de datasetsnapshot en de emissiefactor waarmee die is gemaakt.

Factuurverwerking die wél werkt

De pipeline voor documentintelligentie haalt een F1-score van 92% voor de extractie van factuurvelden en vervangt daarmee de op sjablonen gebaseerde OCR-aanpak die al was opgegeven. Ongestructureerde factuurgegevens komen nu in hetzelfde tempo als gestructureerde API-data de feature store binnen, zonder handmatige correctie.

Beheerste releases, terugdraaien met één klik

Elke modelversie gaat via een geautomatiseerde blue-green-uitrol naar productie. Lopen de prestaties terug, dan is de vorige champion in één stap te herstellen. Toezichthouders krijgen als onderdeel van het auditdossier bewijs van gefaseerde, beheerste releaseprocessen.

Volledig geautomatiseerde bedrijfsvoering

Het platform draait zonder handmatig ingrijpen over inname, training, inferentie en monitoring. Waarborgen voor datakwaliteit voorkomen dat slechte data een model bereikt. Driftdetectie brengt achteruitgang aan het licht voordat die de rapportage raakt.

Vertel ons wat u bouwt

Stuur een opzet, een specificatie of drie zinnen over waar het systeem is vastgelopen. Eén gesprek is meestal genoeg om te weten of we bij elkaar passen.

Maatwerksoftware, AI & ML, data en analytics, cloud en security — van de eerste afbakening tot langdurige levering.

  • 170+ experts
  • 120+ opgeleverde projecten
  • 97% volledig tevreden

    Ik heb de Gebruiksvoorwaarden en het Privacybeleid gelezen en geaccepteerd *

    Uw privacy is belangrijk. We gebruiken cookies om uw ervaring te verbeteren en content te personaliseren.