Zorg (diagnostiek)
Verenigd Koninkrijk
6 maanden
De klant is een zorgaanbieder die bekendstaat om zijn innovatie in diagnostiek en artsenopleiding. Met vestigingen in meerdere ziekenhuizen en onderzoekscentra zocht de klant een AI-oplossing voor video om de toegang tot kennis in videobeeld te vereenvoudigen, zonder in te leveren op nauwkeurigheid, prestaties of gegevensbescherming.
De klinische teams van de klant moesten urenlange, ongestructureerde video-opnamen doorspitten om belangrijke beslismomenten, symptomen of processtappen terug te vinden.
Videomateriaal van endoscopieën, operatiekamers en trainingslabs stond in silo’s, zonder mogelijkheid om er semantisch in te zoeken of het samen te vatten. Handmatig transcriberen en indexeren was inefficiënt en op schaal onhaalbaar.
Bovendien moest alle data binnen een veilige cloudomgeving worden verwerkt om te voldoen aan de AVG en aan het gegevensbeleid van de Britse NHS.
We ontwikkelden een AI-agent voor video met hoge prestaties, gebouwd op het volledige Azure AI-ecosysteem: Azure Machine Learning, OpenAI-diensten, Cosmos DB, Blob Storage, Azure Functions en — cruciaal — de virtuele machines uit de NVIDIA H100 v5-serie. Die GPU’s leverden de rekenkracht voor realtime videoanalyse en inferentie op schaal.
Het doel was direct zoeken, contextualiseren en samenvatten van medisch videomateriaal mogelijk te maken, zodat behandelaars tijd besparen, minder fouten maken en beter kunnen opleiden en beslissen.
Video is van nature complexe, multimodale data. Onze eerste taak was grote archieven met klinisch videomateriaal (consulten, endoscopieën, chirurgische simulaties) in te lezen en te structureren.
Ons team bracht uiteenlopende gegevensbronnen samen, automatiseerde de verrijking met metadata en stemde het videocorpus af op de kennissystemen van de klant voor consistent gebruik verderop in de keten.
We stelden gedetailleerde analyserapporten op over het videocorpus, de dataverdeling, kwaliteitsnormen en de medische context. Door klinische expertise te combineren met geavanceerde feature engineering zetten we ruwe video om in multimodale datasets (bijschriften, audiotranscripties, embeddings) die geschikt zijn voor AI- en ML-verwerking.
De oplossing is opgebouwd rond de belangrijkste Azure-diensten om realtime prestaties en schaalbaarheid te leveren:
Azure Machine Learning — vereenvoudigde de toegang tot en uitrol van VLM’s en LLM’s (zoals Llama, Qwen, Parakeet) op NCads H100 v5-machines.
Azure Functions – orkestreerde de gebeurtenissen in Blob Storage, startte VLM- en ASR-taken, bewaakte de afronding en zette gerichte zoek- en samenvattingsworkflows in gang op basis van de gegenereerde multimodale bijschriften.
Azure OpenAI Services + Cosmos DB (optioneel Neo4j) – bouwden een zoekinterface in natuurlijke taal, zodat behandelaars opnamen kunnen bevragen met zinnen als:
“Laat zien wanneer de chirurg de bloeding vaststelde”, “Samenvatting van de postoperatieve instructies”.
Omdat gegevensbeheer in de zorg cruciaal is, wordt alle videodata on-premise of binnen de veilige, GPU-versnelde Azure-cloudomgeving verwerkt. Zo blijft de oplossing in lijn met de AVG en het NHS-beleid, met behoud van prestaties, schaalbaarheid en betrouwbaarheid.
In de derde maand draaide de AI-videoagent volledig. Artsen, behandelaars en onderzoekers kunnen sindsdien:
· duizenden uren klinisch videomateriaal doorzoeken met vragen in natuurlijke taal;
· belangrijke momenten in ingrepen en patiëntcontacten direct terugvinden;
· binnen een minuut een samenvatting van lange operatieopnamen bekijken;
· geannoteerde transcripties en videometadata opnemen in het kennissysteem van de organisatie.
De oplossing verkortte de beoordelingstijd drastisch, verbeterde de diagnostische processen en gaf klinisch en onderzoekspersoneel kostbare uren terug. Doordat we open-source vision-language-modellen gebruikten die specifiek voor de zorg zijn bijgetraind, leverde het systeem bovendien snellere en nauwkeurigere resultaten dan algemene AI-diensten in de cloud.
Stuur een opzet, een specificatie of drie zinnen over waar het systeem is vastgelopen. Eén gesprek is meestal genoeg om te weten of we bij elkaar passen.
Maatwerksoftware, AI & ML, data en analytics, cloud en security — van de eerste afbakening tot langdurige levering.
Uw privacy is belangrijk. We gebruiken cookies om uw ervaring te verbeteren en content te personaliseren.
