AI-drevet søgning i medicinske videoer med Azure og NVIDIA

90%
forbedret søgenøjagtighed
~68%
reduceret tid til videogennemgang
AI-drevet søgning i medicinske videoer med Azure og NVIDIA | Crunch-IS Case Study
Skabte en AI-drevet videoanalyseløsning på Azure OpenAI og NVIDIA H100 GPU'er, der leverer sikker, compliant og øjeblikkelig indsigt fra medicinske videoer til vores kunde.
Branche:

Sundhedspleje (Diagnostik)

Placering:

Storbritannien

Varighed:

6 måneder

Technologies
Azure Machine Learning
Azure OpenAI-tjenester
Azure Cosmo DB
Open source VLM
ASR
Neo4j
01

Om kunden

Kunden er en udbyder af sundhedstjenester, der er kendt for sin innovation inden for diagnostik og lægeuddannelse. Med aktiviteter på tværs af flere hospitaler og forskningscentre søgte kunden en video-AI-drevet løsning til at strømline adgangen til videobaseret viden uden at gå på kompromis med nøjagtighed, ydeevne eller databeskyttelse.

AI-drevet søgning i medicinske videoer med Azure og NVIDIA | Crunch-IS Case Study
02

Udfordring

Kundens kliniske teams var belastet med at gennemgå timevis af ustrukturerede videooptagelser for at finde vigtige beslutninger, symptomer eller proceduretrin.

Videodata optaget fra endoskopier, operationsstuer og træningslaboratorier blev opbevaret i siloer uden mulighed for semantisk at forespørge eller opsummere indhold. Manuel transskription og indeksering var ineffektiv og upraktisk i stor skala.

Derudover skulle alle data behandles inden for sikker cloud-infrastruktur for at sikre overholdelse af GDPR og det britiske NHS’ politikker for datastyring.

03

Projektomfang

Vi udviklede en højtydende video-AI-agentløsning der udnytter det fulde Azure AI-økosystem, herunder Azure Machine Learning, OpenAI-tjenester, Cosmos DB, Blob Storage, Azure Functions og, kritisk vigtigt, de virtuelle maskiner i NVIDIA H100 v5-serien. Disse banebrydende GPU’er leverede den nødvendige beregningskraft til at håndtere videoanalyse og inferens i realtid i stor skala.

Målet var at muliggøre øjeblikkelig søgning, kontekstualisering og opsummering af medicinsk videoindhold; alt sammen for at hjælpe klinikere med at spare tid, reducere fejl og forbedre træning og beslutningstagning.

Crunch-IS Case Study | Image

Videodatastrukturering og -integration

Video er i sagens natur komplekse, multimodale data. Vores første opgave var at indlæse og strukturere store arkiver af klinisk videoindhold (konsultationer, endoskopier, kirurgiske simuleringer).

Vores team integrerede forskellige datakilder, automatiserede metadataberigelse og tilpassede videokorpuset med kundens vidensystemer for konsekvent brug i efterfølgende led.

Multimodal AI og feature engineering

Vi udarbejdede detaljerede analyserapporter, der dækkede videokorpusset, datadistributioner, kvalitetsbenchmarks og medicinske kontekstkorrelationer. Ved at kombinere klinisk ekspertise med avancerede feature engineering-teknikker omdannede vi rå video til multimodale datasæt (undertekster, lydtransskriptioner, embeddings), der egner sig til AI/ML-behandling.

AI-drevet arkitektur

Løsningen blev bygget op omkring centrale Azure-tjenester for at levere realtidsydelse og skalerbarhed:

  • Azure Machine Learning – forenklet adgang til og implementering af VLM’er og LLM’er (f.eks. Llama, Qwen, Parakeet) på NCads H100 v5 virtuelle maskiner.

  • Azure Functions – orkestrerede Blob Storage-hændelser, igangsatte VLM- og ASR-opgaver, administrerede opgavefuldførelse og udløste målrettede søge- og opsummeringsarbejdsgange fra genererede multimodale billedtekster.

  • Azure OpenAI Services + Cosmos DB (valgfrit Neo4j) – byggede en grænseflade til videosøgning på naturligt sprog, hvilket gør det muligt for klinikere at forespørge optagelser med udtryk såsom:

    “Vis mig, hvornår kirurgen identificerede blødning”, “Opsummering af postoperative instruktioner”.

Sikker databehandling

Da datastyring er afgørende i sundhedssektoren, behandles alle videodata enten lokalt eller i en sikker, GPU-accelereret Azure-cloudinfrastruktur. Dette sikrer overholdelse af GDPR og britiske NHS-politikker, samtidig med at ydeevne, skalerbarhed og pålidelighed opretholdes.

04

Resultater og præstationer

I løbet af den 3. måned var video-AI-agentløsningen fuldt operationel. Læger, klinikere og forskere fik mulighed for at:

· Søge i tusindvis af timers klinisk videoindhold ved hjælp af naturlige sprogforespørgsler;

· Øjeblikkeligt hente kritiske proceduremæssige højdepunkter og patientinteraktioner;

· Få adgang til opsummerede visninger af lange kirurgiske optagelser på under et minut;

· Integrere annoterede transskriptioner og videometadata i kundens vidensystem.

Løsningen reducerede gennemgangstiderne dramatisk, forbedrede diagnostiske arbejdsgange og frigjorde værdifulde kliniske og forskningsmæssige medarbejdertimer. Derudover opnåede systemet ved at bruge tilpassede, finjusterede open source-vision-sprogmodeller skræddersyet til sundhedssektoren hurtigere og mere nøjagtige resultater end generaliserede cloud-AI-tjenester.

Fortæl os, hvad I bygger

Send et oplæg, en specifikation eller tre sætninger om, hvor systemet er gået i stå. Én samtale er som regel nok til at afgøre, om vi passer til jer.

Skræddersyet software, AI og ML, data og analyse, cloud og sikkerhed — fra tidlig afklaring til langsigtet levering.

  • 170+ eksperter
  • 120+ leverede projekter
  • 97% fuldt tilfredse

    Jeg har læst og accepteret Brugsbetingelserne og Privatlivspolitikken *

    Dit privatliv er vigtigt. Vi bruger cookies til at forbedre din oplevelse og tilpasse indhold.