Helsevesen (diagnostikk)
Storbritannia
6 måneder
Klienten er en leverandør av helsetjenester kjent for sin innovasjon innen diagnostikk og legeopplæring. Med virksomhet på tvers av flere sykehus og forskningssentre, søkte klienten en video-AI-drevet løsning for å effektivisere tilgangen til videobasert kunnskap uten å gå på kompromiss med nøyaktighet, ytelse eller personvern.
Klientens kliniske team var belastet med å gjennomgå timevis av ustrukturerte videoopptak for å finne viktige beslutninger, symptomer eller prosedyrestrinn.
Videodata registrert fra endoskopier, operasjonsstuer og treningslaboratorier ble lagret i siloer uten mulighet til å semantisk søke i eller oppsummere innhold. Manuell transkribering og indeksering var ineffektiv og upraktisk i stor skala.
I tillegg måtte alle data behandles innenfor sikker skyinfrastruktur for å sikre samsvar med GDPR og britiske NHS-retningslinjer for datastyring.
Vi utviklet en høytytende video-AI-agentløsning som utnytter hele Azure AI-økosystemet, inkludert Azure Machine Learning, OpenAI-tjenester, Cosmos DB, Blob Storage, Azure Functions, og ikke minst de virtuelle maskinene i NVIDIA H100 v5-serien. Disse banebrytende GPU-ene ga den nødvendige beregningskraften for å håndtere videoanalyse og inferens i sanntid i stor skala.
Målet var å muliggjøre umiddelbar søking, kontekstualisering og oppsummering av medisinsk videoinnhold; alt for å hjelpe klinikere med å spare tid, redusere feil og forbedre opplæring og beslutningstaking.
Video er i seg selv kompleks, multimodal data. Vår første oppgave var å innta og strukturere store arkiver med klinisk videoinnhold (konsultasjoner, endoskopier, kirurgiske simuleringer).
Teamet vårt integrerte ulike datakilder, automatiserte metadataberikelse og tilpasset videokorpuset til kundens kunnskapssystemer for konsistent bruk nedstrøms.
Vi utarbeidet detaljerte analyserapporter som dekket videokorpuset, datadistribusjoner, kvalitetsbenchmarker og medisinske kontekstkorrelasjoner. Ved å kombinere klinisk ekspertise med avanserte teknikker for feature engineering, transformerte vi rå video til multimodale datasett (bildetekster, lydtranskripsjoner, embeddings) egnet for AI/ML-prosessering.
Løsningen ble bygget rundt sentrale Azure-tjenester for å levere sanntidsytelse og skalerbarhet:
Azure Machine Learning – forenklet tilgang til og distribusjon av VLM-er og LLM-er (f.eks. Llama, Qwen, Parakeet) på virtuelle maskiner av typen NCads H100 v5.
Azure Functions – orkestrerte Blob Storage-hendelser, initierte VLM- og ASR-oppgaver, administrerte oppgavefullføring og utløste målrettede søke- og oppsummeringsarbeidsflyter fra genererte multimodale bildetekster.
Azure OpenAI Services + Cosmos DB (valgfritt Neo4j) – bygde et grensesnitt for videosøk med naturlig språk, som gjør det mulig for klinikere å søke i opptak med uttrykk som:
«Vis meg når kirurgen identifiserte blødning», «Oppsummering av instruksjoner etter operasjonen».
Siden datastyring er kritisk i helsevesenet, behandles alle videodata enten lokalt eller i en sikker, GPU-akselerert Azure-skyinfrastruktur. Dette sikrer samsvar med GDPR og britiske NHS-retningslinjer samtidig som ytelse, skalerbarhet og pålitelighet opprettholdes.
I løpet av den tredje måneden var video-AI-agentløsningen fullt operativ. Leger, klinikere og forskere fikk muligheten til å:
· Søke i tusenvis av timer med klinisk videoinnhold ved hjelp av naturlige språkforespørsler;
· Umiddelbart hente frem kritiske prosedyrehøydepunkter og pasientinteraksjoner;
· Få tilgang til oppsummerte visninger av lange kirurgiske opptak på under ett minutt;
· Integrere annoterte transkripsjoner og videometadata i kundens kunnskapssystem.
Løsningen reduserte gjennomgangstidene dramatisk, forbedret diagnostiske arbeidsflyter og frigjorde verdifulle timer for klinisk personale og forskningspersonale. I tillegg oppnådde systemet, ved å bruke finjusterte visjon-språkmodeller med åpen kildekode, skreddersydd for helsevesenet, raskere og mer nøyaktige resultater enn generelle AI-tjenester i skyen.
Send en skisse, en spesifikasjon eller tre setninger om hvor systemet har stoppet opp. Vanligvis er én samtale nok til å finne ut om vi er det rette valget for deg.
Skreddersydd programvare, AI og ML, data og analyse, sky og sikkerhet – fra tidlig prosjektavgrensning til langsiktig levering.
Personvernet ditt er viktig. Vi bruker informasjonskapsler for å forbedre opplevelsen din og tilpasse innhold.
