Sjukvård (Diagnostik)
Storbritannien
6 månader
Kunden är en leverantör av hälso- och sjukvårdstjänster som är känd för sin innovation inom diagnostik och läkarutbildning. Med verksamhet över flera sjukhus och forskningscentra sökte kunden en videobaserad AI-driven lösning för att effektivisera tillgången till videobaserad kunskap utan att kompromissa med noggrannhet, prestanda eller datasekretess.
Kundens kliniska team belastades av att granska timmar av ostrukturerade videoinspelningar för att hitta viktiga beslut, symtom eller procedursteg.
Videodata som spelats in från endoskopier, operationssalar och träningslabb lagrades i silos utan möjlighet att semantiskt söka i eller sammanfatta innehållet. Manuell transkription och indexering var ineffektiva och opraktiska i stor skala.
Dessutom måste all data behandlas inom säker molninfrastruktur för att säkerställa efterlevnad av GDPR och brittiska NHS:s policyer för datastyrning.
Vi utvecklade en högpresterande video-AI-agentlösning som utnyttjar hela Azures AI-ekosystem inklusive Azure Machine Learning, OpenAI-tjänster, Cosmos DB, Blob Storage, Azure Functions och, avgörande, de virtuella maskinerna i NVIDIA H100 v5-serien. Dessa banbrytande GPU:er tillhandahöll den beräkningskraft som krävdes för att hantera realtidsanalys och inferens av video i stor skala.
Målet var att möjliggöra omedelbar sökning, kontextualisering och sammanfattning av medicinskt videoinnehåll; allt för att hjälpa kliniker att spara tid, minska fel och förbättra utbildning och beslutsfattande.
Video är i grunden komplex, multimodal data. Vår första uppgift var att ta in och strukturera stora arkiv med kliniskt videoinnehåll (konsultationer, endoskopier, kirurgiska simuleringar).
Vårt team integrerade olika datakällor, automatiserade metadataberikning och anpassade videokorpuset till kundens kunskapssystem för konsekvent användning nedströms.
Vi tog fram detaljerade analysrapporter som täcker videokorpusen, datadistributioner, kvalitetsriktmärken och medicinska kontextkorrelationer. Genom att kombinera klinisk expertis med avancerade tekniker för feature engineering omvandlade vi rå video till multimodala dataset (bildtexter, ljudtranskriptioner, embeddingar) som lämpar sig för AI/ML-bearbetning.
Lösningen byggdes kring viktiga Azure-tjänster för att leverera prestanda i realtid och skalbarhet:
Azure Machine Learning – förenklad åtkomst och distribution av VLM:er och LLM:er (t.ex. Llama, Qwen, Parakeet) på NCads H100 v5 virtuella maskiner.
Azure Functions – orkestrerade Blob Storage-händelser, initierade VLM- och ASR-uppgifter, hanterade slutförande av uppgifter och utlöste riktade sök- och sammanfattningsarbetsflöden från genererade multimodala bildtexter.
Azure OpenAI Services + Cosmos DB (valfritt Neo4j) – byggde ett gränssnitt för videosökning med naturligt språk, vilket gjorde det möjligt för kliniker att söka i inspelningar med uttryck som:
”Visa mig när kirurgen identifierade blödning”, ”Sammanfattning av postoperativa instruktioner”.
Eftersom datastyrning är avgörande inom sjukvården behandlas all videodata antingen lokalt eller i en säker, GPU-accelererad Azure-molninfrastruktur. Detta säkerställer efterlevnad av GDPR och brittiska NHS-policyer samtidigt som prestanda, skalbarhet och tillförlitlighet bibehålls.
Vid den tredje månaden var AI-agentlösningen för video helt i drift. Läkare, kliniker och forskare fick möjlighet att:
· Söka i tusentals timmar av kliniskt videoinnehåll med naturliga språkfrågor;
· Omedelbart hämta kritiska procedurella höjdpunkter och patientinteraktioner;
· Få tillgång till sammanfattade vyer av långa operationsinspelningar på under en minut;
· Integrera annoterade transkript och videometadata i kundens kunskapssystem.
Lösningen minskade granskningstiderna dramatiskt, förbättrade diagnostiska arbetsflöden och frigjorde värdefulla arbetstimmar för klinisk personal och forskare. Genom att använda finjusterade vision-språkmodeller med öppen källkod som skräddarsytts för hälso- och sjukvårdsområdet, uppnådde systemet dessutom snabbare och mer exakta resultat än generaliserade moln-AI-tjänster.
Skicka en skiss, en kravspecifikation eller tre meningar om var systemet har kört fast. Ett samtal räcker oftast för att avgöra om vi passar er.
Skräddarsydd mjukvara, AI och ML, data och analys, moln och säkerhet — från tidig behovsanalys till långsiktig leverans.
Din integritet är viktig. Vi använder cookies för att förbättra din upplevelse och anpassa innehåll.
