Gesundheitswesen (Diagnostik)
UK
6 Monate
Der Kunde ist ein Gesundheitsdienstleister, der für seine Innovationen in den Bereichen Diagnostik und Ärzteausbildung bekannt ist. Der Kunde, der in mehreren Krankenhäusern und Forschungszentren tätig ist, suchte nach einer KI-gestützten Videolösung, um den Zugriff auf videobasiertes Wissen zu optimieren, ohne Kompromisse bei der Genauigkeit, der Leistung oder dem Datenschutz einzugehen.
Die klinischen Teams des Kunden mussten stundenlang unstrukturierte Videoaufzeichnungen durchsehen, um wichtige Entscheidungen, Symptome oder Verfahrensschritte zu finden.
Videodaten, die bei Endoskopien, in Operationssälen und in Schulungsräumen aufgezeichnet wurden, wurden in Silos gespeichert, ohne dass es eine Möglichkeit gab, den Inhalt semantisch abzufragen oder zusammenzufassen. Die manuelle Transkription und Indizierung war ineffizient und in großem Umfang nicht praktikabel.
Darüber hinaus mussten alle Daten in einer sicheren Cloud-Infrastruktur verarbeitet werden, um die Einhaltung der GDPR und der Datenschutzrichtlinien des britischen NHS zu gewährleisten.
Wir haben eine hochleistungsfähige Video-KI-Agentenlösung entwickelt, die das komplette Azure-KI-Ökosystem nutzt, einschließlich Azure Machine Learning, OpenAI Services, Cosmos DB, Blob Storage, Azure Functions und vor allem die virtuellen Maschinen der NVIDIA H100 v5-Serie. Diese hochmodernen Grafikprozessoren lieferten die nötige Rechenleistung, um Videoanalysen und Inferenz in Echtzeit und in großem Maßstab durchzuführen.
Das Ziel war es, eine sofortige Suche, Kontextualisierung und Zusammenfassung medizinischer Videoinhalte zu ermöglichen, um Ärzten zu helfen, Zeit zu sparen, Fehler zu reduzieren und die Ausbildung und Entscheidungsfindung zu verbessern.
Videos sind von Natur aus komplexe, multimodale Daten. Unsere erste Aufgabe bestand darin, große Archive mit klinischen Videoinhalten (Konsultationen, Endoskopien, chirurgische Simulationen) zu erfassen und zu strukturieren.
Unser Team integrierte unterschiedliche Datenquellen, automatisierte die Anreicherung von Metadaten und glich den Videokorpus mit den Wissenssystemen des Kunden ab, um eine konsistente nachgelagerte Nutzung zu ermöglichen.
Wir erstellten detaillierte Analyseberichte über den Videokorpus, die Datenverteilungen, die Qualitätsbenchmarks und die medizinischen Kontextkorrelationen. Durch die Kombination von klinischem Fachwissen mit fortschrittlichen Feature-Engineering-Techniken verwandelten wir Rohvideos in multimodale Datensätze (Untertitel, Audiotranskripte, Embeddings), die für die KI/ML-Verarbeitung geeignet sind.
Die Lösung wurde um wichtige Azure-Dienste herum aufgebaut, um Leistung und Skalierbarkeit in Echtzeit zu gewährleisten:
Azure Machine Learning – vereinfachter Zugriff und Einsatz von VLMs und LLMs (z.B. Llama, Qwen, Parakeet) auf NCads H100 v5 virtuellen Maschinen.
Azure Functions – orchestrierte Blob-Storage-Ereignisse, initiierte VLM- und ASR-Aufgaben, verwaltete den Abschluss von Aufgaben und löste gezielte Such- und Zusammenfassungsworkflows aus generierten multimodalen Beschriftungen aus.
Azure OpenAI Services + Cosmos DB (optional Neo4j) – hat eine natürlichsprachliche Videosuchschnittstelle entwickelt, die es Klinikern ermöglicht, Aufnahmen mit Anfragen wie diesen zu durchsuchen:
„Zeigen Sie mir, wann der Chirurg Blutungen festgestellt hat“, „Zusammenfassung der postoperativen Anweisungen“.
Da die Datenverwaltung im Gesundheitswesen von entscheidender Bedeutung ist, werden alle Videodaten entweder vor Ort oder in einer sicheren GPU-beschleunigten Azure-Cloud-Infrastruktur verarbeitet. Dies gewährleistet die Einhaltung der GDPR und der Richtlinien des britischen NHS bei gleichzeitiger Aufrechterhaltung von Leistung, Skalierbarkeit und Zuverlässigkeit.
Im 3. Monat war die Video-KI-Agentenlösung voll einsatzfähig. Ärzte, Kliniker und Forscher konnten nun:
· Tausende Stunden klinischer Videoinhalte mit Abfragen in natürlicher Sprache durchsuchen;
· wichtige Verfahrensschritte und Patienteninteraktionen sofort abrufen;
· in weniger als einer Minute auf Zusammenfassungen langer OP-Aufzeichnungen zugreifen;
· kommentierte Transkripte und Video-Metadaten in das Wissensmanagementsystem des Kunden integrieren.
Die Lösung verkürzte die Überprüfungszeiten drastisch, verbesserte die diagnostischen Arbeitsabläufe und setzte wertvolle Arbeitszeit von Klinik- und Forschungspersonal frei. Darüber hinaus erzielte das System durch die Verwendung benutzerdefinierter, fein abgestimmter Open-Source-Vision-Sprachmodelle, die auf den Gesundheitsbereich zugeschnitten sind, schnellere und genauere Ergebnisse als allgemeine Cloud-KI-Dienste.
Schicken Sie uns eine Skizze, eine Spezifikation oder drei Sätze dazu, wo Ihr System gerade feststeckt. Ein Gespräch reicht in der Regel, um herauszufinden, ob wir zueinander passen.
Individuelle Software, KI & ML, Daten und Analytics, Cloud und Sicherheit – vom ersten Scoping bis zur langfristigen Umsetzung.
Wir und unsere Partner verwenden Technologien wie Cookies auf unserer Website, um Inhalte und Anzeigen zu personalisieren, Funktionen für soziale Medien bereitzustellen und unseren Datenverkehr zu analysieren. Klicken Sie auf \“Akzeptieren\“, um der Verwendung dieser Technologie im Internet zuzustimmen.
