البحث عن مقاطع الفيديو الطبية باستخدام الذكاء الاصطناعي عبر Azure وNVIDIA

90%
تحسين دقة البحث
~68%
تقليل الوقت المستغرق في مراجعة مقاطع الفيديو
البحث عن مقاطع الفيديو الطبية باستخدام الذكاء الاصطناعي عبر Azure وNVIDIA | Crunch-IS Case Study
قمنا بتطوير حل لتحليل مقاطع الفيديو مدعوم بالذكاء الاصطناعي على منصة Azure OpenAI ووحدات معالجة الرسومات NVIDIA H100، مما يوفر لعميلنا رؤى آمنة ومتوافقة مع المعايير وفورية مستمدة من مقاطع الفيديو الطبية.
الصناعة:

الرعاية الصحية (التشخيص)

الموقع:

المملكة المتحدة

المدة:

6 أشهر

Technologies
Azure Machine Learning
خدمات Azure OpenAI
Azure Cosmo DB
VLM مفتوح المصدر
ASR
Neo4j
01

نبذة عن العميل

العميل هو مزود لخدمات الرعاية الصحية يشتهر بابتكاراته في مجال التشخيص وتدريب الأطباء. ونظرًا لوجود عمليات له في العديد من المستشفيات ومراكز الأبحاث، فقد سعى العميل إلى إيجاد حل قائم على الذكاء الاصطناعي للفيديو لتبسيط الوصول إلى المعرفة المستندة إلى مقاطع الفيديو دون المساس بالدقة أو الأداء أو خصوصية البيانات.

البحث عن مقاطع الفيديو الطبية باستخدام الذكاء الاصطناعي عبر Azure وNVIDIA | Crunch-IS Case Study
02

التحدي

كانت الفرق الطبية لدى العميل مثقلة بمهمة مراجعة ساعات من التسجيلات المرئية غير المنظمة للعثور على القرارات الرئيسية أو الأعراض أو خطوات الإجراءات.

كانت بيانات الفيديو المسجلة من عمليات التنظير الداخلي وغرف العمليات ومختبرات التدريب تُخزَّن في أنظمة منعزلة، دون أي وسيلة للبحث عن المحتوى أو تلخيصه من الناحية الدلالية. وكان النسخ اليدوي والفهرسة غير فعالين وغير عمليين عند تطبيقهما على نطاق واسع.

بالإضافة إلى ذلك، كان لا بد من معالجة جميع البيانات ضمن بنية تحتية سحابية آمنة لضمان الامتثال للائحة العامة لحماية البيانات (GDPR) وسياسات حوكمة البيانات الخاصة بخدمة الصحة الوطنية (NHS) في المملكة المتحدة.

03

نطاق المشروع

قمنا بتطوير حل وكيل ذكاء اصطناعي للفيديو عالي الأداء، مستفيدين من منظومة Azure AI الشاملة التي تشمل Azure Machine Learning، وخدمات OpenAI، وCosmos DB، وBlob Storage، وAzure Functions، والأهم من ذلك، الأجهزة الافتراضية من سلسلة NVIDIA H100 v5. وقد وفرت وحدات معالجة الرسومات (GPU) المتطورة هذه القوة الحاسوبية اللازمة لإجراء تحليل الفيديو والاستدلال في الوقت الفعلي على نطاق واسع.

كان الهدف هو تمكين البحث الفوري، ووضع المحتوى في سياقه، وتلخيص محتوى مقاطع الفيديو الطبية؛ وذلك كله لمساعدة الأطباء على توفير الوقت، والحد من الأخطاء، وتحسين التدريب وعملية اتخاذ القرار.

Crunch-IS Case Study | Image

تنظيم بيانات الفيديو وتكاملها

تعد مقاطع الفيديو، بطبيعتها، بيانات معقدة ومتعددة الوسائط. وكانت مهمتنا الأولى هي استيعاب وتنظيم أرشيفات ضخمة من محتوى الفيديو السريري (الاستشارات الطبية، عمليات التنظير الداخلي، محاكاة العمليات الجراحية).

قام فريقنا بدمج مصادر البيانات المتباينة، وأتمتة عملية إثراء البيانات الوصفية، ومواءمة مجموعة مقاطع الفيديو مع أنظمة المعرفة الخاصة بالعميل لضمان الاستخدام المتسق في المراحل اللاحقة.

الذكاء الاصطناعي متعدد الوسائط وهندسة الميزات

قمنا بإعداد تقارير تحليلية مفصلة تغطي مجموعة مقاطع الفيديو، وتوزيعات البيانات، ومعايير الجودة، والارتباطات مع السياق الطبي. ومن خلال الجمع بين الخبرة السريرية وتقنيات هندسة الميزات المتقدمة، قمنا بتحويل مقاطع الفيديو الأولية إلى مجموعات بيانات متعددة الوسائط (التعليقات التوضيحية، والنصوص الصوتية، والتمثيلات) مناسبة للمعالجة باستخدام الذكاء الاصطناعي/التعلم الآلي.

الهندسة المعمارية المدعومة بالذكاء الاصطناعي

تم تصميم الحل استنادًا إلى خدمات Azure الرئيسية لتوفير الأداء والقابلية للتوسع في الوقت الفعلي:

  • Azure Machine Learning – وصول ونشر مبسطان لنماذج الرؤية واللغة (VLMs) ونماذج اللغة الكبيرة (LLMs) (مثل Llama وQwen وParakeet) على الأجهزة الافتراضية NCads H100 v5.

  • Azure Functions – تنسيق أحداث Blob Storage، وبدء مهام VLM وASR، وإدارة إتمام المهام، وتشغيل سير عمل البحث والتلخيص المستهدفين استنادًا إلى التسميات التوضيحية متعددة الوسائط التي تم إنشاؤها.

  • خدمات Azure OpenAI + Cosmos DB (واختياريًّا Neo4j) – تم إنشاء واجهة للبحث في مقاطع الفيديو باللغة الطبيعية، مما يتيح للأطباء البحث في التسجيلات باستخدام تعابير مثل:

    «أرني متى لاحظ الجراح وجود نزيف»، «ملخص تعليمات ما بعد الجراحة».

معالجة البيانات بشكل آمن

نظرًا لأهمية حوكمة البيانات في قطاع الرعاية الصحية، تتم معالجة جميع بيانات الفيديو إما محليًّا أو داخل البنية التحتية السحابية الآمنة لـ Azure المُعززة بوحدات معالجة الرسومات (GPU). ويضمن ذلك الامتثال للائحة العامة لحماية البيانات (GDPR) وسياسات هيئة الخدمات الصحية الوطنية (NHS) في المملكة المتحدة، مع الحفاظ في الوقت نفسه على الأداء وقابلية التوسع والموثوقية.

04

النتائج والإنجازات

بحلول الشهر الثالث، أصبح حل الوكيل الذكي القائم على الذكاء الاصطناعي للفيديو جاهزًا للعمل بشكل كامل. وأصبح بإمكان الأطباء والمتخصصين السريريين والباحثين:

· البحث في آلاف الساعات من محتوى الفيديو السريري باستخدام استعلامات باللغة الطبيعية؛

· الاطلاع الفوري على أبرز النقاط الإجرائية والتفاعلات مع المرضى؛

· الاطلاع على ملخصات لتسجيلات العمليات الجراحية الطويلة في أقل من دقيقة؛

· دمج النصوص المُشروحة وبيانات الفيديو الوصفية في نظام قاعدة المعرفة الخاص بالعميل.

أدى هذا الحل إلى تقليل أوقات المراجعة بشكل كبير، وتحسين سير العمل التشخيصي، وتوفير ساعات عمل قيّمة للموظفين السريريين والباحثين. بالإضافة إلى ذلك، من خلال استخدام نماذج لغة الرؤية مفتوحة المصدر المخصصة والمُحسَّنة بدقة والمصممة خصيصًا لمجال الرعاية الصحية، حقق النظام نتائج أسرع وأكثر دقة مقارنة بخدمات الذكاء الاصطناعي السحابية العامة.

أخبرنا بما تعمل على بنائه

أرسل لنا مخططاً أولياً أو مواصفات أو ثلاث جمل عن النقطة التي توقف عندها النظام. عادةً ما تكفي محادثة واحدة لمعرفة ما إذا كنا مناسبين لك.

البرمجيات المخصصة، والذكاء الاصطناعي والتعلم الآلي، والبيانات والتحليلات، والحوسبة السحابية، والأمن — من تحديد النطاق المبكر وحتى التسليم على المدى الطويل.

  • 170+ خبير
  • 120+ مشروع منجز
  • 97% نسبة الرضا التام

    لقد قرأت ووافقت على شروط الاستخدام و سياسة الخصوصية *

    خصوصيتك تهمنا. نستخدم ملفات تعريف الارتباط لتحسين تجربتك وتخصيص المحتوى.