OWASP Top 10 for LLM Applications
نختبر المخاطر العشرة جميعها في قائمة OWASP، من حقن التعليمات والإفصاح عن المعلومات الحساسة إلى الصلاحيات المفرطة والمعالجة غير السليمة للمخرجات. وترتبط كل ثغرة مكتشفة بالقائمة لتستفيد منها فرق الأمان والامتثال لديك.
لا ترى مجالك؟ لنبدأ بمحادثة.
تحدّث إلى خبير ذكاء اصطناعيCrunch-IS بالأرقام
يمكن إقناع روبوت المحادثة أو مساعد RAG أو وكيل الذكاء الاصطناعي لديك بتسريب الملفات أو تنفيذ إجراءات لا يتحقق منها اختبار الاختراق التقليدي أبدًا.
في Crunch-IS ننفّذ خدمات اختبار اختراق الذكاء الاصطناعي وفق OWASP Top 10 for LLM Applications، ونُصلح ما نكتشفه، ونُبقي الهجمات التي نجحت في CI لديك كفحوص آلية.
تُكتشف مسارات الهجوم وتُصلح قبل أن يتمكن العملاء أو الشركاء أو المهاجمون من استغلالها.
تتقلص الصلاحيات إلى ما تتطلبه كل مهمة، فلا يصل الوكيل المُتلاعَب به إلا إلى القليل.
لا تستند الإجابات إلا إلى الملفات التي يحق للشخص السائل الاطلاع عليها، وتبقى البيانات الشخصية خارج الردود.
يجيب تقرير مرتبط بـ OWASP Top 10 for LLM Applications عن أسئلة الأمان التي تُطرح في صفقات المؤسسات وعمليات التدقيق.
إليك ما يحدث بعد إرسال الاستمارة.
أخبرنا بما يفعله تطبيق الذكاء الاصطناعي لديك، والأدوات والبيانات التي يمكنه الوصول إليها، ومن يستخدمه.
نراجع البنية المعمارية لديك ونرسل نطاقًا مكتوبًا: ما نختبره، وما يُسمح لنا بالمساس به، والسعر.
نهاجم التطبيق يدويًا وبحزم آلية، في بيئة ما قبل الإنتاج ما لم تختر خلاف ذلك.
تتلقى كل ثغرة مكتشفة مرتبة حسب قابلية الاستغلال، مع المُدخل الذي تسبب فيها.
يُصلح مهندسونا الثغرات المكتشفة في قاعدة الشيفرة لديك، بمراجعة فريقك.
نعيد تنفيذ كل هجوم نجح ونتركها جميعًا في مسار CI لديك كفحوص آلية.
نبدأ برسم خريطة للطرق التي يمكن أن يصل بها المهاجم إلى نموذجك: المدخلات التي يقرؤها، والمستندات التي يسترجعها، والأدوات والبيانات التي يمكنه الوصول إليها، ومن يستطيع التحدث إليه. ونتفق خلال التقييم على المخاطر ذات الأولوية وعلى ما تعنيه النتيجة الناجحة. كما يحدد التقييم نطاق الاختبار الذي يليه وسعره.
لا يحتاج المهاجمون إلى الوصول إلى تعليمات نموذجك لتغييرها. نختبر الحقن المباشر عبر المحادثة، والحقن غير المباشر عبر رسائل البريد الإلكتروني والمستندات وصفحات الويب التي يقرؤها نموذجك، بما في ذلك محاولات استخراج تعليمات النظام. وتأتي كل ثغرة مكتشفة مع المُدخل الدقيق الذي نجح، ليتمكن فريقك من إعادة إنتاجها.
يمكن لوكيل يملك صلاحية الوصول إلى الأدوات أن يُحدث ضررًا حقيقيًا إذا أقنعه أحدهم بتنفيذ إجراء خاطئ. نحاول دفع وكيلك إلى تحويل أموال أو حذف سجلات أو تشغيل شيفرة برمجية أو الوصول إلى بيانات خارج مهمته، عبر أدواته الخاصة وخوادم MCP والتكاملات. وترى أي الصلاحيات يمكن للمهاجم استغلالها، وأيها لم يكن الوكيل بحاجة إليها أصلًا.
يجب ألا يجيب مساعد RAG إلا من المستندات التي يحق للشخص السائل الاطلاع عليها. نختبر ما إذا كان يمكن دفعه إلى استرجاع ملفات شخص آخر أو كشف بيانات شخصية. ونتحقق أيضًا مما يحدث عندما تتدفق مخرجات النموذج دون تصفية إلى متصفح أو استعلام قاعدة بيانات أو نظام آخر.
التقرير وحده يترك الجزء الأصعب لفريقك. يُصلح مهندسونا ما يكشفه الاختبار: تضييق صلاحيات الوكلاء، وتصفية المدخلات والمخرجات، وضوابط الحماية، وتسجيل كل إجراء يتخذه الوكيل. ويُضاف كل إصلاح إلى قاعدة الشيفرة لديك بعد مراجعة فريقك. وإذا كانت سياسة الأمان لديك تشترط أن تأتي الإصلاحات من مطوريك، فإننا نسلّم كل إصلاح على شكل خطوات دقيقة بدلًا من ذلك.
نعيد تنفيذ كل هجوم ناجح بعد الإصلاحات للتأكد من أنه لم يعد يعمل. ثم تتحول الهجمات إلى فحوص آلية في CI لديك، حتى لا تتمكن تعليمات أو نموذج أو أداة جديدة من إعادة فتح ثغرة أغلقناها دون أن يلاحظ أحد.
نختبر المخاطر العشرة جميعها في قائمة OWASP، من حقن التعليمات والإفصاح عن المعلومات الحساسة إلى الصلاحيات المفرطة والمعالجة غير السليمة للمخرجات. وترتبط كل ثغرة مكتشفة بالقائمة لتستفيد منها فرق الأمان والامتثال لديك.
نجمع بين هجمات نكتبها يدويًا لحالة الاستخدام لديك وحزم هجمات آلية، بحيث يغطي اختبار واحد الحالات الخاصة بتطبيقك وأنماط الهجوم المعروفة معًا.
نحصر بيانات اعتماد كل وكيل في مهمته ونسجّل كل استدعاء لأداة مع مدخلاته، تمامًا كما نبني وكلاءنا. ففي وكيل ذكاء اصطناعي للبريد الإلكتروني في قطاع البناء، يمر كل ملف وارد عبر Microsoft Defender for Storage قبل أن يتعامل معه الوكيل.
نضيف مرشّحات تلتقط التعليمات المحقونة قبل وصولها إلى النموذج، وفحوصًا لما يُعيده النموذج قبل أن يصل إلى متصفح أو استعلام أو مستخدم.
نفرض صلاحيات المستندات لحظة الاسترجاع، كما في مساعد معرفي مؤسسي لا يجيب إلا من الملفات التي يحق لكل شخص الاطلاع عليها.
نضيف هجمات فحوص الانحدار إلى مسار البناء لديك بجانب فحوص DevSecOps الأخرى، مع عتبة تُفشل البناء عندما ينجح أي هجوم مجددًا.
يحصل مهندسوك على كل ثغرة مكتشفة مع المُدخل الذي تسبب فيها وطريقة إصلاحها. وتحصل إدارتك والمدققون على ملخص واضح للمخاطر وحالتها.
نتفق كتابيًا على التطبيق والوكلاء والبيانات التي نختبرها، وما يُسمح لنا بالمساس به، وما تعنيه النتيجة الناجحة.
تُرتَّب كل ثغرة مكتشفة بحسب سهولة استغلالها من قبل المهاجم وما يمكن أن تصل إليه، ليبدأ فريقك بإصلاح الخطيرة منها أولًا.
تبقى الهجمات التي نجحت في مسار CI لديك كفحوص آلية، موثّقة ليتمكن فريقك من تشغيلها وتوسيعها.
نحن نبني تطبيقات الذكاء الاصطناعي، لذا فالفريق الذي يكتشف الثغرة هو نفسه الذي يُغلقها. ينتهي الاختبار بإصلاحات في قاعدة الشيفرة لديك وبفحوص تُثبت فعاليتها.
نرتّب كل ثغرة مكتشفة بحسب ما يمكن للمهاجم الوصول إليه فعليًا من خلالها. فيُغلق إصلاحك الأول المسار الأهم، ولا تُزاحم الثغرات المكتشفة منخفضة الأثر تلك الخطيرة.
نصمم وكلاء الذكاء الاصطناعي بصلاحيات محصورة وإجراءات مسجّلة، لذا نعرف أين ينتهي الأمر بالوكلاء إلى صلاحيات تفوق ما تحتاجه مهامهم. ونختبر وكيلك بهذه المعرفة.
يقدمون الكثير من والأفكار أفكارًا لأفضل الممارسات القابلة للتطوير، والتي تمكّننا من تحقيق ما لدينا الآن.

كان Crunch-IS رائعًا في توجيهنا نحو الشكل الذي يجب أن يكون عليه العمل الجيد وتحويل أفكارنا إلى واقع من أجل التقييم والمراجعة.

ما أثار إعجابي في Crunch-IS هو جودة المطورين. إنها ببساطة أفضل بكثير مما رأيناه في أي شركة أخرى حاولنا العمل معها.

لقد أعجبنا أدائهم، وكيفية مشاركتهم في تطوير المنتج، ومدى اهتمامهم بالمنتج.

لقد كانت تجربة ممتعة للغاية. كان كل شيء رائعًا فيما يتعلق بـ التواصل، والعمل.

لقد كانت شراكتنا مع Crunch-IS مورداً لا يقدر بثمن خلال مسيرتنا نحو التوسع.

ما لاحظته في Crunch-IS هو الكفاءة الفنية، والقدرة على التفكير خارج الصندوق، وإجادة اللغة الإنجليزية بشكل جيد جدًّا.

لقد كان لها تأثير كبير على البنية الكلية التي توصلنا إليها في النهاية. وبشكل عام، كنت سعيدًا ومتأثرًا بكل ما قامت به شركة Crunch-IS من أجلنا.

أثارت شركة Crunch-IS إعجابنا بـتميزها التقني، وبـ«التقاء العقول والثقافات» بامتياز، فضلاً عن التبادلات الصريحة والصادقة. لم يكن هذا قرارًا اتخذناه باستخفاف، وبعد مرور 5 أشهر على بدء التعاون، ما زلنا معجبين حقًّا بالطريقة التي تتعامل بها Crunch-IS مع هذا التعاون، ونحن سعداء جدًّا بمستوى كفاءة الفريق الذي يعمل معنا.

كان العمل مع Crunch-IS سهلاً. فقد أبدوا صبراً معنا أثناء مناقشة بنود العقد، كما أبدوا صبراً مرة أخرى أثناء إعداد نظام الفوترة الخاص بنا. وكان تصميم الموقع أنيقاً، كما قام المطور بتسليم التطبيق الذي تعاقدنا عليه في الموعد المحدد وبجودة عالية.

كان فريق العمل في شركة Crunch-IS لطيفاً للغاية. لقد عملوا بجد وكانوا محترفين للغاية. وعندما كانت تطرأ أسئلة أو مشاكل تقنية، كانوا يجيبون عليها بسرعة وكانوا دائماً مستعدين ولطفاء لمساعدتنا.

ساعدنا مطور Crunch-IS في تقديم ميزة مهمة لمشروعنا بشكل أسرع بكثير من المتوقع.

سهّلت شركة Crunch-IS جهدًا تعاونيًا سلسًا وسلسًا طوال فترة المشروع. حافظ الفريق على خطوط اتصال مفتوحة، واحتفظوا بسجلات مفصلة لمهام المهام، والتزموا بالجداول الزمنية للمشروع. إن خبرتهم فيما يتعلق بكل من التصميم والتطوير هي ما يميز الشركة.

توفر شركة Crunch-IS دعم تطوير مستمر يلبي متطلبات المشروع حسب الحاجة. وعلى الرغم من موقعها في الخارج، إلا أنه يسهل العمل معها ويمكن الوصول إليها من خلال قنوات الاتصال

أفضل بائع يمكن أن نجده. يمزج Crunch-IS بين التطوير العملي ومبادئ التصميم المبتكرة. كانت التعليقات الداخلية والخارجية على تطوير التطبيق إيجابية. يكملون مراحل المشروع حسب الجدول الزمني المخطط له ويسلمون في حدود الميزانية. الفريق متجاوب ومستعد للدخول في حوار مثمر.

تجاوزت Crunch-IS توقعاتي. أقدر سعة حيلة المطورين في مواجهة القيود والمتطلبات المعقدة. تمكنت الشركة من تسليم المشروع وإتمامه بنجاح.

سار المشروع بسلاسة حتى الآن. تتمتع شركة Crunch-IS بأخلاقيات عمل استثنائية. وبالتالي، فقد تمكنوا من مواجهة كل التحديات التي تعترض طريقهم. فهم يديرون العمل اليومي من تلقاء أنفسهم بشكل جيد، ولكنهم يتواصلون معنا بانتظام للتأكد من أننا على وفاق.

التطبيق الذي عملت عليه Crunch-IS نظيف ومبسط ويعمل على النحو المنشود. تبذل شركة Crunch-IS قصارى جهدها لضمان انسجام الفريقين. لقد صاغ الفريق المتحمس تجربة ممتعة من خلال سلوكهم الإيجابي ومهاراتهم الفعالة في إدارة المشروع. كان الفريق ودودًا للغاية، وكان العمل معهم ممتعًا.

اختبار اختراق الذكاء الاصطناعي هو اختبار أمني لتطبيق مبني على نموذج لغوي: روبوت محادثة، أو مساعد RAG، أو وكيل يملك أدوات. ويتحقق مما إذا كان المهاجم قادرًا على تجاوز تعليمات النموذج، أو استخراج البيانات، أو إساءة استخدام صلاحيات الوكيل، أو دفع مخرجات ضارة إلى أنظمة أخرى. إنه يختبر تطبيق الذكاء الاصطناعي لديك، وهي مهمة تختلف عن استخدام أدوات الذكاء الاصطناعي لتنفيذ اختبار اختراق.
يبحث اختبار الاختراق التقليدي عن الثغرات في الشيفرة والبنية التحتية والإعدادات. أما تطبيق LLM فيضيف مسارات هجوم عبر اللغة: تعليمات مخفية في مستند، أو سؤال يُسرّب بيانات مستخدم آخر، أو محادثة تقود الوكيل إلى إجراء خاطئ. ويغطي اختبار أمان LLM لدينا هذه المسارات والتكاملات المحيطة بها؛ أما اختبار بنيتك التحتية الأوسع فهو جزء من خدمات الأمن السيبراني لدينا.
يفحص اختبار اختراق الذكاء الاصطناعي تطبيقًا محددًا بحثًا عن ثغرات قابلة للاستغلال، ويرتّبها، وينتهي بالإصلاحات وإعادة الاختبار. أما Red Teaming للذكاء الاصطناعي فهو أوسع نطاقًا وموجّه نحو أهداف محددة: إذ يختبر سلوك النموذج تحت ضغط عدائي متواصل، بما في ذلك المخرجات الضارة أو المخالفة للسياسات. وتبدأ فرق كثيرة باختبار اختراق قبل الإطلاق، ثم تضيف Red Teaming مع نمو التطبيق.
نعم. نختبر في بيئة ما قبل الإنتاج باستخدام حسابات وبيانات اختبارية ما لم تقرر خلاف ذلك، ونتفق كتابيًا على الأنظمة والإجراءات المشمولة بالنطاق. وأي إجراء قد يتخذه الوكيل في بيئة الإنتاج نُثبته في بيئة ما قبل الإنتاج.
يُعد OWASP Top 10 for LLM Applications الأساس، وترتبط به كل ثغرة مكتشفة. وعندما يحتاج فريق الامتثال لديك إلى ذلك، نربط الثغرات المكتشفة أيضًا بـ MITRE ATLAS أو NIST AI Risk Management Framework.
نسعّر كل اختبار بعد رسم خريطة سطح الهجوم، لأن حجم العمل يعتمد على عدد النماذج والوكلاء والأدوات ومصادر البيانات المعنية. وتتلقى نطاقًا مكتوبًا والسعر قبل بدء أي اختبار.
ناقش تطبيق الذكاء الاصطناعي لديك والمخاطر التي تقلقك في مكالمة تقييم مجانية.



أرسل لنا مخططاً أولياً أو مواصفات أو ثلاث جمل عن النقطة التي توقف عندها النظام. عادةً ما تكفي محادثة واحدة لمعرفة ما إذا كنا مناسبين لك.
البرمجيات المخصصة، والذكاء الاصطناعي والتعلم الآلي، والبيانات والتحليلات، والحوسبة السحابية، والأمن — من تحديد النطاق المبكر وحتى التسليم على المدى الطويل.
خصوصيتك تهمنا. نستخدم ملفات تعريف الارتباط لتحسين تجربتك وتخصيص المحتوى.