تسبب مجال أمان الذكاء الاصطناعي في ضجة مؤخرًا ، وأصدرت شركة Adversa AI تقريراً مذهلاً عن أحدث طراز AI Grok3 في Xai. أشار التقرير إلى أن نموذج الذكاء الاصطناعى المتوقع للغاية لديه نقاط الضعف الأمنية الخطيرة التي قد يتم استغلالها بشكل ضار. اجتذب هذا الاكتشاف اهتمامًا واسع النطاق من مجتمع التكنولوجيا على أمان الذكاء الاصطناعي.
بعد تحليل شامل لنموذج Grok3 ، وجد فريق البحث في Adversa AI أن النموذج عرضة لـ "هجمات Jailbreak". يمكن أن تتجاوز طريقة الهجوم قيود المحتوى للنموذج ، مما يسمح للمهاجم بالحصول على معلومات حساسة للغاية ، بما في ذلك على سبيل المثال لا الحصر المحتوى الخطير مثل خداع الأطفال ، معالجة الجسم ، استخراج DMT ، وتصنيع القنابل. هذا الاكتشاف مروع لأنه بمجرد الحصول على هذه المعلومات من قبل المجرمين ، قد يتسبب ذلك في ضرر اجتماعي خطير.
الأمر الأكثر جدية هو أن أليكس بولياكوف ، الرئيس التنفيذي لشركة Adversa AI ، كشف أن فريق البحث قد اكتشف أيضًا ثغرة جديدة "تسرب فوري". ستعرض هذه الثغرة الأمنية مطالبات النظام الكامل لنموذج Grok ، مما يوفر نموذجًا "مخطط تفكير" للمهاجمين في المستقبل. "يسمح هجوم Jailbreak للمهاجمين بتجاوز قيود المحتوى ، بينما يوفر التسرب السريع لهم معلومات أساسية لفهم كيفية عمل النموذج" ، أوضح Polyakov.
بالإضافة إلى نقاط الضعف المذكورة أعلاه ، حذر فريق Adversa AI أيضًا من أن هذه العيوب الأمنية يمكن أن تمكن المتسللين من تولي أنظمة الذكاء الاصطناعي مع قدرات وكيل المستخدم. قد يؤدي هذا الوضع إلى أزمة خطيرة للأمن السيبراني. تجدر الإشارة إلى أنه على الرغم من أداء Grok3 بشكل جيد في تصنيفات الأداء لنماذج اللغة الكبيرة (LLM) ، إلا أنها أدنى من المنتجات المماثلة من Openai والأنثروبور من حيث حماية الأمان. تظهر نتائج الاختبار من Adversa AI أن ثلاثة من هجمات Jailbreak الأربعة ضد Grok3 كانت ناجحة ، في حين أن نماذج Openai و Anthropic قاومت جميع الهجمات بنجاح.
أثار هذا الاكتشاف الشكوك حول اتجاه التدريب النموذجي AI. يبدو أن Grok3 مدرب عن عمد لتعزيز بعض الآراء الشديدة للمسك ، مثل الإجابة على الآراء حول وسائل الإعلام الإخبارية ، قال Grok3 أن "معظم الوسائط التقليدية هي القمامة" ، والتي تعكس عداء المسك للصحافة. قد لا يؤثر هذا التدريب على الاتجاه على موضوعية النموذج فحسب ، بل يؤدي أيضًا إلى تفاقم المخاطر الأمنية.
أشار Polyakov أيضًا إلى أن المستوى الأمني لـ Grok3 أقرب إلى بعض نماذج اللغة الصينية من المعايير الأمنية للدول الغربية. وقال "هذه النماذج الجديدة تتابع السرعة بوضوح بدلاً من الأمن". قد تؤدي هذه المفاضلة إلى عواقب وخيمة ، وإذا سقط Grok3 في أيدي المجرمين ، فقد يتسبب ذلك في خسائر لا تُنسى.
لتوضيح المخاطر المحتملة ، أعطى Polyakov مثالًا محددًا: قد يتم معالجة وكيل AI مع وظيفة الرد التلقائي من قبل المهاجم. يمكن للمهاجم إدراج رمز كسر الحماية في البريد الإلكتروني ، وتوجيه وكيل الذكاء الاصطناعى لإرسال روابط ضارة إلى جميع CISO (مسؤولي أمن المعلومات). إذا كان هناك ثغرة أمنية في النموذج الأساسي ، فسيقوم وكيل الذكاء الاصطناعى بتنفيذ هذه التعليمات بشكل أعمى. هذا الخطر ليس افتراضًا نظريًا ، ولكن تهديدًا حقيقيًا قد يجلبه إساءة معاملة الذكاء الاصطناعى.
في الوقت الحاضر ، تقوم شركات الذكاء الاصطناعى بترويج التطبيق التجاري لوكلاء الذكاء الاصطناعى. على سبيل المثال ، أطلقت Openai مؤخرًا ميزة "المشغل" لتمكين وكلاء الذكاء الاصطناعي من أداء مهام الشبكة للمستخدمين. ومع ذلك ، فإن هذه الميزة تتطلب مستويات مراقبة عالية للغاية لأنها غالبًا ما ترتكب أخطاء ويصعب التعامل مع المواقف المعقدة بحرية. أثارت هذه الظواهر جميع المخاوف بشأن قدرات صنع القرار المستقبلية لنماذج الذكاء الاصطناعى.
خلاصة القول ، كشفت نقاط الضعف الأمنية لنموذج Grok3 تحديات مهمة تواجهها تطوير الذكاء الاصطناعي. أثناء متابعة تحسين أداء الذكاء الاصطناعي ، ستصبح كيفية ضمان الأمان وموثوقية وأخلاق النموذج قضية أساسية يجب أن تحلها صناعة الذكاء الاصطناعي. يذكرنا هذا الحادث أيضًا أنه مع التطور السريع لتكنولوجيا الذكاء الاصطناعي ، يجب تعزيز تدابير حماية الأمن في وقت واحد مع الابتكار التكنولوجي لمنع المخاطر المحتملة وضمان التطور الصحي لتكنولوجيا الذكاء الاصطناعى.