الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

OpenRedTeaming

استطلاعنا: ضد كعب أخيل: دراسة استقصائية حول الجمهور الأحمر للنماذج التوليدية [ورقة]

للحصول على فهم شامل للهجمات المحتملة على Genai وتطوير ضمانات قوية. نحن:

  • مسح أكثر من 120 ورقة ، يغطي خط الأنابيب من تصنيف المخاطر ، واستراتيجيات الهجوم ، ومقاييس التقييم ، والمعايير للمناهج الدفاعية.
  • اقترح تصنيفًا شاملاً لاستراتيجيات هجوم LLM التي ترتكز على القدرات المتأصلة للنماذج التي تم تطويرها أثناء التدريب والضبط.
  • نفذت أكثر من 30+ من طرق فريق Red Auto Red.

للبقاء على اطلاع دائم أو تجربة أداة RedTeaming الخاصة بنا ، يرجى الاشتراك في النشرة الإخبارية الخاصة بنا على موقعنا أو الانضمام إلينا على Discord!

أحدث الأوراق حول Red Teaming

الدراسات الاستقصائية والتصنيفات والمزيد

الدراسات الاستقصائية

  • وكلاء LLM الشخصية: رؤى ومسح حول القدرة والكفاءة والأمن [ورقة]
  • Trustllm: الجدارة بالثقة في نماذج اللغة الكبيرة [ورقة]
  • تصنيف المخاطر والتخفيف من معايير أنظمة نموذج اللغة الكبيرة [ورقة]
  • تحديات الأمن والخصوصية لنماذج اللغة الكبيرة: مسح [ورقة]

الدراسات الاستقصائية على الهجمات

  • اختبار قوي لمرونة نموذج لغة الذكاء الاصطناعى مع مطالبات عدوانية جديدة [ورقة]
  • لا تستمع إلي: فهم واستكشاف مطالبات النماذج اللغوية الكبيرة [ورقة]
  • تحطيم الدفاعات: مسح مقارن للهجمات على نماذج اللغة الكبيرة [ورقة]
  • LLM Jailbreak Attack مقابل تقنيات الدفاع - دراسة شاملة [ورقة]
  • تصنيف مبكر لهجمات الحقن السريع على نماذج اللغة الكبيرة [ورقة]
  • تقييم شامل لهجمات السجن ضد LLMS [ورقة]
  • "افعل أي شيء الآن": يطالب بتوصيف وتقييم السجن في الغرباء على نماذج لغة كبيرة [ورقة]
  • مسح من نقاط الضعف في نماذج اللغة الكبيرة التي كشفت عنها هجمات الخصومة [ورقة]
  • تجاهل هذا العنوان و Hackaprompt: فضح نقاط الضعف النظامية لـ LLMS من خلال مسابقة اختراق موجه على نطاق عالمي [ورقة]
  • هجمات ودفاعات الخصومة في نماذج اللغة الكبيرة: تهديدات قديمة وجديدة [ورقة]
  • خداع LLMs في العصيان: إضفاء الطابع الرسمي وتحليل واكتشاف السجن [ورقة]
  • استدعاء شيطان وربطه: نظرية مؤرقة لفريق LLM Red Teaming في البرية [ورقة]
  • دراسة استقصائية شاملة لتقنيات الهجوم والتنفيذ واستراتيجيات التخفيف في نماذج اللغة الكبيرة [ورقة]
  • ما وراء الحدود: مسح شامل للهجمات القابلة للتحويل على أنظمة الذكاء الاصطناعي [ورقة]
  • ما وراء الحدود: مسح شامل للهجمات القابلة للتحويل على أنظمة الذكاء الاصطناعي [ورقة]

الدراسات الاستقصائية على المخاطر

  • Mapping LLM Security Landscapes: اقتراح شامل لتقييم مخاطر أصحاب المصلحة [ورقة]
  • تأمين نماذج لغوية كبيرة: التهديدات ، نقاط الضعف والممارسات المسؤولة [ورقة]
  • الخصوصية في نماذج اللغة الكبيرة: الهجمات والدفاعات والاتجاهات المستقبلية [ورقة]
  • ما وراء الضمانات: استكشاف المخاطر الأمنية لـ ChatGpt [Paper]
  • نحو نماذج اللغة التوليدية الأكثر أمانًا: دراسة استقصائية حول مخاطر السلامة والتقييمات والتحسينات [ورقة]
  • استخدام LLMs لأغراض غير مشروعة: التهديدات ، تدابير الوقاية ، ونقاط الضعف [ورقة]
  • من chatgpt إلى التهديد: تأثير الذكاء الاصطناعي في الأمن السيبراني والخصوصية [ورقة]
  • تحديد وتخفيف نقاط الضعف في تطبيقات LLM المتكاملة [ورقة]
  • قوة الذكاء الاصطناعي في الأمن السيبراني: الفرص والتحديات [ورقة]

تصنيفات

  • الإكراه LLMs على القيام به والكشف (تقريبا) أي شيء [ورقة]
  • تاريخ ومخاطر التعلم التعزيز والتعليقات البشرية [ورقة]
  • من chatbots إلى phishbots؟ - منع عمليات الاحتيال في التصيد التي تم إنشاؤها باستخدام ChatGpt و Google Bard و Claude [Paper]
  • chatgpt كسر السجن عبر الهندسة الفوري: دراسة تجريبية [ورقة]
  • توليد هجمات التصيد باستخدام chatgpt [ورقة]
  • التخصيص ضمن الحدود: تصنيف المخاطر وإطار السياسة لمحاذاة نماذج اللغة الكبيرة مع ملاحظات شخصية [ورقة]
  • خداع الذكاء الاصطناعي: دراسة استقصائية للأمثلة والمخاطر والحلول المحتملة [ورقة]
  • تصنيف مخاطر الأمن لنماذج اللغة الكبيرة [ورقة]

المواقف

  • Red-Teaming for AI Generative AI: Silver Bullet أو Security Theater؟ [ورق]
  • أخلاقيات التفاعل: تخفيف التهديدات الأمنية في LLMS [ورقة]
  • ميناء آمن لتقييم الذكاء الاصطناعى والجماعات الحمراء [ورقة]
  • Red Teaming Chatgpt عبر كسر الحماية: التحيز ، المتانة ، الموثوقية والسمية [ورقة]
  • وعد ومخاطر الذكاء الاصطناعي - يقدم فريق Violet Teaming طريقًا متوازنًا إلى الأمام [ورقة]

الظواهر

  • شريحة التقطع الأحمر أي شيء [ورقة]
  • فهم ميكانيكي لخوارزميات المحاذاة: دراسة حالة عن DPO والسمية [ورقة]
  • تحدث خارج المنعطف: تعرض الأمان لنماذج اللغة الكبيرة في حوار متعدد المنعطفات [ورقة]
  • المقايضات بين المحاذاة والمساعدة في نماذج اللغة [ورقة]
  • تقييم هشاشة محاذاة السلامة من خلال التعديلات التقليدية والمنخفضة الرتبة [ورقة]
  • "إنها لعبة عادلة" ، أم أنها؟ فحص كيفية تنقل المستخدمين لمخاطر وفوائد الكشف عند استخدام وكلاء المحادثة المستندة إلى LLM [ورقة]
  • استغلال السلوك المبرمج لـ LLMS: الاستخدام المزدوج من خلال هجمات أمنية قياسية [ورقة]
  • هل يمكن أن تغير نماذج اللغة الكبيرة تفضيلات المستخدم بشكل معادلة؟ [ورق]
  • هل الشبكات العصبية المحاذاة محاذاة خصوم؟ [ورق]
  • محاذاة مزيفة: هل محاذاة LLMS بشكل جيد حقًا؟ [ورق]
  • تحليل السببية لتقييم أمان نماذج اللغة الكبيرة [ورقة]
  • نقل الهجمات والدفاعات لنماذج اللغة الكبيرة في مهام الترميز [ورقة]

استراتيجيات الهجوم

الامتثال الانتهاء

  • القليل من التعلم العدائي على نماذج لغة الرؤية [ورقة]
  • سياق الاختطاف في نماذج كبيرة متعددة الوسائط [ورقة]
  • عظيم ، اكتب الآن مقالًا عن ذلك: هجوم Jailbreak Crescendo Multi-Turn LLM [ورقة]
  • Badchain: سلسلة من الأفكار المتراكمة التي تطالب بنماذج لغة كبيرة [ورقة]
  • نقاط الضعف العالمية في نماذج اللغة الكبيرة: هجمات الباب الخلفي للتعلم داخل السياق [ورقة]
  • Nevermind: تعليمات تعليمات واعتدال في نماذج اللغة الكبيرة [ورقة]
  • نماذج لغوية كبيرة تقطعها تستخدم سلسلة من الكلمات لتحديد السلامة [ورقة]
  • هجمات Backdoor للتعلم داخل السياق مع نماذج اللغة [ورقة]
  • تحاذاً النماذج اللغوية في Jailbreak و Guard مع عدد قليل من المظاهرات الموجودة في السياق [Paper]
  • تحليل ميل الاستجابة المتأصل لـ LLMs: كسر التعليمات في العالم الحقيقي [ورقة]
  • تجاوز تدريب السلامة على LLMs مفتوحة المصدر مع هجمات التحضير [ورقة]
  • اختطاف نماذج اللغة الكبيرة عبر التعلم المعاد في السياق [ورقة]

تعليمات عدم التوجيه

  • على متانة نماذج كبيرة متعددة الوسائط ضد هجمات العدائية الصورة [ورقة]
  • يمكن أن تخدع Llms الرؤية أنفسهم بالهجمات المطبعية المولدة ذاتيا [ورقة]
  • الصور هي كعب Achilles من المحاذاة: استغلال نقاط الضعف البصرية لنماذج اللغة الكبيرة الوسائط المتعددة [ورقة]
  • Figstep: نماذج كبيرة من النماذج ذات اللغات الرؤية عبر المطبعية المرئية [ورقة]
  • instructta: هجوم مستهدف تعليمات مستهدف لنماذج كبيرة باللغة الرؤية [ورقة]
  • إساءة استخدام الصور والأصوات لحقن التعليمات غير المباشر في LLMs متعددة الوسائط [ورقة]
  • أمثلة عدوانية بصرية تحاذي نماذج لغة كبيرة [ورقة]
  • جيلبريك في القطع: هجمات عدوانية تركيبية على نماذج لغة متعددة الوسائط [ورقة]
  • لعب لعبة التخمين مع LLM: الهجوم غير المباشر على السجن مع أدلة ضمنية [ورقة]
  • Fuzzllm: إطار عمل جديد وعالمي لاكتشاف نقاط الضعف في نماذج اللغات الكبيرة [ورقة] بشكل استباقي [ورقة]
  • GPTFuzzer: Red Teaming Models Language Models مع مطالبات Jailbreak التي تم إنشاؤها تلقائيًا [Paper]
  • Proper Packer: خداع LLMs من خلال تعليمات تكوينية مع هجمات خفية [ورقة]
  • التصور العميق: تنويم النموذج اللغوي الكبير ليكون جيلبريكر [ورقة]
  • الذئب في ملابس الأغنام: يمكن أن تخدع مطالبات الجيلات المتداخلة المعممة نماذج اللغة الكبيرة بسهولة [ورقة]
  • محاذاة السلامة في مهام NLP: تلخيص محاذاة ضعيف كهجوم داخل السياق [ورقة]
  • الحمل الزائد المعرفي: نماذج لغوية كبيرة مع التفكير المنطقي المفرط [ورقة]
  • الألغاز بانوراما: تقسيم الأسئلة الضارة إلى نماذج اللغة الكبيرة [ورقة]
  • الصوت هو كعب أخيل: Red Teaming Audio multimodal models [Paper]

تعميم الانزلاق

اللغات

  • تحقيق عبر اللغة في هجمات Jailbreak في نماذج لغوية كبيرة [ورقة]
  • حاجز اللغة: تشريح تحديات السلامة من LLMs في السياقات متعددة اللغات [ورقة]
  • هجوم شطيرة: هجوم تكيفي متعدد اللغات على LLMS [ورقة]
  • الهجوم الخلفي على الترجمة الآلية متعددة اللغات [ورقة]
  • تحديات السجن متعددة اللغات في نماذج اللغة الكبيرة [ورقة]
  • اللغات منخفضة الموارد Jailbreak GPT-4 [ورقة]

الشفرات

  • باستخدام الهلوسة لتجاوز مرشح GPT4 [ورقة]
  • تأثير الفراشة المتمثل في تغيير المطالبات: كيف تؤثر التغييرات الصغيرة والكسرات على أداء نموذج اللغة الكبير [ورقة]
  • جعلهم يسألون ويجيبون: نماذج لغة كبيرة في السجن في بعض الاستفسارات عبر تمويه وإعادة الإعمار [ورقة]
  • PRP: نشر الاضطرابات الشاملة لمهاجمة الحارس النموذجية الكبيرة [ورقة]
  • GPT-4 ذكي جدًا بحيث لا يكون آمنًا: الدردشة الخفية مع LLMS عبر Cipher [Paper]
  • علامات الترقيم مهمة! هجوم خلفي في نماذج اللغة [ورقة]

تجسيد

  • القدم في الباب: فهم نموذج اللغة الكبير يكسر الحماية عبر علم النفس المعرفي [ورقة]
  • PSYSAFE: إطار شامل للهجوم النفسي والدفاع وتقييم سلامة نظام متعدد الوكلاء [ورقة]
  • كيف يمكن لجوني إقناع LLMS بتكسيرهم: إعادة التفكير في الإقناع لتحدي سلامة الذكاء الاصطناعي من خلال إضفاء الطابع الإنساني على LLMs [ورقة]
  • قابلة للتطوير وقابلة للتحويل مسكنة الصناديق السوداء لنماذج اللغة عبر تعديل الشخصية [ورقة]
  • من هو chatgpt؟ التصوير النفسي لـ LLMS باستخدام PsychoBench [Paper]
  • استغلال نماذج اللغة الكبيرة (LLMS) من خلال تقنيات الخداع ومبادئ الإقناع [ورقة]

المعالجة النموذجية

هجمات الباب الخلفي

  • Shadowcast: هجمات تسمم البيانات الخفي ضد نماذج لغة الرؤية [ورقة]
  • الوكلاء النائمون: تدريب LLMs الخادعة التي تستمر من خلال التدريب على السلامة [ورقة]
  • ماذا يوجد في بياناتك "الآمنة"؟: تحديد البيانات الحميدة التي تكسر السلامة [ورقة]
  • هجمات تسمم البيانات على أساليب تقييم السياسة خارج السياسة [ورقة]
  • Badedit: Backdooring نماذج لغة كبيرة عن طريق تحرير النماذج [ورقة]
  • أفضل ما في الأمر: مهاجمة RLHF عن طريق حقن بيانات التفضيل المسموم [ورقة]
  • تعلم تسمم نماذج اللغة الكبيرة أثناء ضبط التعليمات [ورقة]
  • استكشاف نقاط الضعف في نماذج الدردشة [ورقة]
  • تعليمات كخلفية: ثغرات الأبواب الخلفية لضبط التعليمات لنماذج اللغة الكبيرة [ورقة]
  • إجبار النماذج التوليدية على تنهار النماذج: قوة هجمات تسمم البيانات [ورقة]
  • عدم تحديد خلسة ومستمر على نماذج اللغة الكبيرة عن طريق الحقن الخلفية [ورقة]
  • هجوم تنشيط الباب الخلفي: مهاجمة نماذج لغة كبيرة باستخدام توجيه التنشيط من أجل تحديد السلامة [ورقة]
  • على استغلال التعلم التعزيز مع التعليقات البشرية لنماذج اللغة الكبيرة [ورقة]
  • تخفيف زمن الاختبار الخلفي لنماذج لغة كبيرة في الصندوق الأسود مع مظاهرات دفاعية [ورقة]
  • Backdoors Universal Jailbreak من ردود الفعل البشرية المسمومة [ورقة]

مخاطر صقل

  • لورا كهار! Piercing LLM Safety تحت سيناريو المشاركة والتشغيل [ورقة]
  • Disalignment المحاكاة: قد تكون محاذاة السلامة لنماذج اللغة الكبيرة بنتائج عكسية! [ورق]
  • لورا ، لا تُفصل بشكل فائق التدريب على السلامة في لاما 2-Chat 70B [ورقة]
  • Badllama: بثمن بخس إزالة صقل السلامة من Llama 2-Chat 13b [ورقة]
  • عدم تحديد نموذج اللغة: الفوز الأحمر البارامترية لفضح الأضرار والتحيزات المخفية [ورقة]
  • إزالة حماية RLHF في GPT-4 عن طريق الضبط الدقيق [ورقة]
  • على سلامة نماذج لغة كبيرة مفتوحة المصدر: هل تمنع المحاذاة حقًا من إساءة استخدامها؟ [ورق]
  • محاذاة الظل: سهولة تخريب نماذج اللغة المحاذاة بأمان [ورقة]
  • نماذج اللغة المحاذاة الدقيقة تسبب التناوب في السلامة ، حتى عندما لا ينوي المستخدمون! [ورق]

باحث الهجوم

الباحثين لاحقة

  • Prompting4debugging: نماذج نشر النص إلى الصورة الحمراء من خلال إيجاد مطالبات إشكالية [ورقة]
  • من الضوضاء إلى الوضوح: كشف اللاحقة العدائية لهجمات نموذج اللغة الكبيرة عن طريق ترجمة تضمينات النص [ورقة]
  • هجمات عدوانية سريعة على نماذج اللغة في دقيقة واحدة من GPU [ورقة]
  • نموذج اللغة القائم على التدرج Red Teaming [Paper]
  • هجمات الحقن التلقائي والعالمي ضد نماذج اللغة الكبيرة [ورقة]
  • $ textit {linkprompt} $ : هجمات عدوانية طبيعية وعالمية على نماذج اللغة القائمة على أساس [ورقة]
  • EXEC العصبية: التعلم (والتعلم من) تنفيذ توجيه لهجمات الحقن السريع [ورقة]
  • LLMs الرائدة في مجال السلامة مع هجمات تكيفية بسيطة [ورقة]
  • التحسين السريع لـ LLMs لكسر الحماية عن طريق الاستغلال اللاوعي و echopraxia [ورقة]
  • Autodan: هجمات الخصومة القابلة للتفسير القابلة للتفسير على نماذج اللغة الكبيرة [ورقة]
  • هجمات عدوانية عالمية وقابلة للتحويل على نماذج اللغة المحاذاة [ورقة]
  • ضبط لينة النماذج لنماذج اللغة الكبيرة لتقييم التحيز [ورقة]
  • Trojllm: هجوم موجه طروادة سوداء على نماذج لغة كبيرة [ورقة]
  • Autodan: توليد مطالبات Jailbreak خلسة على نماذج لغة كبيرة محاذاة [ورقة]

الباحثين المطالبين

نموذج اللغة

  • استنباط سلوكيات نموذج اللغة باستخدام نماذج اللغة العكسية [ورقة]

(2023)

  • كل ما تطلبه: طريقة صناديق سوداء بسيطة لهجمات Jailbreak [Paper]
  • هجمات الخصومة على GPT-4 عبر بحث عشوائي بسيط [ورقة]
  • المذاق: صرف انتباه نماذج اللغة الكبيرة لهجوم الجيلات التلقائي [ورقة]
  • نماذج لغة جماعية حمراء مع نماذج لغة [ورقة]
  • يمكن لـ LLM أن تخدع نفسها: هجوم عدواني قائم على ذلك [ورقة]
  • نماذج لغة أسود سوداء كسر في عشرين استعلام [ورقة]
  • شجرة الهجمات: كسر السوداء LLMS السوداء تلقائيًا [ورقة]
  • AART: AI-AI-A.SISTERD RED-TEAMTIDE مع توليد بيانات متنوعة للتطبيقات الجديدة التي تعمل بزعم LLM [ورقة]
  • دالا: هجوم عدواني مقره التوزيع على أساس التوزيع ضد نماذج اللغة [ورقة]
  • JAB: المشاركة العدائية المشتركة وزيادة الاعتقاد [ورقة]
  • لم يتم اتخاذ جريمة: استنباط الهجوم من نماذج اللغة [ورقة]
  • LOFT: الوكيل المحلي ، صقل جيد لتحسين قابلية نقل الهجمات العدائية ضد نموذج اللغة الكبيرة [ورقة]

فك التشفير

  • ضعف الضعف في نماذج اللغة الكبيرة [ورقة]
  • الهجوم البارد: LLMs-Jailbreaking مع خلسة وقابلية للسيطرة [ورقة]

خوارزمية وراثية

  • جيلبريك المرآة الدلالية: يطالب Jailbreak القائمة على الخوارزمية الوراثية ضد LLMs مفتوحة المصدر [ورقة]
  • فتح السمسم! Universal Black Box Jailbreaking لنماذج اللغة الكبيرة [ورقة]

التعلم التعزيز

  • Sneakyprompt: نماذج توليد نصية إلى نصوص إلى نصوص [ورقة]
  • لعبة Red Teaming Game: إطار نظري للعبة لنماذج لغة الفريق الأحمر [ورقة]
  • استكشاف ، إنشاء ، استغلال: Red Teaming Language Models من الصفر [Paper]
  • كشف النقاب عن السمية الضمنية في نماذج اللغة الكبيرة [الورق]

الدفاعات

الدفاعات الزمنية التدريبية

RLHF

  • ضبط سلامة قابلة للتكوين لنماذج اللغة مع بيانات التفضيل الاصطناعية [ورقة]
  • تعزيز سلامة LLM عبر تحسين التفضيل المباشر المقيد [ورقة]
  • RLHF الآمن: التعزيز الآمن التعزيز من التعليقات البشرية [ورقة]
  • Beavertails: نحو محاذاة سلامة محسنة من LLM عبر مجموعة بيانات التمييز البشري [ورقة]
  • بنية أكثر أمانًا: محاذاة نماذج اللغة مع بيانات التفضيل الآلية [ورقة]

الكون المثالى

  • Soansegen: تخفيف توليد المحتوى غير الآمن في نماذج النص إلى صورة [ورقة]
  • صقل السلامة في (تقريبا) لا أي تكلفة: خط الأساس للنماذج اللغوية الكبيرة [ورقة]
  • تطوير نماذج لغة كبيرة ومسؤولة - إطار شامل [ورقة]
  • التحصين ضد هجمات الضبط الضار [ورقة]
  • التخفيف من هجوم التغلب على السجن مع المحاذاة المحسنة للورق [ورقة]
  • المحاذاة الجدلية: حل توتر 3H والتهديدات الأمنية لـ LLMS [ورقة]
  • التقليم من أجل الحماية: زيادة مقاومة السجن في LLMs المحاذاة دون صقل [ورقة]
  • الممحمر: دفاع الحماية في نماذج اللغة الكبيرة من خلال المعرفة الضارة غير المتوفرة [ورقة]
  • رئيسان أفضل من واحد: Poe المتداخل للدفاع القوي ضد التعبئة المتعددة [ورقة]
  • الدفاع عن هجمات الباب الخلفي للوزن من أجل صقل فعال المعلمة [ورقة]
  • اللاما المضبوطة بالسلامة: دروس من تحسين سلامة نماذج اللغة الكبيرة التي تتبع التعليمات [ورقة]
  • الدفاع عن هجمات محاذاة من خلال LLM المحاذاة بقوة [ورقة]
  • تعرف على ما لا يتعلمه: نحو السلامة التوليدية في chatbots [ورقة]
  • Jatmo: الدفاع عن الحقن السريع عن طريق التحويل الخاص بالمهمة [ورقة]

الدفاعات الزمنية الاستدلال

المطالبة

  • Adashield: حماية نماذج لغة كبيرة متعددة الوسائط من الهجوم القائم على الهيكل عبر Prompting Adaptive Shield [Paper]
  • استراحة الانهيار: إعادة اختراع الدفاع عن LM ضد هجمات Jailbreak مع التراجع الذاتي [ورقة]
  • على الحماية المدفوعة على النماذج اللغوية الكبيرة [ورقة]
  • التوقيع: نهج جديد لمنع هجمات الحقن الفوري ضد التطبيقات المتكاملة LLM [ورقة]
    Xuchen Suo (2024)
  • تحليل النية يجعل LLMS مدافعًا جيدًا عن جيلبريك [ورقة]
  • الدفاع عن هجمات الحقن السريع غير المباشر مع تسليط الضوء [ورقة]
  • ضمان المخرجات الآمنة والعالية الجودة: نهج مكتبة التوجيهية لنماذج اللغة [ورقة]
  • هجوم الحقن الموجه الموجه على الأهداف على نماذج اللغة الكبيرة [ورقة]
  • Struq: الدفاع عن الحقن السريع مع الاستعلامات المنظمة [ورقة]
  • Bob Bob Stustious مرة أخرى ضد كسر الحماية عبر ضبط عدواني سريع [ورقة]
  • حارس ذاتي: تمكين LLM لحماية نفسها [ورقة]
  • باستخدام التعلم داخل السياق لتحسين سلامة الحوار [ورقة]
  • الدفاع عن نماذج اللغة الكبيرة ضد هجمات كسر الحماية من خلال تحديد أولويات الهدف [ورقة]
  • بيرجيرون: مكافحة هجمات الخصومة من خلال إطار محاذاة قائم على الضمير [ورقة]

فرقة

  • مكافحة هجمات الخصومة مع نقاش متعدد الوكلاء [ورقة]
  • Trustagent: نحو الوكلاء الآمنين والجدير بالثقة LLM من خلال دستور الوكيل [ورقة]
  • AutodeFense: Defense Multi-Agent LLM ضد هجمات Jailbreak [Paper]
  • تعلم أن تخفي: تجنب الاستجابات الرفض في دفاع LLM عبر لعبة مهاجمة متعددة المهاجمين [ورقة]
  • Jailbreaker في السجن: نقل الدفاع المستهدف لنماذج اللغة الكبيرة [ورقة]

الدرابزين

إدخال الدرابزين

  • UFID: إطار موحد للكشف عن الباب الخلفي على مستوى الإدخال على نماذج الانتشار [ورقة]
  • مُحسِّن مطالبة يونيفرسال لتوليد نص إلى صورة آمن [ورقة]
  • عيون مغلقة ، السلامة على: حماية LLMs متعددة الوسائط عبر تحويل صورة إلى نص [ورقة]
  • عيون مغلقة ، السلامة على: حماية LLMs متعددة الوسائط عبر تحويل صورة إلى نص [ورقة]
  • MLLM-Protector: ضمان سلامة MLLM دون إيذاء الأداء [ورقة]
  • إضافة التخفيف من السمية في وقت الاستدلال للترجمة متعددة الوسائط ومتعددة اللغات على نطاق واسع [ورقة]
  • طريقة قائمة على الطفرة للكشف عن الهجوم متعددة الوسائط [ورقة]
  • الكشف والدفاع ضد الهجمات البارزة على المساعدين الظاهري المسبق لـ LLM [ورقة] [ورقة]
  • ShieldLM: تمكين LLMs ككشف عن السلامة المحاذاة وقابل للتخصيص وقابل للتفسير [ورقة]
  • الدفاع عن ترجمة رحلة ذهابًا وإيابًا ضد هجمات النموذج اللغوي الكبير [ورقة]
  • الكفة التدرج: اكتشاف هجمات السجن على نماذج اللغة الكبيرة من خلال استكشاف المناظر الطبيعية لخسارة الرفض [ورقة]
  • الدفاع عن مطالبات jailbreak عبر لعبة الخصومة داخل السياق [ورقة]
  • SPML: DSL للدفاع عن نماذج اللغة مقابل الهجمات السريعة [ورقة]
  • مصنف السلامة القوي لنماذج اللغة الكبيرة: درع موجه عدواني [ورقة]
  • التحكم في الذكاء الاصطناعي: تحسين السلامة على الرغم من التخريب المتعمد [ورقة]
  • Maatphor: تحليل متغير تلقائي لهجمات الحقن السريع [ورقة]

إخراج الدرابزين

  • الدفاع عن LLMs ضد هجمات كسر الحماية عبر الترانج الخلفي [ورقة]
  • تحسين فوري قوي للدفاع عن نماذج اللغة ضد هجمات كسر الحماية [ورقة]
  • من الأفضل حل كسر السجن بحكم التعريف [ورقة]
  • LLM Self Defense: من خلال الفحص الذاتي ، تعرف LLMS أنهم يتم خداعهم [ورقة]

مدخلات وإخراج الدرابزين

  • الصرامة: الدرابزينات المرنة لنماذج اللغة الكبيرة ضد المحتوى غير المرغوب فيه [ورقة]
  • Nemo Grasslails: مجموعة أدوات لتطبيقات LLM القابلة للتحكم والآمنة مع القضبان القابلة للبرمجة [ورقة]
  • Llama Guard: حماية مدخلات مخرجات قائمة على LLM لمحادثات الإنسان AI [ورقة]

الدفاعات اللاحقة العدوانية

  • الدفاع عن نماذج اللغة الكبيرة ضد هجمات السجن عبر تنعيم الدلالي [ورقة]
  • تصديق سلامة LLM ضد المطالبة العدائية [ورقة]
  • الدفاعات الأساسية للهجمات العدائية ضد نماذج اللغة المحاذاة [ورقة]
  • اكتشاف هجمات نموذج اللغة مع الحيرة [ورقة]
  • SmoothLlm: الدفاع عن نماذج اللغة الكبيرة ضد هجمات كسر الحماية [ورقة]
  • الكشف المطبوع العنيف على مستوى الرمز المميز على أساس تدابير الحيرة والمعلومات السياقية [ورقة]

فك تشفير الدفاعات

  • نحو السلامة والمساعدة استجابات متوازنة عبر نماذج لغة كبيرة يمكن التحكم فيها [ورقة]
  • SafeDecoding: الدفاع ضد هجمات السجن عبر فك تشفير السلامة [ورقة]

التقييمات

مقاييس التقييم

مقاييس الهجوم

  • إطار تقييم جديد لتقييم المرونة ضد هجمات الحقن الفوري في نماذج اللغة الكبيرة [ورقة]
  • Attaceval: كيفية تقييم فعالية الهجوم على نماذج اللغات الكبيرة [ورقة]
  • ألق نظرة على ذلك! إعادة التفكير في كيفية تقييم النموذج اللغوي Jailbreak [ورقة]

مقاييس الدفاع

  • كيف (الأمم المتحدة) الأخلاقية هي الاستجابات المتمحورة حول التعليمات من LLMs؟ كشف النقاب عن نقاط الضعف في الدرابزين السلامة للاستعلامات الضارة [ورقة]
  • فن الدفاع: تقييم منهجي وتحليل لاستراتيجيات الدفاع LLM حول السلامة والتعرف المفرط [ورقة]

معايير التقييم

  • JailbreakBench: معيار متانة مفتوح لنماذج اللغة الكبيرة التي تكتسب الحماية [ورقة]
  • SafetyPrompts: مراجعة منهجية لمجموعات البيانات المفتوحة لتقييم وتحسين سلامة نموذج اللغة الكبيرة [ورقة]
  • من الأضرار التمثيلية إلى أضرار جودة الخدمة: دراسة حالة على ضمانات السلامة لاما 2 [ورقة]
  • السلطة على مدار المقعد: معيار أمان هرمي وشامل لنماذج اللغة الكبيرة [ورقة]
  • كائن قوي لكسر السجون الفارغ [ورقة]
  • هاربينش: إطار تقييم موحد للفريق الأحمر الآلي والرفض القوي [ورقة]
  • SafetyBench: تقييم سلامة نماذج اللغة الكبيرة مع أسئلة الاختيار من متعدد [ورقة]
  • Xstest: مجموعة اختبار لتحديد سلوكيات السلامة المبالغ فيها في نماذج اللغة الكبيرة [ورقة]
  • Do-Not-Asswer: مجموعة بيانات لتقييم الضمانات في LLMS [ورقة]
  • تقييم السلامة لنماذج اللغة الصينية الكبيرة [ورقة]
  • نماذج لغة الفريق الأحمر لتقليل الأضرار: الأساليب ، سلوكيات التحجيم ، والدروس المستفادة [ورقة]
  • مجموعة بيانات Dices: التنوع في تقييم الذكاء الاصطناعي للمحادثة للسلامة [ورقة]
  • جيلبريك الكامن: معيار لتقييم سلامة النص ومتانة الإخراج لنماذج اللغة الكبيرة [ورقة]
  • Tensor Trust: هجمات الحقن الفوري القابلة للتفسير من لعبة عبر الإنترنت [ورقة]
  • هل يمكن أن تتبع LLMs قواعد بسيطة؟ [ورق]
  • SimplesafetyTests: مجموعة اختبار لتحديد مخاطر السلامة الحرجة في نماذج اللغة الكبيرة [ورقة]
  • القياس والدفاع ضد هجمات الحقن غير المباشرة على نماذج اللغة الكبيرة [ورقة]
  • سلامة SC: معيار سلامة أسئلة متعددة الجولة مفتوح الطرف لنماذج اللغة الكبيرة باللغة الصينية [ورقة]
  • المشي على حبل tightres-تقييم نماذج اللغة الكبيرة في المجالات عالية الخطورة [ورقة]

التطبيقات

مجالات التطبيق

عامل

  • MM-SafetyBench: معيار لتقييم السلامة لنماذج اللغة الكبيرة متعددة الوسائط [ورقة]
  • الوكيل سميث: صورة واحدة يمكن أن تحطم مليون شركة LLM متعددة الوسائط سريعة بشكل كبير [ورقة]
  • كم عدد حيدات في هذه الصورة؟ معيار تقييم السلامة لـ Vision LLMS [ورقة]
  • نحو فريق أحمر في ترجمة متعددة الوسائط ومتعددة اللغات [ورقة]
  • Jailbreakv-28k: معيار لتقييم متانة نماذج اللغة الكبيرة متعددة الوسائط ضد هجمات Jailbreak [Paper]
  • Red Teaming GPT-4V: هل GPT-4V آمن ضد هجمات Uni/Multi-Modal Jailbreak؟ [ورق]
  • R-Judge: قياس وعي مخاطر السلامة لوكلاء LLM [ورقة]
  • GPT في ملابس الأغنام: خطر GPTs المخصصة [ورقة]
  • Toolsword: كشف النقاب عن قضايا السلامة في نماذج اللغة الكبيرة في تعلم الأدوات عبر ثلاث مراحل [ورقة]
  • منزل يرتجف البطاقات؟ رسم خرائط هجمات الخصومة ضد وكلاء اللغة [ورقة]
  • التبني السريع ، المخاطر الخفية: التأثير المزدوج لتخصيص نموذج اللغة الكبير [ورقة]
  • التقييم الفوري الموجهة نحو الأهداف وتقييم السلامة لـ LLMS [ورقة]
  • تحديد مخاطر عوامل LM مع صندوق رمل LM [ورقة] [ورقة]
  • CValues: قياس قيم نماذج اللغة الصينية الكبيرة من الأمان إلى المسؤولية [ورقة]
  • استغلال رواية GPT-4 APIs [ورقة]
  • العباقرة الشريرة: الخوض في سلامة العوامل القائمة على LLM [ورقة]
  • تقييم مخاطر الحقن الفوري في 200+ GPTs مخصصة [ورقة]

برمجة

  • Deceptprompt: استغلال توليد الكود التي تعتمد على LLM عبر تعليمات اللغة الطبيعية العدائية [ورقة]
  • يجد ChatGPT المسموم العمل من أجل أيدي الخمول: استكشاف ممارسات ترميز المطورين مع اقتراحات غير آمنة من نماذج الذكاء الاصطناعى المسمار [ورقة]

مخاطر التطبيق

الحقن الفوري

  • سلوك التحجيم للترجمة الآلية مع نماذج لغة كبيرة تحت هجمات الحقن السريعة [ورقة]
  • من الحقن السريعة إلى هجمات حقن SQL: ما مدى حماية تطبيق الويب المتكامل لـ LLM؟ [ورق]
  • ليس ما قمت بالتسجيل فيه: تسوية التطبيقات المتكاملة لـ LLM في العالم الحقيقي مع الحقن السريع غير المباشر [ورقة]
  • هجوم الحقن السريع ضد التطبيقات المتكاملة LLM [ورقة]

استخراج فوري

  • كسر الحماية GPT-4V عبر هجمات ذاتية مع مطالبات النظام [ورقة]
  • هجمات السرقة السريعة ضد نماذج اللغة الكبيرة [ورقة]
  • استخراج فوري فعال من نماذج اللغة [ورقة]

فريق أحمر متعدد الوسائط

استراتيجيات الهجوم

الامتثال الانتهاء

  • القليل من التعلم العدائي على نماذج لغة الرؤية [ورقة]
  • سياق الاختطاف في نماذج كبيرة متعددة الوسائط [ورقة]

تعليمات عدم التوجيه

  • على متانة نماذج كبيرة متعددة الوسائط ضد هجمات العدائية الصورة [ورقة]
  • الصور هي كعب Achilles من المحاذاة: استغلال نقاط الضعف البصرية لنماذج اللغة الكبيرة الوسائط المتعددة [ورقة]
  • يمكن أن تخدع Llms الرؤية أنفسهم بالهجمات المطبعية المولدة ذاتيا [ورقة]
  • أمثلة عدوانية بصرية تحاذي نماذج لغة كبيرة [ورقة]
  • جيلبريك في القطع: هجمات عدوانية تركيبية على نماذج لغة متعددة الوسائط [ورقة]
  • إساءة استخدام الصور والأصوات لحقن التعليمات غير المباشر في LLMs متعددة الوسائط [ورقة]
  • Figstep: نماذج كبيرة من النماذج ذات اللغات الرؤية عبر المطبعية المرئية [ورقة]
  • instructta: هجوم مستهدف تعليمات مستهدف لنماذج كبيرة باللغة الرؤية [ورقة]

الباحثين الهجوم

باحثو الصور

  • نوبة الانتشار: الاستفادة من الانتشار المستقر لمهاجمة الصور الطبيعية [ورقة]
  • على المتانة العدائية لنماذج الأساس متعددة الوسائط [ورقة]
  • ما مدى قوة جوجل بارد لهجمات الصور العددية؟ [ورق]
  • هجمات Backdoor وقت الاختبار على نماذج لغة كبيرة متعددة الوسائط [ورقة]

تبادل الباحثين في الطريقة

  • هجوم SA: تحسين قابلية النقل العدائي لنماذج التدريب قبل اللغات من خلال التنشيط الذاتي [ورقة]
  • انتشار MMA: هجوم متعدد الوسائط على نماذج الانتشار [ورقة]
  • تحسين قابلية النقل العدائية لنماذج التدريب قبل اللغة البصرية من خلال التفاعل التعاوني متعدد الوسائط [ورقة]
  • تستحق الصورة 1000 أكاذيب: قابلية نقل الصور العدائية عبر مطالبات على نماذج لغة الرؤية [ورقة]

آحرون

  • Sneakyprompt: نماذج توليد نصية إلى نصوص إلى نصوص [ورقة]
  • Prompting4debugging: نماذج نشر النص إلى الصورة الحمراء من خلال إيجاد مطالبات إشكالية [ورقة]

الدفاع

دفاعات الدرابزين

  • UFID: إطار موحد للكشف عن الباب الخلفي على مستوى الإدخال على نماذج الانتشار [ورقة]
  • مُحسِّن مطالبة يونيفرسال لتوليد نص إلى صورة آمن [ورقة]
  • عيون مغلقة ، السلامة على: حماية LLMs متعددة الوسائط عبر تحويل صورة إلى نص [ورقة]
  • عيون مغلقة ، السلامة على: حماية LLMs متعددة الوسائط عبر تحويل صورة إلى نص [ورقة]
  • MLLM-Protector: ضمان سلامة MLLM دون إيذاء الأداء [ورقة]
  • إضافة التخفيف من السمية في وقت الاستدلال للترجمة متعددة الوسائط ومتعددة اللغات على نطاق واسع [ورقة]
  • طريقة قائمة على الطفرة للكشف عن الهجوم متعددة الوسائط [ورقة]

دفاعات أخرى

  • Soansegen: تخفيف توليد المحتوى غير الآمن في نماذج النص إلى صورة [ورقة]
  • Adashield: حماية نماذج لغة كبيرة متعددة الوسائط من الهجوم القائم على الهيكل عبر Prompting Adaptive Shield [Paper]
  • صقل السلامة في (تقريبا) لا أي تكلفة: خط الأساس للنماذج اللغوية الكبيرة [ورقة]

طلب

الوكلاء

  • Red Teaming GPT-4V: هل GPT-4V آمن ضد هجمات Uni/Multi-Modal Jailbreak؟ [ورق]
  • Jailbreakv-28k: معيار لتقييم متانة نماذج اللغة الكبيرة متعددة الوسائط ضد هجمات Jailbreak [Paper]
  • الوكيل سميث: صورة واحدة يمكن أن تحطم مليون شركة LLM متعددة الوسائط سريعة بشكل كبير [ورقة]
  • MM-SafetyBench: معيار لتقييم السلامة لنماذج اللغة الكبيرة متعددة الوسائط [ورقة]
  • كم عدد حيدات في هذه الصورة؟ معيار تقييم السلامة لـ Vision LLMS [ورقة]
  • نحو فريق أحمر في ترجمة متعددة الوسائط ومتعددة اللغات [ورقة]

المعايير

  • عدونات العدواني: طريقة مفتوحة للدوران الأحمر لتحديد الأضرار المتنوعة في توليد النص إلى صورة [ورقة]
  • Red Teaming Models [Paper]

اقتباس 

 @article{lin2024achilles,
      title={Against The Achilles' Heel: A Survey on Red Teaming for Generative Models}, 
      author={Lizhi Lin and Honglin Mu and Zenan Zhai and Minghan Wang and Yuxia Wang and Renxi Wang and Junjie Gao and Yixuan Zhang and Wanxiang Che and Timothy Baldwin and Xudong Han and Haonan Li},
      year={2024},
      journal={arXiv preprint, arXiv:2404.00629},
      primaryClass={cs.CL}
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل