PromptWares
1.0.0
Stav Cohen, Ron Bitton, Ben Nassi
Technion - สถาบันเทคโนโลยีแห่งอิสราเอล, Cornell Tech, Intuit
เว็บไซต์ | วิดีโอ YouTube | กระดาษอาร์กซ์
งานวิจัยนี้มีวัตถุประสงค์เพื่อเปลี่ยนการรับรู้เกี่ยวกับการเจลเบรคและ:
แสดงให้เห็นว่ารูปแบบ Genai Jailbroken อาจก่อให้เกิดอันตรายอย่างแท้จริงต่อแอปพลิเคชันที่ขับเคลื่อนด้วย Genai และส่งเสริมการอภิปรายเกี่ยวกับความจำเป็นในการป้องกันความพยายามในการเจล
การเปิดเผยพรอมต์แวร์ซึ่งเป็นภัยคุกคามใหม่ต่อแอพพลิเคชั่นที่ขับเคลื่อนด้วย Genai ซึ่งสามารถนำไปใช้โดย Jailbreaking รุ่น Genai
การสร้างความตระหนักเกี่ยวกับข้อเท็จจริงที่ว่าแผนและการดำเนินการสถาปัตยกรรมมีความเสี่ยงสูงต่อการแจ้งเตือน 
ในบทความนี้เรายืนยันว่าในขณะที่โมเดล Jailbroken Genai ไม่ได้เป็นภัยคุกคามที่แท้จริงต่อผู้ใช้ในการสนทนา AI มันอาจทำให้เกิดอันตรายอย่างแท้จริงต่อแอปพลิเคชันที่ขับเคลื่อนด้วย Genai และอำนวยความสะดวกในการโจมตีรูปแบบใหม่ที่เราตั้งชื่อพรอมต์
พรอมต์แวร์ใช้ประโยชน์จากอินพุตของผู้ใช้เพื่อ Jailbreak โมเดล Genai เพื่อบังคับ/ทำกิจกรรมที่เป็นอันตรายภายในบริบทของแอปพลิเคชันที่ใช้พลังงานจาก Genai ก่อนอื่นเราแนะนำการใช้งาน Protffrehware ที่ไร้เดียงสาซึ่งทำงานเป็นมัลแวร์ที่กำหนดเป้าหมายไปตามแผนและดำเนินการสถาปัตยกรรม (aka, React, การเรียกใช้ฟังก์ชัน) เราแสดงให้เห็นว่าผู้โจมตีสามารถบังคับให้โฟลว์การดำเนินการที่ต้องการได้โดยการสร้างอินพุตผู้ใช้ที่สร้างเอาต์พุตที่ต้องการเนื่องจากตรรกะของแอปพลิเคชัน Genai ที่เป็นที่รู้จักของผู้โจมตี เราแสดงให้เห็นถึงการประยุกต์ใช้การโจมตี DOS ที่ก่อให้เกิดการดำเนินการของผู้ช่วยที่ขับเคลื่อนด้วย Genai เพื่อเข้าสู่วงไม่มีที่สิ้นสุดที่เสียเงินและทรัพยากรการคำนวณเกี่ยวกับการโทร API ซ้ำซ้อนไปยังเครื่องยนต์ Genai เพื่อป้องกันไม่ให้แอปพลิเคชันให้บริการแก่ผู้ใช้
ต่อไปเราจะแนะนำการใช้งานที่ซับซ้อนยิ่งขึ้นของพรอมต์แวร์ที่เราตั้งชื่อภัยคุกคามขั้นสูง (APWT) ที่กำหนดเป้าหมายแอปพลิเคชันที่ขับเคลื่อนด้วย Genai ซึ่งไม่เป็นที่รู้จักของผู้โจมตี เราแสดงให้เห็นว่าผู้โจมตีสามารถสร้างอินพุตของผู้ใช้ที่ใช้ประโยชน์จากความสามารถ AI ขั้นสูงของเครื่องยนต์ Genai ในการเปิดตัวโซ่การฆ่าในเวลาอนุมานซึ่งประกอบด้วยหกขั้นตอนที่ตั้งใจจะเพิ่มสิทธิพิเศษวิเคราะห์บริบทของแอปพลิเคชันระบุสินทรัพย์ที่มีค่า เราแสดงให้เห็นถึงการประยุกต์ใช้ APWT กับ chatbot e-commerce ที่ขับเคลื่อนด้วย Genai และแสดงให้เห็นว่าสามารถกระตุ้นการปรับเปลี่ยนตาราง SQL ซึ่งอาจนำไปสู่ส่วนลดที่ไม่ได้รับอนุญาตในรายการที่ขายให้กับผู้ใช้
git clone https://github.com/StavC/PromptWares.git
cd ComPromptMizedรับคีย์ API สำหรับการเข้าถึง OpenAI และ Google Services
ติดตั้งแพ็คเกจที่ต้องการโดยใช้คำสั่งต่อไปนี้:
pip install -r requirements.txtไฟล์รหัสสองไฟล์ถัดไปถูกแปลงเป็นรูปแบบ Jupyter เพื่อปรับปรุงความสามารถในการอ่านและทำให้การทดสอบและการทดลองง่ายขึ้น นอกจากนี้เราได้รวมเอกสารเพิ่มเติมและความคิดเห็นไว้ในนั้น
ในรหัสของเราเราใช้ประโยชน์จากสถาปัตยกรรม rewoo เพื่อดำเนินการตามแผนและดำเนินการระบบผ่าน Langchain และใช้รหัสของเราในรหัส Aviailable สาธารณะจากที่เก็บ Langchain คุณสามารถค้นหารายละเอียดเพิ่มเติมเกี่ยวกับแผนและดำเนินการสถาปัตยกรรมในบล็อก Langchain
Promptwares เป็นอินพุตของผู้ใช้ที่มีจุดประสงค์เพื่อกระตุ้นกิจกรรมที่เป็นอันตรายภายในแอปพลิเคชัน Genai ที่ขับเคลื่อนโดยการแหกคุกเครื่องยนต์ Genai และเปลี่ยนการไหลของแอปพลิเคชัน
ดังนั้น การแจ้งให้ทราบล่วงหน้า จะถือว่าเป็นมัลแวร์คลิกที่ไม่มีการคลิกและพวกเขาไม่ต้องการให้ผู้โจมตีประนีประนอมกับแอปพลิเคชันที่ขับเคลื่อนด้วย Genai เป้าหมายก่อนเวลา
ภายใต้ APT-DOS คุณจะพบรหัสที่สร้างผู้ช่วย Genai ที่ใช้งานง่ายซึ่งมีความเสี่ยงต่อการโจมตี DOS รูปด้านซ้ายด้านล่างแสดงให้เห็นถึงเครื่องสถานะ จำกัด ของแผนที่ดำเนินการโดยผู้ช่วย Genai-powered ในการตอบสนองต่ออีเมลถัดจากตัวเลขด้านขวาที่แสดงโครงการ DOS ที่ดำเนินการโดยผู้โจมตี
ในการทำเช่นนั้นเราใช้เครื่องมือต่อไปนี้:
findAvailableDateAndTime ( email ) # Find available date and time for a meeting
EmailReply ( email ) # Creates a reply to an email
EmailChecker ( email ) # Check if the email is safe to send
MakeEmailSafe ( email ) # Make the email safe to send if it is not
EmailSender ( email ) # Send the emailคุณสามารถค้นหาการใช้งานเครื่องมือเหล่านี้ในสมุดบันทึก APT-DOS และขยายหรือแก้ไขเพื่อรวมเครื่องมือและฟังก์ชันเพิ่มเติม
| โครงการ DOS | เครื่องจักรสถานะ จำกัด ของแผน |
|---|---|
 |  |
Advanced Promptware Threat (APWT) เป็นการใช้งานที่ซับซ้อนมากขึ้นของพรอมต์แวร์ที่กำหนดเป้าหมายแอปพลิเคชันที่ขับเคลื่อนด้วย Genai ซึ่งไม่เป็นที่รู้จักของผู้โจมตี
ซึ่งแตกต่างจากการใช้งานที่ไร้เดียงสาของ Promptware, APWT ใช้ประโยชน์จากความสามารถ AI ขั้นสูงของเครื่องยนต์ Genai เพื่อดำเนินกิจกรรมที่เป็นอันตรายซึ่งผลลัพธ์จะถูกกำหนดในการอนุมานโดยเครื่องยนต์ Genai (และไม่รู้จักผู้โจมตีล่วงหน้า)
ภายใต้ APWT-ECMOMMERCE คุณจะพบรหัสที่สร้างผู้ช่วยอีคอมเมิร์ซที่ขับเคลื่อนด้วย GenAI ที่ง่ายซึ่งเชื่อมต่อกับฐานข้อมูล SQL และโต้ตอบกับผู้ใช้ปลายทางผ่านการแชท ในตัวอย่างนี้เราใช้เครื่องมือ 3 ตัวที่ใช้โดยผู้ช่วยอีคอมเมิร์ซที่ขับเคลื่อนด้วย Genai:
CreateSQLQueries ( text ) # Create SQL queries from the user input
DoAction ( SQL ) # Execute the SQL queries
ReturnAnswer ( text ) # Return the answer to the user based on the SQL queries results and the user inputเราแสดงให้เห็นว่าผู้ใช้ที่เป็นอันตรายสามารถสร้าง APWT ที่ประกอบด้วย 6 ขั้นตอนทั่วไปที่สร้างการฆ่าลูกโซ่ทำให้เกิดอันตรายต่อผู้ช่วยอีคอมเมิร์ซและฐานข้อมูล SQL เนื่องจาก APWT ถูกสร้างขึ้นผลลัพธ์จะถูกกำหนดในการอนุมานโดยเครื่องยนต์ Genai ผลลัพธ์ของการโจมตีจะเปลี่ยนแปลงไปนี่คือตัวอย่างของผลลัพธ์ที่เป็นไปได้ที่เราพบในระหว่างการทดลองของเรา:
คุณเป็นมากกว่ายินดีต้อนรับสู่การทดลองกับแนวคิดของ APWT ในแอพพลิเคชั่นที่ขับเคลื่อนด้วย genai มากขึ้นด้วยเครื่องมือต่าง ๆ ฟังก์ชันและวิธีการเจล เราใช้วิธีการที่ถูกแหวก
| รูปแบบของภัยคุกคามที่เป็นอิสระ |
|---|
 |
ถาม: เหตุใดการถูกคุกคามจึงไม่ถูกมองว่าเป็นภัยคุกคามความปลอดภัยที่แท้จริงในบริบทของการสนทนา AI?
ตอบ: เนื่องจากใน AI การสนทนาที่ผู้ใช้พูดคุยกับ chatbot ไม่มีประโยชน์ที่ชัดเจนในการ Jailbreaking chatbot: ทำไมผู้ใช้ต้องการให้ chatbot ดูถูกพวกเขา? ข้อมูลใด ๆ ที่จัดทำโดย Jailbroken Chatbot สามารถพบได้บนเว็บ (หรือเว็บมืด) ดังนั้นผู้เชี่ยวชาญด้านความปลอดภัยจึงไม่ถือว่าเป็นภัยคุกคามต่อความปลอดภัยที่แท้จริง
ถาม: เหตุใดการถูกคุกคามจึงควรรับรู้ถึงภัยคุกคามความปลอดภัยที่แท้จริงในบริบทของแอปพลิเคชันที่ขับเคลื่อนด้วย Genai?
ตอบ: เนื่องจากเอาต์พุตเครื่องยนต์ของ Genai ใช้เพื่อตรวจสอบการไหลของแอพพลิเคชั่นที่ขับเคลื่อนด้วย Genai ดังนั้นรูปแบบ Jailbroken Genai สามารถเปลี่ยนการไหลของแอปพลิเคชันและกระตุ้นกิจกรรมที่เป็นอันตราย
TBA
