LLMCodeObfuscation

obfuscastiondatabase

โครงการนี้มีรหัสฐานรหัสที่สับสนและสคริปต์ระบบอัตโนมัติที่ใช้ในการทดสอบโมเดลภาษาความสามารถในการตีความรหัสที่สับสน สิ่งนี้ถูกสร้างขึ้นสำหรับโครงร่างโครงการใน Language Models and Obfuscated Code ตั้งอยู่ในไดเรกทอรี Academic_Work กระดาษจะช่วยชี้แจงว่าสิ่งนี้ส่วนใหญ่ทำอย่างไรเพราะ readme นี้ค่อนข้างหยาบ

สิ่งนี้สามารถทำได้

• จัดเก็บรหัสฐานในลักษณะที่จัดรูปแบบในสเปรดชีต
• จัดระเบียบรหัสที่ทำให้งงงวยโดยรหัสฐานและการทำให้งงงวยในสเปรดชีต
• ใช้รหัสที่สับสนและ/หรือรหัสฐานและถามคำถามไปยัง LM API โดยใช้เทมเพลต

การตั้งค่าสมุดงาน Excel

1. สร้างสมุดงานที่ผลลัพธ์ของคุณจะถูกเก็บไว้

2. เรียกใช้สคริปต์ codeLoader.py จากไดเรกทอรีหลักโดยใช้คำสั่ง python Automation/codeLoader.py

   • ตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวแปร root_dir_workbook ไปยังตำแหน่งที่จัดเก็บสมุดงานของคุณ
   • ตั้งค่าตัวแปร current_workbook เป็นชื่อของสมุดงานที่คุณสร้างขึ้นในขั้นตอนที่หนึ่ง
   • ส่วนรหัสฐานโหลดของรหัสถูกแสดงความคิดเห็นโดย defualt

ตอนนี้คุณควรมีสมุดงานที่มีแผ่นสองชุด คนที่มีชื่อว่า B1 , B2 , .... และแผ่นที่มีชื่อว่า O1 , O2 , .... แต่ละแผ่นควรมีบรรทัดส่วนหัวและรหัสที่สับสน แผ่นที่ชื่อ B# ควรมีการทำให้งงงวยทั้งหมดสำหรับรหัสฐานที่กำหนด แผ่นที่มีชื่อว่า O# ควรมีการทำให้งงงวยทั้งหมดของประเภทนั้น

การตั้งค่าเพื่อถามคำถาม

มีเทมเพลตคำถามเริ่มต้น 3 ตัวในโฟลเดอร์ Automation/Question_Templates คำถามที่ 1 และ 2 จะแทรกรหัสฐานและรหัสที่ทำให้งงก่อนและหลัง AND ในไฟล์ คำถามที่ 3 ใช้เพียงแค่การทำให้งงงวย ในการเพิ่มคำถามใหม่ให้สร้างไฟล์ในโฟลเดอร์เทมเพลตคำถามและสร้างสำเนาไฟล์ questionLoader_Q1.py และแก้ไขเพื่อติดตามรูปแบบคำถามของคำถามใหม่ การเปลี่ยนแปลงที่สำคัญเพียงอย่างเดียวในไฟล์ที่จำเป็นคือ: การแทรกรหัสลงในคำถามใหม่อย่างถูกต้องเมื่อสร้างสตริงคำถามและคอลัมน์ใน excel ที่ข้อมูลถูกแทรกไป ตัวแปร question_number ควรเปลี่ยนเป็นหมายเลขคำถามใหม่ question_column กำหนดว่าคำถามจะถูกแทรกในสเปรดชีต answer_column สั่งให้วางคำตอบไว้ที่ไหน ไฟล์ codeLoader.py จะต้องได้รับการแก้ไขเพื่อรับการจัดอันดับความถูกต้องสำหรับคำถามใหม่ สเปรดชีต Template จะต้องได้รับการแก้ไขเพื่อเพิ่มส่วนหัวสำหรับคำถามใหม่

API แบบจำลองภาษาสามภาษาที่ติดตั้งอยู่แล้วคือ Jurassic-2 ของ OpenAI ของ OpenAI, Jurassic-2 และ Google Palm ไฟล์ที่มีการโทร API อยู่ในไดเรกทอรี Automation ในการเพิ่มรูปแบบภาษาอื่นเพียงสร้างไฟล์ที่มีวิธีการที่ชื่อว่า askQuestion ที่ใช้คำถามเป็นสตริง

ชื่อไฟล์ Automation/key.py จะต้องถูกสร้างขึ้นเพื่อกดปุ่ม API ของคุณ

ได้รับผลลัพธ์

เมื่อสคริปต์ codeLoader.py ถูกเรียกใช้ เลือกคำถามที่จะเรียกใช้จากไฟล์ที่มีชื่อว่า questionLoader_Q#.py

1. แก้ไขตัวแปร
   • เปลี่ยน root_dir_workbook เป็นไดเรกทอรีเดียวกับที่ใช้ใน codeLoader.py
   • เปลี่ยนตัวแปร current_workbook เป็นสมุดงานที่สร้างขึ้นก่อนหน้านี้
   • เปลี่ยน LM เป็นชื่อ LM ที่คุณต้องการใช้
     • หากคุณเพิ่ม LM ใหม่ให้แน่ใจว่าได้นำเข้าไฟล์
2. ตรวจสอบให้แน่ใจว่าสมุดงาน Excel ถูกปิด
3. เรียกใช้รหัสจากไดเรกทอรี Automation โดยใช้คำสั่ง python questionLoader_Q1.py
   • หมายเหตุ: CHATGPT อาจใช้เวลามากกว่า 3 ชั่วโมงในการเรียกใช้คำถามทั้งหมด มีความล่าช้าในตัว 20 วินาทีสำหรับคำถาม CHATGPT เนื่องจาก API ฟรีมีคำถาม 3 ข้อต่อนาที หากคุณมี API แบบชำระเงินที่ไม่ จำกัด คุณสามารถลบความล่าช้าที่อยู่ในบรรทัดที่ 129-132
   • จูราสสิคและปาล์มใช้เวลาประมาณ 1.5 ชั่วโมง
   • หมายเหตุ: ปาล์มจะส่งคืน NONE ตอบจำนวนมาก มันเป็นข้อผิดพลาดกับ API และคำถามของเราที่ไม่ได้ถูกมอง

เบ็ดเตล็ด

โฟลเดอร์ Compiled_Code และไฟล์ C_codeLoader.py และ C_questionLoader_Q#.py สำหรับทิศทางในอนาคตในการวิจัยนี้ โฟลเดอร์ Compiled_Code มีเวอร์ชันแอสเซมบลีของรหัสที่ไม่ชัดเจนซึ่งสร้างขึ้นโดยใช้ https://godbolt.org/ ไฟล์ C_ ถูกเปลี่ยนสคริปต์ทั่วไปที่สร้างขึ้นเพื่อทำงานกับรหัสที่รวบรวม หมายเหตุ: หากคุณต้องเรียกใช้คำถามด้วยรหัสที่รวบรวมขนาดโทเค็นมีขนาดใหญ่เกินไปในหลายกรณีเนื่องจากความยาวของรหัสแอสเซมบลี

อาจมีไฟล์สุ่มอื่น ๆ แต่ไฟล์ส่วนใหญ่ควรใช้งานได้

ข้อกำหนดของระบบ

นี่คือการทดสอบบน Windows 10 บนคอมพิวเตอร์เครื่องเดียวเท่านั้น ถ้ามันใช้งานได้ในคอมพิวเตอร์ของฉันฉันแน่ใจว่ามันจะทำงานกับคุณ ซอฟต์แวร์พิเศษที่จำเป็นเท่านั้นคือ Excel

• Library openpyxl ใช้ในโครงการนี้เพื่อจัดรูปแบบข้อมูลในสเปรดชีต Excel ควรมีห้องสมุดผ่าน PIP

ผู้เขียน

• Adrian Swindle
  • เขียนสคริปต์ระบบอัตโนมัติการโทร API ฯลฯ ...
• ปั้นจั่น
  • เขียนครึ่งหนึ่งของการทำให้งงงวยและรหัสฐาน