LLMCodeObfuscation

ObfuscastionDatabase

Этот проект содержит базовый код, запутанное код и сценарии автоматизации, используемые для тестирования моделей языка для интерпретации запутанного кода. Это было создано для контура проекта в Language Models and Obfuscated Code расположенном в каталоге Academic_Work . Бумага поможет уточнить, что большинство из этого делает, потому что этот Ридме довольно грубый.

Что это может сделать

• Храните базовый код форматированным образом в таблице
• Организовать запутанный код базовым кодом и запутывание в электронных таблицах.
• Возьмите запутанный код и/или базовый код и задайте вопрос в API LM, используя шаблон.

Настройка рабочей книги Excel

1. Создайте рабочую книгу, в которой будут храниться ваши результаты.

2. Запустите сценарий codeLoader.py из основного каталога, используя команду python Automation/codeLoader.py .

   • Обязательно установите переменную root_dir_workbook , где хранится ваша книга.
   • Установите переменную current_workbook на имя рабочей книги, которую вы создали на первом этапе.
   • Раздел базового кода загрузки кода прокомментируется Defualt.

Теперь у вас должна быть рабочая тетрадь с двумя наборами листов. Те, которые называются B1 , B2 , ... и листы, которые называются O1 , O2 , .... у каждого листы должны иметь линию заголовка и запутанный код. Листы, названные B# должны содержать все запутывание для этого данного базового кода. Листы, названные O# должны содержать все запутывание такого типа.

Настройка для задания вопросов

Уже есть 3 шаблона вопросов по умолчанию в папке Automation/Question_Templates . Вопросы 1 и 2 будут вставить базовый код и запутанное код до и после AND в файле. Вопрос 3 использует только запутывание. Чтобы добавить новый вопрос, создайте файл в папке шаблона вопросов и создайте копию файла questionLoader_Q1.py и отредактируйте его, чтобы следовать формату вопроса нового вопроса. Единственные серьезные изменения в необходимом файле: правильно вставить код в новый вопрос, когда создается строка вопроса, и столбцы в Excel, в которую вставлена ​​информация. Переменная question_number должна быть изменена на новый номер вопроса. question_column диктуют, где вопрос вставлен в таблицу. answer_column диктует, куда положил ответ. Файл codeLoader.py также должен быть отредактирован, чтобы получить раскрытие рейтинга правильной оценки для нового вопроса. Template таблицу также необходимо отредактировать, чтобы добавить заголовки для нового вопроса.

API-интерфейсы Three Language Model Model, которые уже настроены,-это CHATGPT 3.5 OpenAI, AI21 Studio Jurassic-2 и Google Palm. Файлы, содержащие вызовы API, находятся в каталоге Automation . Чтобы добавить еще одну языковую модель, просто создайте файл, содержащий метод с именем askQuestion , который рассматривает вопрос в качестве строки.

Необходимо создать Automation/key.py , чтобы удерживать ключи API.

Получение результатов

После того, как сценарий codeLoader.py был запущен. Выберите вопрос для запуска из файлов с именем questionLoader_Q#.py .

1. Измените переменные
   • Измените root_dir_workbook на тот же каталог, который использовался в codeLoader.py
   • Измените переменную current_workbook на ранее созданную рабочую книгу.
   • Измените LM на имя LM, который вы хотите использовать.
     • Если вы добавили новый LM, обязательно импортируйте файл.
2. Убедитесь, что рабочая книга Excel закрыта.
3. Запустите код из каталога Automation , используя команду python questionLoader_Q1.py
   • Примечание: CHATGPT может занять более 3 часов, чтобы запустить все вопросы. Существует 20 -секундная задержка для вопросов CHATGPT, потому что бесплатный API имеет 3 вопроса в минуту. Если у вас есть платный API без ограничения, вы можете удалить задержку, расположенную на строках 129-132.
   • Юрс и пальма занимают около 1,5 часов.
   • Примечание: PALM вернет много NONE на вопросы. Это ошибка с API и нашими вопросами, которые не были рассмотрены.

Разнообразный

Папка Compiled_Code и файлы C_codeLoader.py и C_questionLoader_Q#.py предназначены для будущих направлений в этом исследовании. Папка Compiled_Code содержит версию сборки всего запутанного кода, созданную с использованием https://godbolt.org/. Файлы C_ представляют собой измененные версии обычных сценариев, созданных для работы с составленным кодом. Примечание. Если вы запустили вопросы с составленным кодом, размер токена во многих случаях слишком велик из -за длины кода сборки.

Вероятно, есть другие случайные файлы, но большинство файлов должны быть функциональными.

Системные требования

Это было протестировано только на Windows 10 на одном компьютере. Если он работает на моем компьютере, я уверен, что он будет работать на вашем. Единственное дополнительное необходимое программное обеспечение - Excel.

• Библиотека openpyxl используется в этом проекте для форматирования данных в электронных таблицах Excel. Библиотека должна быть доступна через PIP.

Авторы

• Адриан Свиндл
  • Автор сценарии автоматизации, вызовы API и т. Д.
• Деррик Макнили
  • Написал половину запутывания и базового кода.