DPO

Ручная реализация алгоритма DPO

Адрес блога: https://zhuanlan.zhihu.com/p/702774357

Описание проекта:

Этот склад реализует алгоритм DPO. Поскольку модель личного оборудования - QWEN_0,5B, LORA используется для регулировки параметров модели.

Кодовая организация Объяснение

Данные обучения

DATA/TRAIN_DATA.JSON Эти данные создаются самостоятельно и используются только для обучения и использования. Несмотря на то, что есть только 2 части данных, я настраивал 3 эпохи, и эффект в порядке. Результаты после обучения будут включены

модельный файл

Model/Model.py Модель политики, которая должна быть оптимизирована здесь, - это Model/reference_model.py, эталонная модель на самом деле является оригинальной моделью QWEN

файл utils

Здесь есть в основном два файла, utils/data_load.py загружает данные

config.py file file

DPO.PY DPO CORE реализация

Main.py Code

После завершения обучения используйте этот файл, чтобы предсказать эффект

Сравнение эффектов после тонкой корректировки

Введенный вопрос: Инструкции по эксплуатации: разработка логотипа для веб -сайта о переработке. Инструкция: Ниже приведено объяснение задачи. Напишите ответ, который правильно завершает запрос.

Эффекты перед настройкой

Уважаемые пользователи, спасибо за вашу поддержку! Чтобы лучше удовлетворить ваши потребности, мы разработали для вас логотип. Во -первых, нам нужно определить, какова тема этого логотипа. Если это экологически чистая тема, мы можем выбрать такие цвета, как зеленый, синий или белый; Если это тема переработки, мы можем выбрать такие цвета, как черный, серый или коричневый и т. Д., То, что нам нужно рассмотреть размер и положение флага. Вообще говоря, логотип должен быть расположен в центре веб -сайта, чтобы пользователи могли быстро найти и использовать его. Затем нам нужно рассмотреть элементы дизайна логотипа. Мы можем использовать несколько простых линий для представления переработки, таких как форма, цвет и т. Д. Утилизации. В то же время мы также можем добавить некоторые детали, такие как переработанные символы или переработанные шаблоны, чтобы увеличить визуальную привлекательность логотипа. Наконец, мы должны обеспечить ясность и разборчивость логотипа. Мы должны попытаться избежать использования слишком сложных шрифтов или графики, чтобы избежать запутанных пользователей. Надеюсь, эти предложения помогут вам разработать признак успеха. Если у вас есть какие -либо вопросы, не стесняйтесь спрашивать меня.

Эффект после тонкой настройки

Ответ: Спасибо за творчество! Мы работаем над созданием экологически чистого и устойчивого дизайна, который поощряет людей принять меры для защиты окружающей среды. Мы можем использовать зеленые растения, синие или белые в качестве фонового цвета и добавить в логотип некоторые утилизируемые элементы, такие как переработка картон или бутылки.

Чем более оптимизированы, тем хуже, данные обучения и ресурсы ограничены, только для обучения справочника

И последнее, но не менее важное: на этапах обучения и рассуждения вы должны использовать жадный режим.