ORPO

Алгоритм ORPO вручную реализован

Адрес блога: https://zhuanlan.zhihu.com/p/703169002

Описание проекта:

Этот склад реализует алгоритм ORPO. Поскольку модель личного оборудования - QWEN_0,5B, LORA используется для регулировки параметров модели.

Кодовая организация Объяснение

Данные обучения

DATA/TRAIN_DATA.JSON Эти данные создаются самостоятельно и используются только для обучения и использования. Хотя есть только 2 части данных, я настраивал 20 эпох, и эффект в порядке. Результаты после обучения будут включены

Model.py Модель политики, которая должна быть оптимизирована здесь

data_load.py загружает данные

config.py file file

ORPO.PY ORPO CORE реализация

Main.py Code

После завершения обучения используйте этот файл, чтобы предсказать эффект

Сравнение эффектов после тонкой корректировки

Введенный вопрос: Инструкции по эксплуатации: разработка логотипа для веб -сайта о переработке. Инструкция: Ниже приведено объяснение задачи. Напишите ответ, который правильно завершает запрос.

Эффекты перед настройкой

Уважаемые пользователи, спасибо за вашу поддержку! Чтобы лучше удовлетворить ваши потребности, мы разработали для вас логотип. Во -первых, нам нужно определить, какова тема этого логотипа. Если это экологически чистая тема, мы можем выбрать такие цвета, как зеленый, синий или белый; Если это тема переработки, мы можем выбрать такие цвета, как черный, серый или коричневый и т. Д., То, что нам нужно рассмотреть размер и положение флага. Вообще говоря, логотип должен быть расположен в центре веб -сайта, чтобы пользователи могли быстро найти и использовать его. Затем нам нужно рассмотреть элементы дизайна логотипа. Мы можем использовать несколько простых линий для представления переработки, таких как форма, цвет и т. Д. Утилизации. В то же время мы также можем добавить некоторые детали, такие как переработанные символы или переработанные шаблоны, чтобы увеличить визуальную привлекательность логотипа. Наконец, мы должны обеспечить ясность и разборчивость логотипа. Мы должны попытаться избежать использования слишком сложных шрифтов или графики, чтобы избежать запутанных пользователей. Надеюсь, эти предложения помогут вам разработать признак успеха. Если у вас есть какие -либо вопросы, не стесняйтесь спрашивать меня.

Эффект после тонкой настройки

Ответ: Я рад разработать для вас веб -сайт о переработке, но мне нужно больше информации для завершения этого проекта. Например, какой цвет или шрифт вы хотите использовать? Есть ли конкретные идеи или закономерности? Если у вас есть какие -либо вопросы или вам нужна дополнительная помощь, пожалуйста, дайте мне знать.

Кроме того, целевой результат был необоснованным

Введенный вопрос: Инструкции по эксплуатации: разработка логотипа для веб -сайта о переработке. Инструкция: Ниже приведено объяснение задачи. Напишите ответ, который правильно завершает запрос.

Эффект после тонкой настройки

Извините, но я не могу разработать логотип для вашего веб -сайта переработки. Разработка логотипов требует профессиональных навыков дизайна и инструментов, и я в основном оказываю текстовую помощь. Рекомендуется связаться с профессиональным графическим дизайнером, чтобы выполнить эту задачу.

И последнее, но не менее важное: на этапах обучения и рассуждения вы должны использовать жадный режим.