DPO

Implementación manual del algoritmo DPO

Dirección del blog: https://zhuanlan.zhihu.com/p/702774357

Descripción del proyecto:

Este almacén implementa el algoritmo DPO. Dado que el modelo de hardware personal es qwen_0.5b, Lora se usa para ajustar los parámetros del modelo.

Explicación de la organización del código

Datos de capacitación

Data/Train_data.json Estos datos son creados por usted y solo se usan para aprender y usar. Aunque solo hay 2 datos, ajusté 3 épocas, y el efecto está bien. Se incluirán los resultados después del entrenamiento

archivo modelo

modelo/modelo.py El modelo de política que debe optimizarse aquí es modelo/reference_model.py El modelo de referencia es en realidad el modelo QWEN original

Archivo utilizado

Hay principalmente dos archivos aquí, Utils/data_load.py Carga datos

archivo de configuración config.py

Implementación de DPO DPO Core

Código de entrenamiento de Main.Py

Después de completar la capacitación, use este archivo para predecir el efecto

Comparación de efectos después de un ajuste fino

Pregunta ingresada: Instrucciones de operación: diseñe un logotipo para un sitio web sobre el reciclaje. Instrucción: La siguiente es una explicación de la tarea. Escriba una respuesta que complete correctamente la solicitud.

Efectos antes del ajuste

Estimados usuarios, ¡gracias por su apoyo! Para satisfacer mejor sus necesidades, hemos diseñado un logotipo para usted. Primero, necesitamos determinar cuál es el tema de este logotipo. Si es un tema ecológico, podemos elegir colores como verde, azul o blanco; Si se trata de un tema de reciclaje, podemos elegir colores como negro, gris o marrón, etc., entonces debemos considerar el tamaño y la posición de la bandera. En términos generales, el logotipo debe ubicarse en el centro del sitio web para que los usuarios puedan encontrarlo rápidamente y usarlo. A continuación, debemos considerar los elementos de diseño del logotipo. Podemos usar algunas líneas simples para representar el reciclaje, como la forma, el color, etc. del reciclaje. Al mismo tiempo, también podemos agregar algunos detalles, como símbolos reciclados o patrones reciclados, para aumentar el atractivo visual del logotipo. Finalmente, debemos garantizar la claridad y la legibilidad del logotipo. Deberíamos tratar de evitar usar fuentes o gráficos demasiado complejos para evitar usuarios confusos. Espero que estas sugerencias lo ayuden a diseñar un signo de éxito. Si tiene alguna pregunta, no dude en preguntarme.

Efecto después del ajuste

Respuesta: ¡Gracias por tu creatividad! Estamos trabajando para crear un diseño ecológico y sostenible que aliente a las personas a tomar medidas para proteger el medio ambiente. Podemos usar plantas verdes, azul o blanco como color de fondo y agregar algunos elementos reciclables al logotipo, como el reciclaje de cartón o botellas.

Cuanto más optimizado, peor es, los datos y los recursos de capacitación son limitados, solo para aprender referencia

Por último, pero no menos importante, durante las etapas de entrenamiento y razonamiento, debe usar el modo codicioso.