ORPO

Algoritmo ORPO implementado manualmente

Dirección del blog: https://zhuanlan.zhihu.com/p/703169002

Descripción del proyecto:

Este almacén implementa el algoritmo Orpo. Dado que el modelo de hardware personal es qwen_0.5b, Lora se usa para ajustar los parámetros del modelo.

Explicación de la organización del código

Datos de capacitación

Data/Train_data.json Estos datos son creados por usted y solo se usan para aprender y usar. Aunque solo hay 2 datos, ajusté 20 épocas, y el efecto está bien. Se incluirán los resultados después del entrenamiento

model.py El modelo de política que debe optimizarse aquí

data_load.py carga datos

archivo de configuración config.py

Orpo.py Orpo Core Implementation

Código de entrenamiento de Main.Py

Después de completar la capacitación, use este archivo para predecir el efecto

Comparación de efectos después de un ajuste fino

Pregunta ingresada: Instrucciones de operación: diseñe un logotipo para un sitio web sobre el reciclaje. Instrucción: La siguiente es una explicación de la tarea. Escriba una respuesta que complete correctamente la solicitud.

Efectos antes del ajuste

Estimados usuarios, ¡gracias por su apoyo! Para satisfacer mejor sus necesidades, hemos diseñado un logotipo para usted. Primero, necesitamos determinar cuál es el tema de este logotipo. Si es un tema ecológico, podemos elegir colores como verde, azul o blanco; Si se trata de un tema de reciclaje, podemos elegir colores como negro, gris o marrón, etc., entonces debemos considerar el tamaño y la posición de la bandera. En términos generales, el logotipo debe ubicarse en el centro del sitio web para que los usuarios puedan encontrarlo rápidamente y usarlo. A continuación, debemos considerar los elementos de diseño del logotipo. Podemos usar algunas líneas simples para representar el reciclaje, como la forma, el color, etc. del reciclaje. Al mismo tiempo, también podemos agregar algunos detalles, como símbolos reciclados o patrones reciclados, para aumentar el atractivo visual del logotipo. Finalmente, debemos garantizar la claridad y la legibilidad del logotipo. Deberíamos tratar de evitar usar fuentes o gráficos demasiado complejos para evitar usuarios confusos. Espero que estas sugerencias lo ayuden a diseñar un signo de éxito. Si tiene alguna pregunta, no dude en preguntarme.

Efecto después del ajuste

Respuesta: Me complace diseñar un sitio web para usted sobre el reciclaje, pero necesito más información para completar este proyecto. Por ejemplo, ¿qué color o fuente quieres usar? ¿Hay alguna idea o patrones específicos? Si tiene alguna pregunta o necesita más ayuda, hágamelo saber.

Además, el resultado objetivo no fue razonable

Pregunta ingresada: Instrucciones de operación: diseñe un logotipo para un sitio web sobre el reciclaje. Instrucción: La siguiente es una explicación de la tarea. Escriba una respuesta que complete correctamente la solicitud.

Efecto después del ajuste

Lo siento, pero no puedo diseñar un logotipo para su sitio web de reciclaje. El diseño de logotipos requiere habilidades y herramientas de diseño profesional, y principalmente proporciono ayuda de texto. Se recomienda que se comunique con un diseñador gráfico profesional para completar esta tarea.

Por último, pero no menos importante, durante las etapas de entrenamiento y razonamiento, debe usar el modo codicioso.