ORPO

Algorithme ORPO implémenté manuellement

Adresse du blog: https://zhuanlan.zhihu.com/p/703169002

Description du projet:

Cet entrepôt implémente l'algorithme ORPO. Étant donné que le modèle de matériel personnel est QWEN_0.5B, LORA est utilisé pour ajuster les paramètres du modèle.

Explication de l'organisation du code

Données de formation

DATA / Train_data.json Ces données sont créées par vous-même et sont utilisées uniquement pour l'apprentissage et l'utilisation. Bien qu'il n'y ait que 2 éléments de données, j'ai affiné 20 époques et l'effet est OK. Les résultats après la formation seront inclus

modèle.py le modèle de politique qui doit être optimisé ici

data_load.py charge les données

Fichier de configuration config.py

Orpo.py Orpo Core Implémentation

Code de formation Main.py

Une fois la formation terminée, utilisez ce fichier pour prédire l'effet

Comparaison des effets après ajustement fin

Question entrée: Instructions de fonctionnement: Concevoir un logo pour un site Web sur le recyclage. Instruction: Ce qui suit est une explication de la tâche. Écrivez une réponse qui complète correctement la demande.

Effets avant de régler

Chers utilisateurs, merci pour votre soutien! Pour mieux répondre à vos besoins, nous avons conçu un logo pour vous. Tout d'abord, nous devons déterminer quel est le thème de ce logo. S'il s'agit d'un thème respectueux de l'environnement, nous pouvons choisir des couleurs telles que le vert, le bleu ou le blanc; S'il s'agit d'un thème de recyclage, nous pouvons choisir des couleurs telles que le noir, le gris ou le brun, etc., nous devons alors considérer la taille et la position du drapeau. D'une manière générale, le logo doit être situé au centre du site Web afin que les utilisateurs puissent rapidement le trouver et l'utiliser. Ensuite, nous devons considérer les éléments de conception du logo. Nous pouvons utiliser des lignes simples pour représenter le recyclage, comme la forme, la couleur, etc. du recyclage. Dans le même temps, nous pouvons également ajouter des détails, tels que des symboles recyclés ou des modèles recyclés, pour augmenter l'attrait visuel du logo. Enfin, nous devons assurer la clarté et la lisibilité du logo. Nous devrions essayer d'éviter d'utiliser des polices ou des graphiques trop complexes pour éviter de confondre les utilisateurs. J'espère que ces suggestions vous aideront à concevoir un signe de succès. Si vous avez des questions, n'hésitez pas à me poser.

Effet après le réglage fin

Réponse: Je suis heureux de concevoir un site Web pour vous sur le recyclage, mais j'ai besoin de plus d'informations pour terminer ce projet. Par exemple, quelle couleur ou police souhaitez-vous utiliser? Y a-t-il des idées ou des modèles spécifiques? Si vous avez des questions ou si vous avez besoin d'aide, veuillez me le faire savoir.

De plus, le résultat cible était déraisonnable

Question entrée: Instructions de fonctionnement: Concevoir un logo pour un site Web sur le recyclage. Instruction: Ce qui suit est une explication de la tâche. Écrivez une réponse qui complète correctement la demande.

Effet après le réglage fin

Je suis désolé, mais je ne peux pas concevoir un logo pour votre site Web de recyclage. La conception de logos nécessite des compétences et des outils de conception professionnels, et je fournis principalement une aide en texte. Il est recommandé de contacter un graphiste professionnel pour accomplir cette tâche.

Enfin et surtout, pendant les étapes de formation et de raisonnement, vous devez utiliser le mode gourmand.