DPO

Implementação manual do algoritmo DPO

Endereço do blog: https://zhuanlan.zhihu.com/p/702774357

Descrição do projeto:

Este armazém implementa o algoritmo DPO. Como o modelo de hardware pessoal é QWEN_0.5B, o Lora é usado para ajustar os parâmetros do modelo.

Explicação da organização de código

Dados de treinamento

Data/Train_Data.json Esses dados são criados por você mesmo e são usados ​​apenas para aprender e usar. Embora existam apenas 2 dados, eu ajustei 3 épocas e o efeito é bom. Os resultados após o treinamento serão incluídos

arquivo de modelo

modelo/modelo.py O modelo de política que precisa ser otimizado aqui é modelo/reference_model.py O modelo de referência é realmente o modelo QWEN original

Arquivo Utils

Existem principalmente dois arquivos aqui, utils/data_load.py carrega dados

arquivo de configuração config.py

implementação do núcleo DPO.PY DPO

Código de treinamento Main.Py

Após a conclusão do treinamento, use este arquivo para prever o efeito

Comparação de efeitos após ajuste fino

Pergunta inserida: Instruções operacionais: projete um logotipo para um site sobre reciclagem. Instrução: a seguir é uma explicação da tarefa. Escreva uma resposta que conclua corretamente a solicitação.

Efeitos antes do ajuste fino

Caros usuários, obrigado pelo seu apoio! Para atender melhor às suas necessidades, projetamos um logotipo para você. Primeiro, precisamos determinar qual é o tema deste logotipo. Se é um tema ambientalmente amigável, podemos escolher cores como verde, azul ou branco; Se for um tema de reciclagem, podemos escolher cores como preto, cinza ou marrom, etc., precisamos considerar o tamanho e a posição da bandeira. De um modo geral, o logotipo deve estar localizado no centro do site para que os usuários possam encontrá -lo rapidamente. Em seguida, precisamos considerar os elementos de design do logotipo. Podemos usar algumas linhas simples para representar a reciclagem, como forma, cor, etc. de reciclagem. Ao mesmo tempo, também podemos adicionar alguns detalhes, como símbolos reciclados ou padrões reciclados, para aumentar o apelo visual do logotipo. Por fim, precisamos garantir a clareza e a legibilidade do logotipo. Devemos tentar evitar usar fontes ou gráficos muito complexos para evitar usuários confusos. Espero que essas sugestões o ajudem a projetar um sinal de sucesso. Se você tiver alguma dúvida, fique à vontade para me perguntar.

Efeito após ajuste fino

Resposta: Obrigado pela sua criatividade! Estamos trabalhando para criar um design ambientalmente amigável e sustentável que incentive as pessoas a tomar medidas para proteger o meio ambiente. Podemos usar plantas verdes, azul ou branco como cor de fundo e adicionar alguns elementos recicláveis ​​ao logotipo, como a reciclagem de papelão ou garrafas.

Quanto mais otimizado, pior, os dados e recursos de treinamento são limitados, apenas para referência de aprendizado

Por último, mas não menos importante, durante os estágios de treinamento e raciocínio, você deve usar o modo ganancioso.