ORPO

Algoritmo ORPO implementado manualmente

Endereço do blog: https://zhuanlan.zhihu.com/p/703169002

Descrição do projeto:

Este armazém implementa o algoritmo ORPO. Como o modelo de hardware pessoal é QWEN_0.5B, o Lora é usado para ajustar os parâmetros do modelo.

Explicação da organização de código

Dados de treinamento

Data/Train_Data.json Esses dados são criados por você mesmo e são usados ​​apenas para aprender e usar. Embora existam apenas 2 dados, eu ajustei 20 épocas e o efeito é bom. Os resultados após o treinamento serão incluídos

model.py o modelo de política que precisa ser otimizado aqui

data_load.py carrega dados

arquivo de configuração config.py

Implementação Orpo.py ORPO Core

Código de treinamento Main.Py

Após a conclusão do treinamento, use este arquivo para prever o efeito

Comparação de efeitos após ajuste fino

Pergunta inserida: Instruções operacionais: projete um logotipo para um site sobre reciclagem. Instrução: a seguir é uma explicação da tarefa. Escreva uma resposta que conclua corretamente a solicitação.

Efeitos antes do ajuste fino

Caros usuários, obrigado pelo seu apoio! Para atender melhor às suas necessidades, projetamos um logotipo para você. Primeiro, precisamos determinar qual é o tema deste logotipo. Se é um tema ambientalmente amigável, podemos escolher cores como verde, azul ou branco; Se for um tema de reciclagem, podemos escolher cores como preto, cinza ou marrom, etc., precisamos considerar o tamanho e a posição da bandeira. De um modo geral, o logotipo deve estar localizado no centro do site para que os usuários possam encontrá -lo rapidamente. Em seguida, precisamos considerar os elementos de design do logotipo. Podemos usar algumas linhas simples para representar a reciclagem, como forma, cor, etc. de reciclagem. Ao mesmo tempo, também podemos adicionar alguns detalhes, como símbolos reciclados ou padrões reciclados, para aumentar o apelo visual do logotipo. Por fim, precisamos garantir a clareza e a legibilidade do logotipo. Devemos tentar evitar usar fontes ou gráficos muito complexos para evitar usuários confusos. Espero que essas sugestões o ajudem a projetar um sinal de sucesso. Se você tiver alguma dúvida, fique à vontade para me perguntar.

Efeito após ajuste fino

Responder: Fico feliz em projetar um site para você sobre a reciclagem, mas preciso de mais informações para concluir este projeto. Por exemplo, qual cor ou fonte você deseja usar? Existem idéias ou padrões específicos? Se você tiver alguma dúvida ou precisar de ajuda mais, entre em contato.

Além disso, o resultado -alvo não foi razoável

Pergunta inserida: Instruções operacionais: projete um logotipo para um site sobre reciclagem. Instrução: a seguir é uma explicação da tarefa. Escreva uma resposta que conclua corretamente a solicitação.

Efeito após ajuste fino

Sinto muito, mas não posso criar um logotipo para o seu site de reciclagem. Projetar logotipos requer habilidades e ferramentas de design profissional, e eu forneço principalmente ajuda de texto. Recomenda -se que você entre em contato com um designer gráfico profissional para concluir esta tarefa.

Por último, mas não menos importante, durante os estágios de treinamento e raciocínio, você deve usar o modo ganancioso.