DPO

DPO 알고리즘의 수동 구현

블로그 주소 : https://zhuanlan.zhihu.com/p/702774357

프로젝트 설명 :

이 창고는 DPO 알고리즘을 구현합니다. 개인 하드웨어 모델은 QWEN_0.5B이므로 LORA는 모델 매개 변수를 조정하는 데 사용됩니다.

코드 조직 설명

교육 데이터

Data/Train_data.json이 데이터는 직접 작성되며 학습 및 사용에만 사용됩니다. 데이터가 2 개 밖에 없지만 3 개의 에포크를 미세 조정했으며 그 효과는 괜찮습니다. 훈련 후 결과가 포함됩니다

모델 파일

Model/Model.py 여기서 최적화 해야하는 정책 모델은 Model/Reference_model.py 참조 모델은 실제로 원래 Qwen 모델입니다.

utils 파일

여기에는 주로 두 개의 파일이 있습니다. utils/data_load.py 데이터는 데이터를로드합니다

config.py 구성 파일

DPO.PY DPO 코어 구현

main.py 교육 코드

교육이 완료된 후이 파일을 사용하여 효과를 예측하십시오.

미세 조정 후 효과 비교

입력 된 질문 : 작동 지침 : 재활용에 관한 웹 사이트 로고를 설계하십시오. 지시 : 다음은 작업에 대한 설명입니다. 요청을 제대로 완료하는 응답을 작성하십시오.

미세 조정 전 효과

친애하는 사용자 여러분, 귀하의 지원에 감사드립니다! 귀하의 요구를 더 잘 충족시키기 위해 우리는 귀하를위한 로고를 설계했습니다. 먼저이 로고의 주제가 무엇인지 결정해야합니다. 환경 친화적 인 테마 인 경우 녹색, 파란색 또는 흰색과 같은 색상을 선택할 수 있습니다. 재활용 테마 인 경우 검은 색, 회색 또는 갈색 등과 같은 색상을 선택할 수 있습니다. 그러면 깃발의 크기와 위치를 고려해야합니다. 일반적으로 로고는 웹 사이트 중앙에 위치하여 사용자가 신속하게 찾아 사용할 수 있도록해야합니다. 다음으로 로고의 디자인 요소를 고려해야합니다. 우리는 간단한 선을 사용하여 재활용의 모양, 색 등과 같은 재활용을 나타낼 수 있습니다. 동시에 로고의 시각적 매력을 높이기 위해 재활용 기호 또는 재활용 패턴과 같은 세부 사항을 추가 할 수도 있습니다. 마지막으로 로고의 명확성과 가독성을 보장해야합니다. 혼란스러운 사용자를 피하기 위해 너무 복잡한 글꼴이나 그래픽을 사용하지 않도록 노력해야합니다. 이러한 제안이 성공의 표시를 설계하는 데 도움이되기를 바랍니다. 궁금한 점이 있으면 언제든지 물어보십시오.

미세 조정 후 효과

답장 : 창의성에 감사드립니다! 우리는 사람들이 환경을 보호하기 위해 조치를 취하도록 장려하는 환경 친화적이고 지속 가능한 디자인을 만들기 위해 노력하고 있습니다. 우리는 파란색 또는 흰색의 녹색 식물을 배경색으로 사용하고 재활용 골판지 또는 병과 같은 로고에 재활용 가능한 요소를 추가 할 수 있습니다.

더 최적화 될수록 더 나빠질수록 훈련 데이터와 리소스는 학습 참조 만 제한적입니다.

마지막으로, 훈련 및 추론 단계에서 욕심 많은 모드를 사용해야합니다.