ORPO

ORPO 알고리즘은 수동으로 구현되었습니다

블로그 주소 : https://zhuanlan.zhihu.com/p/703169002

프로젝트 설명 :

이 창고는 ORPO 알고리즘을 구현합니다. 개인 하드웨어 모델은 QWEN_0.5B이므로 LORA는 모델 매개 변수를 조정하는 데 사용됩니다.

코드 조직 설명

교육 데이터

Data/Train_data.json이 데이터는 직접 작성되며 학습 및 사용에만 사용됩니다. 데이터는 2 개 뿐이지 만 20 개의 에포크를 미세 조정했으며 그 효과는 괜찮습니다. 훈련 후 결과가 포함됩니다

model.py 여기서 최적화 해야하는 정책 모델

data_load.py 데이터를로드합니다

config.py 구성 파일

orpo.py orpo 핵심 구현

main.py 교육 코드

교육이 완료된 후이 파일을 사용하여 효과를 예측하십시오.

미세 조정 후 효과 비교

입력 된 질문 : 작동 지침 : 재활용에 관한 웹 사이트 로고를 설계하십시오. 지시 : 다음은 작업에 대한 설명입니다. 요청을 제대로 완료하는 응답을 작성하십시오.

미세 조정 전 효과

친애하는 사용자 여러분, 귀하의 지원에 감사드립니다! 귀하의 요구를 더 잘 충족시키기 위해 우리는 귀하를위한 로고를 설계했습니다. 먼저이 로고의 주제가 무엇인지 결정해야합니다. 환경 친화적 인 테마 인 경우 녹색, 파란색 또는 흰색과 같은 색상을 선택할 수 있습니다. 재활용 테마 인 경우 검은 색, 회색 또는 갈색 등과 같은 색상을 선택할 수 있습니다. 그러면 깃발의 크기와 위치를 고려해야합니다. 일반적으로 로고는 웹 사이트 중앙에 위치하여 사용자가 신속하게 찾아 사용할 수 있도록해야합니다. 다음으로 로고의 디자인 요소를 고려해야합니다. 우리는 간단한 선을 사용하여 재활용의 모양, 색 등과 같은 재활용을 나타낼 수 있습니다. 동시에 로고의 시각적 매력을 높이기 위해 재활용 기호 또는 재활용 패턴과 같은 세부 사항을 추가 할 수도 있습니다. 마지막으로 로고의 명확성과 가독성을 보장해야합니다. 혼란스러운 사용자를 피하기 위해 너무 복잡한 글꼴이나 그래픽을 사용하지 않도록 노력해야합니다. 이러한 제안이 성공의 표시를 설계하는 데 도움이되기를 바랍니다. 궁금한 점이 있으면 언제든지 물어보십시오.

미세 조정 후 효과

답장 : 재활용에 관한 웹 사이트를 디자인하게되어 기쁩니다. 그러나이 프로젝트를 완료하려면 더 많은 정보가 필요합니다. 예를 들어, 어떤 색상이나 글꼴을 사용하고 싶습니까? 특정 아이디어 나 패턴이 있습니까? 궁금한 점이 있거나 추가 도움이 필요한 경우 알려주십시오.

또한 목표 결과는 비합리적이었습니다

입력 된 질문 : 작동 지침 : 재활용에 관한 웹 사이트 로고를 설계하십시오. 지시 : 다음은 작업에 대한 설명입니다. 요청을 제대로 완료하는 응답을 작성하십시오.

미세 조정 후 효과

미안하지만 재활용 웹 사이트에 로고를 디자인 할 수는 없습니다. 로고를 디자인하려면 전문적인 디자인 기술과 도구가 필요하며 주로 텍스트 도움말을 제공합니다. 이 작업을 완료하려면 전문 그래픽 디자이너에게 연락하는 것이 좋습니다.

마지막으로, 훈련 및 추론 단계에서 욕심 많은 모드를 사용해야합니다.