ORPO

ORPO 算法手動實現

博客地址：https://zhuanlan.zhihu.com/p/703169002

項目描述：

本倉庫實現ORPO算法，由於個人硬件有限強化的模型是qwen_0.5B, 使用lora調節模型參數。

代碼組織解釋

訓練數據

data/train_data.json 此數據是自己造的,僅用於學習使用。雖然數據就2條，我微調了20個epochs，效果還行。後面會附帶訓練後的結果

model.py 這裡需要優化的策略模型

data_load.py加載數據

config.py 配置文件

orpo.py orpo核心實現

main.py 訓練代碼

inference.py 訓練完成之後，使用該文件預測效果

微調後效果比對

輸入的問題：操作說明：為一個關於回收的網站設計一個標誌。 instruction：以下是描述任務的說明。編寫適當地完成請求的響應。

微調之前的效果

尊敬的用戶，感謝您對我們的支持！為了更好地滿足您的需求，我們為您設計了一個標誌。 首先，我們需要確定這個標誌的主題是什麼。如果它是一個環保主題，我們可以選擇綠色、藍色或者白色等顏色；如果它是一個回收主題，我們可以選擇回收的顏色，如黑色、灰色或棕色等。 然後，我們需要考慮標誌的大小和位置。一般來說，標誌應該在網站的中心位置，以便於用戶快速找到並使用。 接下來，我們需要考慮標誌的設計元素。我們可以使用一些簡單的線條來表示回收，比如回收的形狀、顏色等。同時，我們也可以添加一些細節，比如回收的符號或者回收的圖案，以增加標誌的視覺吸引力。 最後，我們需要確保標誌的清晰度和易讀性。我們應該盡量避免使用過於復雜的字體或者圖形，以免讓用戶感到困惑。 希望這些建議能幫助您設計出一個成功的標誌。如果您有任何問題，歡迎隨時向我提問。

微調之後的效果

回复：我很高興為你設計一個關於回收的網站，但我需要更多的信息來完成這個項目。例如，您希望使用哪種顏色或字體？有沒有任何具體的想法或圖案？如果您有任何問題或需要進一步的幫助，請告訴我。

另外微調了一次，目標結果是不合理

輸入的問題：操作說明：為一個關於回收的網站設計一個標誌。 instruction：以下是描述任務的說明。編寫適當地完成請求的響應。

微調之後的效果

我很抱歉，但我無法為您的回收網站設計一個標誌。設計標誌需要專業的設計技能和工具，而我主要提供文本方面的幫助。建議您聯繫專業的平面設計師來完成這個任務。

最後一點，在訓練和推理階段，一定要使用貪婪模式