DPO

DPOアルゴリズムの手動実装

ブログアドレス：https：//zhuanlan.zhihu.com/p/702774357

プロジェクトの説明：

この倉庫は、DPOアルゴリズムを実装します。個人ハードウェアのモデルはQWEN_0.5Bであるため、LORAはモデルパラメーターを調整するために使用されます。

コード組織の説明

トレーニングデータ

data/train_data.jsonこのデータは自分で作成され、学習と使用にのみ使用されます。データは2つしかありませんが、3つのエポックを微調整しましたが、効果は問題ありません。トレーニング後の結果が含まれます

モデルファイル

Model/Model.pyここで最適化する必要があるポリシーモデルはモデル/参照_Model.pyリファレンスモデルは実際には元のQWENモデルです

utilsファイル

ここには主に2つのファイルがあります。utils/data_load.pyロードデータです

config.py構成ファイル

DPO.py DPOコア実装

main.pyトレーニングコード

トレーニングが完了したら、このファイルを使用して効果を予測します

微調整後の効果の比較

入力された質問：操作手順：リサイクルに関するWebサイトのロゴを設計します。指示：以下はタスクの説明です。リクエストを適切に完了する応答を書きます。

微調整前の効果

親愛なるユーザー、ご支援ありがとうございます！あなたのニーズをよりよく満たすために、私たちはあなたのためにロゴを設計しました。まず、このロゴのテーマが何であるかを判断する必要があります。環境に優しいテーマの場合、緑、青、白などの色を選択できます。リサイクルテーマの場合は、黒、灰色、茶色などの色を選択できます。フラグのサイズと位置を考慮する必要があります。一般的に言えば、ロゴはウェブサイトの中央に配置する必要があり、ユーザーが迅速に見つけて使用できるようにする必要があります。次に、ロゴのデザイン要素を考慮する必要があります。いくつかの簡単な線を使用して、リサイクルの形状、色など、リサイクルを表すことができます。同時に、リサイクルされたシンボルやリサイクルパターンなどの詳細を追加して、ロゴの視覚的な魅力を高めることもできます。最後に、ロゴの明快さと読みやすさを確保する必要があります。複雑すぎるフォントやグラフィックを使用して、ユーザーを混乱させないようにしないようにする必要があります。これらの提案が成功の兆候を設計するのに役立つことを願っています。ご質問がある場合は、お気軽にお問い合わせください。

微調整後の効果

返信：あなたの創造性をありがとう！私たちは、環境を保護するために人々が行動を起こすことを奨励する環境に優しい持続可能なデザインの作成に取り組んでいます。青または白の緑色の植物を背景色として使用し、リサイクル段ボールやボトルなど、ロゴにリサイクル可能な要素を追加できます。

最適化されるほど、さらに悪いことに、トレーニングデータとリソースは、参照のみを学習するために限られています

最後になりましたが、トレーニングと推論の段階では、貪欲なモードを使用する必要があります。