ORPO

ORPOアルゴリズムが手動で実装されました

ブログアドレス：https：//zhuanlan.zhihu.com/p/703169002

プロジェクトの説明：

この倉庫は、ORPOアルゴリズムを実装します。個人ハードウェアのモデルはQWEN_0.5Bであるため、LORAはモデルパラメーターを調整するために使用されます。

コード組織の説明

トレーニングデータ

data/train_data.jsonこのデータは自分で作成され、学習と使用にのみ使用されます。データは2つしかありませんが、20個のエポックを微調整しましたが、その効果は問題ありません。トレーニング後の結果が含まれます

model.pyここで最適化する必要があるポリシーモデル

data_load.pyロードデータ

config.py構成ファイル

orpo.py ORPOコア実装

main.pyトレーニングコード

トレーニングが完了したら、このファイルを使用して効果を予測します

微調整後の効果の比較

入力された質問：操作手順：リサイクルに関するWebサイトのロゴを設計します。指示：以下はタスクの説明です。リクエストを適切に完了する応答を書きます。

微調整前の効果

親愛なるユーザー、ご支援ありがとうございます！あなたのニーズをよりよく満たすために、私たちはあなたのためにロゴを設計しました。まず、このロゴのテーマが何であるかを判断する必要があります。環境に優しいテーマの場合、緑、青、白などの色を選択できます。リサイクルテーマの場合は、黒、灰色、茶色などの色を選択できます。フラグのサイズと位置を考慮する必要があります。一般的に言えば、ロゴはウェブサイトの中央に配置する必要があり、ユーザーが迅速に見つけて使用できるようにする必要があります。次に、ロゴのデザイン要素を考慮する必要があります。いくつかの簡単な線を使用して、リサイクルの形状、色など、リサイクルを表すことができます。同時に、リサイクルされたシンボルやリサイクルパターンなどの詳細を追加して、ロゴの視覚的な魅力を高めることもできます。最後に、ロゴの明快さと読みやすさを確保する必要があります。複雑すぎるフォントやグラフィックを使用して、ユーザーを混乱させないようにしないようにする必要があります。これらの提案が成功の兆候を設計するのに役立つことを願っています。ご質問がある場合は、お気軽にお問い合わせください。

微調整後の効果

返信：リサイクルについてウェブサイトを設計することを嬉しく思いますが、このプロジェクトを完了するにはもっと情報が必要です。たとえば、どの色またはフォントを使用しますか？具体的なアイデアやパターンはありますか？ご質問がある場合、またはさらにヘルプが必要な場合は、お知らせください。

さらに、ターゲットの結果は不合理でした

入力された質問：操作手順：リサイクルに関するWebサイトのロゴを設計します。指示：以下はタスクの説明です。リクエストを適切に完了する応答を書きます。

微調整後の効果

申し訳ありませんが、リサイクルWebサイト用のロゴをデザインすることはできません。ロゴを設計するには、専門的な設計スキルとツールが必要であり、主にテキストヘルプを提供します。プロのグラフィックデザイナーに連絡して、このタスクを完了することをお勧めします。

最後になりましたが、トレーニングと推論の段階では、貪欲なモードを使用する必要があります。