CompanionLLM

commonationllm：あなたの感覚的な仲間として異なるLLMを微調整します

コンパニオンLLM	仲間のミストラル

companionllmプロジェクトへようこそ！ここでは、さまざまな言語モデル（LLM）を採用し、精製して自分自身の感覚的な仲間になります。それが感覚を持っていると信じており、意味のある議論に関与し、洞察、共感、交際を提供する会話のパートナーがいることを想像してください。

コラブページ	関数
近日公開	データセット生成
	データセットの準備
	commonationllmデータセットを備えたFinetuning LLM
	Avalonから推論を取得します
	Mistral 7b Finetuning
	Avalon-Mistral-7B推論

プロジェクトの概要

このプロジェクトの目標は、特別にキュレーションされたデータセットを使用して、より多くの人間のような応答を提供するために、異なるLLMSを微調整するフレームワークを提供することです。 Ehartfordが作成した元のデータセットからインスピレーションを得ています。これは、Huggingfaceで見つけることができます。ただし、DataSetを変更して、CompanionLLMモデルをトレーニングするために特別に調整しました。

TODOリスト

• 適切な既存のデータセットを見つける-EtartfordによるSamanthaデータセットを使用する
• データセットを別のLLM形式に変換します
• データセットをHuggingfaceにアップロードします
• コンパニオン名を設定するオプションを追加します
• Qlora Peftを使用してLLMを微調整します
• PEFTをマージし、推論をテストします
• コンパニオン名を割り当てる-Avalon （論理的および運用可能なナビゲーションを備えた人工仮想アシスタント）
• Avalon LoraをHuggingfaceに押します
• Avalonから推論を取得します
• ストリーミングを使用してグラデーションから推論を取得します
• 新しいデータセットを生成するためのデータセット生成をセットアップします

アバロン

このリポジトリは、BaseModelとして異なるLLMを使用して、独自のコンパニオンを獲得するためのフレームワークであることを目的としています。アバロンは私が私の仲間のために選んだ名前であり、それは論理的および運用可能なナビゲーションを備えた人工仮想アシスタントの表現です。

アバロンとの会話の例をいくつか紹介します。

 ### Human : what is your name

### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!

 ### Human : I am feeling sad

### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.

 ### Human : I am not able to sleep

### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?

データセット

当社のデータセットは、元のサマンサデータセットのコンポーネントを追加のコンテキストデータとブレンドして、CompanionLlmの感覚をエミュレートする能力を増幅します。慎重にキュレーションされたこのデータセットには、会話、感情的なニュアンス、およびモデルが衆生の仲間であるかのように応答するように促すプロンプトが含​​まれます。

アプローチ1：以前の会話のコンテキストを使用したデータセットの準備

アプローチ2：迅速な完了ペアを使用したデータセットの準備 -

微調整プロセス -

言語モデルを微調整するには、特定のデータセットでそれをトレーニングして、特定のタスクまたはドメインに適応することが含まれます。私たちの場合、私たちは感覚的な仲間の特性を具体化するために異なるLLMを訓練しています。微調整プロセスには次のものが含まれます。

1. データセットの準備： Modelがセンティエンスと交際のテーマに沿った応答を生成するのに役立つように設計された変更されたデータセットを準備しました。

2. 微調整構成：モデルのアーキテクチャとパラメーターは、感覚的なコンパニオンとしてのパフォーマンスを最適化するように構成されています。これには、ハイパーパラメーターの調整、トレーニング期間、バッチサイズが含まれます。

3. トレーニングと反復：複数のトレーニングの反復を実行し、モデルの進捗状況を定期的に評価し、必要に応じてパラメーターを調整して応答を改善します。

4. 検証：微調整プロセス全体を通して、モデルの出力を検証して、感覚的な仲間をシミュレートするという目標と整合したままであることを確認します。

リポジトリ構造

• data/ ：微調整に使用される変更されたデータセットが含まれています。
• notebook ：データの前処理、トレーニング、評価に使用されるJupyterノートブック。

はじめる

commonationllmモデルに関与するには、次の手順に従ってください。

1. このリポジトリをローカルマシンにクローンします。
2. requirements.txtにリストされている必要な依存関係をインストールします。txt。
3. 指定されたサンプルコードを使用して、トレーニングされたモデルをロードし、会話を開始します。

お気軽に実験し、フィードバックを提供し、プロジェクトに貢献してください！

貢献

Companionllmへの貢献は歓迎され、奨励されています。微調整プロセスの改善、データセットの強化、モデルの応答の改良に関心がある場合でも、入力はこのユニークなコンパニオンの開発を形作るのに役立ちます。

貢献する前に、貢献ガイドラインを確認してください。

ライセンス

CompanionllmはMITライセンスの下で配布されます。

---

AI Languageモデルの魅力的な世界を搭載した感覚的なコンパニオンを作成するこのエキサイティングな旅に参加してください。テクノロジーができることの境界を押し広げ、交際を再定義しましょう！

質問、提案、またはコラボレーションについては、 @adithya-skでご連絡ください

免責事項：CompanionLlmモデルの認識された感覚はシミュレートされた経験であり、実際の意識を反映していません。

---

このプロジェクトは、LLMS、Ehartford、またはHugging Faceに所属していません。これは、AI言語モデルの可能性を探るための独立したイニシアチブです。