Text Dataset Aid Plugin

TXTファイルを使用してデータセットを収容します。 TXTをJSONLファイルにエクスポートする機能がまもなく追加されます。

コンテクスト

条件：完全に機能します

NLPおよびテキスト生成データセットの作成は非常に影響を及ぼし、研究者がテキストを自動的に生成できるモデルをトレーニングできる可能性があります。ただし、カスタムデータセットの作成は、厄介で遅いプロセスです。

Text Dataset Aidは、GPT-3などのテキスト生成モデル向けのFinetuning Datasetの作成を手作業で作成できる役立つツールです。これにより、Finetuningがよりパーソナライズ、詳細、またはより良いフォーマットになった後、モデルによって生成されるテキストが作成されます。ホットキー構成を通じてメニューを扱うことにノーと言ってください！

このプラグインを使用して、NLPおよびテキスト生成モデルのトレーニングデータをすばやく生成できます。これにより、これらの分野での研究がスピードアップされ、実践者がこれらのモデルを訓練しやすくなります。

Text Dataset Aidプラグインは、GPT-3などのテキスト生成モデルのFinetuningデータセットの作成を手作業で作成できる役立つツールです。これにより、Finetuningがよりパーソナライズ、詳細、またはより良いフォーマットになった後、モデルによって生成されるテキストが作成されます。ホットキー構成を通じてメニューを扱うことにノーと言ってください！

第二の脳内のコンテキスト

2番目の脳で作業しながら、収集されたデータセットで独自のテキスト生成モデルを更新すると、モデルが2番目の脳のニーズに合わせて適合させることができます。このプラグインは、オブシディアン内のコマンドの性質のため、あらゆる作成または編集ワークフローに適合します。私と同じようにこのプラグインを使用することを願っています！

Finetuningの利点

テキスト生成モデルを整えることで、より自然で表現力豊かなテキストの作成が可能になります。

1. テキストの予測/生成の精度の向上
2. テキスト生成の流encyさと一貫性の向上
3. 生成されたテキストのスタイルと内容をより強力に制御する
4. モデルが生成する出力の種類をより多く制御する
5. モデルが受け入れることができる入力の種類のより大きな柔軟性
6. より多くの人間のような出力を生成する能力
7. 特定のタイプの出力の予測の精度の向上

Microsoftの微調整原則のための優れたリソース

使用法

このプラグインのコア関数は、VIMモードを使用することにより簡単になりますが、どちらの場合でも機能するはずです。現在提供されている2つのコマンドがあります。（これらのコマンドのそれぞれには、ホットキーから構成可能なAcommpany Hotkeyがあります）

すでにプロンプ​​トがある場合、データセットにプロンプ​​トを送信すると、プラグインは何もしません。

完了をデータセットに送信すると、プロンプトが既にあります。テキストの選択は、そのプロンプトの完了としてデータセットに送信されます。

オープンエンドジェネレーションサポート！

完了をデータセットに送信し、プロンプトがない場合、テキストの選択がテキストの選択に加えられた空のプロンプトを使用して、テキストの選択がデータセットに挿入されます。

この例

{ "prompt" : " " , "completion" : " Hello can I help you? " }

別の例

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

プロンプトとしてデータセットファイルに送信する選択を送信

Finetuningデータセットの例

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

インストール

Community PluginsページからObsidianのインストール

• 設定を開く>サードパーティプラグイン
• セーフモードがオフになっていることを確認してください
• [コミュニティプラグインを参照]をクリックします
• 「Dataset Finetuning Aidプラグイン」を検索する
• [インストール]をクリックします
• インストールしたら、コミュニティプラグインウィンドウを閉じて、新しくインストールされたプラグインをアクティブにします

GitHubから手動でインストールします

• GitHubリポジトリのリリースセクションから最新リリースをダウンロードします（これを見つけることができない場合は、これを表示している間は右側にあるはずです）
• ZIPからVaultのプラグインフォルダーにプラグインフォルダーを抽出します： <vault>/.obsidian/plugins/イン/
  注：一部のマシンでは、 .obsidianフォルダーが非表示になる場合があります。 MacOSではCommand+Shift+Dotを押してFinderのフォルダーを表示できるはずです。
• オブシディアンをリロードします

設定

プラグインの設定パネル内で構成可能な4つの主要な設定がありますが、デフォルト値は、JSONLと呼ばれるテキスト生成モデルのデータセットの一般的な形式に設定されています。

名前を設定します	説明	デフォルト
プロンプトのプレフィックス	これは、データセットに送信されたときにプロンプ​​トに加えられる文字列です	{"prompt":
プロンプトのサフィックス	これは、データセットに送信されたときにプロンプ​​トに追加される文字列です	,
完了のためのプレフィックス	これは、データセットに送信されたときに完了に加えられる文字列です	"completion":
完了のためのサフィックス	これは、データセットに送信されたときに完了に追加される文字列です	}n

開発内のヘルプ

発達

新しいバージョンの作成：

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

インスピレーション

独自の言語モデルを微調整するという効率と魅力に触発されたこのプラグインを使用すると、プロンプトと応答の形でメモからデータセットを構築できます。 GPT3のようなFinetuningモデル用のOpenAIの仕様にテキストを自動的にフォーマットします。

このプラグインは、tfthackerによって作成されたTextTransporterプラグインにSIMULARITIESを共有します

Conner Ohnesorgeによる❤️で作られました