Text Dataset Aid Plugin

使用TXT文件來容納您的數據集。將很快添加將TXT導出到JSONL文件的功能。

情境

條件：完全工作

NLP和文本生成數據集的創建具有極大的影響力，並且有可能使研究人員能夠訓練可以自動生成文本的模型。但是，自定義數據集的創建是一個典型而緩慢的過程。

文本數據集輔助工具是一個有用的工具，可以幫助創建fineTuning數據集，用於手工的文本生成模型！這可以使您的模型產生的文本在Fineting之後產生，以更具個性化，詳細或更好的格式。通過熱鍵配置來處理菜單，拒絕了！

該插件可用於快速為NLP和文本生成模型生成培訓數據。這將加快在這些領域的研究，並使從業者更容易訓練這些模型。

文本數據集輔助插件是一個有用的工具，可以幫助創建fineTuning數據集，用於手動使用GPT-3（例如GPT-3）。這可以使您的模型產生的文本在Fineting之後產生，以更具個性化，詳細或更好的格式。通過熱鍵配置來處理菜單，拒絕了！

第二大腦中的上下文

在第二個大腦中工作的同時，在收集的數據集上更新自己的文本生成模型可以使您的模型更好地滿足您的第二大腦需求。由於黑曜石中命令的性質，該插件符合任何創建或編輯工作流程。希望您和我一樣使用此插件！

填充的優勢

修補文本生成模型可以創建更自然和表現力的文本。

1. 文本預測/發電的準確性提高
2. 文本生成的流利性和連貫性提高
3. 對生成文本的樣式和內容更大的控制
4. 對模型產生的輸出類型的更多控制
5. 模型可以接受的輸入類型的靈活性更大
6. 產生更多人類輸出的能力
7. 在預測某些類型的輸出方面的準確性提高了

Microsoft的微觀原理的絕佳資源

用法

通過使用VIM模式使該插件的核心功能變得更加容易，但在任何一種情況下都應起作用。目前提供了兩個命令：（這些命令中的每個命令都有一個可從Hotkeys配置的Acommpanying Hotkey）

如果您已經有提示，則將提示發送到數據集時，該插件什麼都不做。

當您將完成發送到數據集時，已經有一個提示符，將文本選擇發送到數據集作為該提示的完成。

開放的一代支持！

當您將完成發送到數據集且沒有提示時，將文本選擇插入數據集中，而將空的提示符添加到文本選擇中。

一個例子

{ "prompt" : " " , "completion" : " Hello can I help you? " }

另一個例子

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

將選擇發送到您的數據集文件時，請提示發送選擇以發送到數據集文件作為完成

列出數據集的示例

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

安裝

從黑曜石中的社區插件頁面安裝

• 打開設置>第三方插件
• 確保安全模式關閉
• 單擊瀏覽社區插件
• 搜索“數據集登錄輔助插件”
• 單擊安裝
• 安裝後，關閉社區插件窗口並激活新安裝的插件

手動從Github安裝

• 從GitHub存儲庫的“發行版”部分下載最新版本（如果找不到的話，它應該在您查看此處時正確）
• 將插件文件夾從zip提取到保險櫃的插件文件夾： <vault>/.obsidian/plugins/插件/
  注意：在某些機器上， .obsidian文件夾可能被隱藏。在MacOS上，您應該能夠按Command+Shift+Dot以顯示Finder中的文件夾。
• 重新加載黑曜石

設定

在插件的設置面板中可以配置四個主要設置，但是為文本生成模型的數據集設置了默認值，稱為JSONL。

設置名稱	描述	預設
提示的前綴	這是發送到數據集時將其備用到提示的字符串	{"prompt":
提示的後綴	這是發送到數據集時附加到提示的字符串	,
完成的前綴	這是發送到數據集後完成的字符串	"completion":
後綴完成	這是發送到數據集時將其附加到完成的字符串	}n

在發展中的幫助

發展

創建一個新版本：

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

靈感

受您自己的語言模型的效率和吸引力的啟發，該插件允許您以提示和響應的形式從筆記中構建數據集。自動將文本格式化為OpenAI的規格，以供GPT3（例如GPT3）等填充模型。

該插件共享與TFThacker製作的Text Transporter插件的模擬

由Conner Ohnesorge製成的❤️