Text Dataset Aid Plugin

Verwenden Sie eine TXT -Datei, um Ihren Datensatz zu unterbringen. Eine Funktion zum Exportieren Ihres TXT in eine JSONL -Datei wird in Kürze hinzugefügt.

Kontext

Zustand: Voll arbeiten

Die Erstellung von Datensätzen von NLP- und Textgenerierung ist äußerst wirksam und kann Forschern ermöglichen, Modelle zu trainieren, die automatisch Text generieren können. Die Erstellung von benutzerdefinierten Datensätzen ist jedoch ein tadierter und langsamer Prozess.

Die Textdatensatz-Hilfe ist ein hilfreiches Tool, das die Erstellung von Finetuning-Datensätzen für Textgenerierungsmodelle wie GPT-3 von Hand unterstützen kann! Dadurch kann der von Ihrem Modell nach dem Finetuning generierte Text personalisierter, detaillierter oder besser formatiert werden. Sagen Sie Nein zu den Menüs durch Hotkey -Konfigurationen!

Dieses Plugin kann verwendet werden, um schnell Trainingsdaten für NLP- und Textgenerierungsmodelle zu generieren. Dies würde die Forschung in diesen Bereichen beschleunigen und es den Praktikern erleichtern, diese Modelle zu schulen.

Das Textdatensatz-AID-Plugin ist ein hilfreiches Tool, mit dem die Erstellung von Finetuning-Datensätzen für Textgenerierungsmodelle wie GPT-3 von Hand beiträgt. Dadurch kann der von Ihrem Modell nach dem Finetuning generierte Text personalisierter, detaillierter oder besser formatiert werden. Sagen Sie Nein zu den Menüs durch Hotkey -Konfigurationen!

Kontext innerhalb Ihres zweiten Gehirns

Das Aktualisieren Ihres eigenen Textgenerierungsmodells in Ihrem gesammelten Datensatz während der Arbeit in Ihrem zweiten Gehirn ermöglicht es Ihrem Modell, die Anforderungen Ihres zweiten Gehirns besser zu entsprechen. Dieses Plugin passt aufgrund der Art der Befehle innerhalb von Obsidian in jede Erstellung oder Bearbeitung von Workflows. Ich hoffe, dass Sie dieses Plugin genauso verwenden wie ich!

Vorteile der Finetuning

Wenn Sie Ihr Textgenerierungsmodell endoniert, ermöglicht es die Erstellung von natürlicher und ausdrucksvollerem Text.

1. Erhöhte Genauigkeit der Textvorhersage/Generation
2. Erhöhte Sprachkenntnisse und Kohärenz bei der Textgenerierung
3. größere Kontrolle über den Stil und den Inhalt des generierten Textes
4. Mehr Kontrolle über die Arten von Ausgängen, die das Modell erzeugt
5. Eine größere Flexibilität bei den Arten von Eingängen, die das Modell akzeptieren kann
6. Die Fähigkeit, menschlichere Outputs zu produzieren
7. Erhöhte Genauigkeit bei der Vorhersage bestimmter Arten von Ausgaben

Eine großartige Ressource für Feinabstimmungsprinzipien von Microsoft

Verwendung

Die Kernfunktion dieses Plugins wird durch die Verwendung des VIM -Modus erleichtert, sollte jedoch in beiden Fällen funktionieren. Derzeit werden zwei Befehle angeboten: (Jede dieser Befehle hat einen Acommpanying -Hotkey -Konfiguration von Hotkeys)

Wenn Sie die Eingabeaufforderung an den Datensatz senden, wenn dort bereits eine Eingabeaufforderung vorhanden ist, tut das Plugin nichts.

Wenn Sie die Fertigstellung an den Datensatz senden und bereits eine Eingabeaufforderung vorliegt, wird die Textauswahl als Fertigstellung zu dieser Eingabeaufforderung an den Datensatz gesendet.

Supen Ended Generation Support!

Wenn Sie die Fertigstellung an den Datensatz senden und keine Eingabeaufforderung vorliegt, wird die Textauswahl in den Datensatz eingefügt, wobei eine leere Eingabeaufforderung, die auf die Textauswahl vorbereitet wird, vorbereitet wird.

Ein Beispiel dafür

{ "prompt" : " " , "completion" : " Hello can I help you? " }

ein weiteres Beispiel

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

Senden Sie die Auswahl an Ihre Datensatzdatei, um die Auswahl zu senden, um die Auswahl zu senden, um sie als Fertigstellung an Ihre Datensatzdatei zu senden

Beispiel für den Finetuning -Datensatz

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

Installation

Installieren von der Community -Plugins -Seite in Obsidian

• Öffnen Sie Einstellungen> Drittanbieter-Plugin
• Stellen Sie sicher, dass der abgesicherte Modus ausgeschaltet ist
• Klicken Sie auf Community -Plugins durchsuchen
• Suchen Sie nach "Dataset Finetuning Aid Plugin"
• Klicken Sie auf Installieren
• Schließen Sie nach der Installation das Community -Plugins -Fenster und aktivieren Sie das neu installierte Plugin

Manuell aus GitHub installieren

• Laden Sie die neueste Version aus dem Abschnitt "Veröffentlichungen des Github -Repositorys" herunter (wenn Sie dies nicht finden können, sollte es nach rechts sein, während Sie dies anzeigen).
• Extrahieren Sie den Pluginordner aus dem Reißverschluss in den Plugins -Ordner Ihres Gewölbe: <vault>/.obsidian/plugins/
  Hinweis: Auf einigen Maschinen kann der .obsidian -Ordner versteckt sein. Auf macOS sollten Sie in der Lage sein, Command+Shift+Dot zu drücken, um den Ordner im Finder anzuzeigen.
• Obsidian neu laden

Einstellungen

Es gibt vier Haupteinstellungen, die im Einstellungsfeld des Plugins konfigurierbar sind. Die Standardwerte werden jedoch für das beliebte Format für Datensätze für Textgenerierungsmodelle mit dem Namen JSONL eingerichtet.

Namen einstellen	Beschreibung	Standard
Präfix für Eingabeaufforderungen	Dies ist die Zeichenfolge, die auf die Eingabeaufforderung vorbereitet wird, wenn sie an den Datensatz gesendet werden	{"prompt":
Suffix für Eingabeaufforderungen	Dies ist die Zeichenfolge, die an die Eingabeaufforderung angehängt wird, wenn sie an den Datensatz gesendet werden	,
Präfix für die Fertigstellung	Dies ist die Zeichenfolge, die auf die Fertigstellung vorbereitet wird, wenn sie an den Datensatz gesendet werden	"completion":
Suffix zur Fertigstellung	Dies ist die Zeichenfolge, die beim Senden an den Datensatz an die Fertigstellung angehängt ist	}n

Hilfe in der Entwicklung

Entwicklung

Erstellen einer neuen Version:

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

Inspiration

Inspiriert von der Effizienz und Attraktivität der Feinabstimmung Ihres eigenen Sprachmodells können Sie Datensätze aus Ihren Notizen in Form von Eingabeaufforderungen und Antworten erstellen. Formatiert den Text automatisch der Spezifikation von OpenAI für Finetuning -Modelle wie GPT3.

Dieses Plugin teilt Simularitäten mit dem von Tfthacker hergestellten Texttransporter -Plugin mit

Hergestellt mit ❤️ von Conner Ohnesorge