Text Dataset Aid Plugin
1.0.1
Utilisez un fichier TXT pour abriter votre ensemble de données. Une fonctionnalité pour exporter votre TXT vers un fichier JSONL sera bientôt ajoutée.
La création des ensembles de données PNLP et de génération de texte est extrêmement impacte et a le potentiel de permettre aux chercheurs de former des modèles qui peuvent générer automatiquement du texte. Cependant, la création d'ensembles de données personnalisés est un processus tendre et lent.
L'aide de l'ensemble de données de texte est un outil utile qui peut aider à la création d'ensembles de données Finetuning pour des modèles de génération de texte comme GPT-3 à la main! Cela peut rendre le texte généré par votre modèle après la finetuning pour être plus personnalisé, détaillé ou mieux formaté. Dites non à la gestion des menus grâce à des configurations de hot-il!
Ce plugin peut être utilisé pour générer rapidement des données d'entraînement pour les modèles NLP et de génération de texte. Cela accélérerait la recherche dans ces domaines, ainsi que pour que les praticiens forment plus facilement ces modèles.
Le plugin d'aide à l'ensemble de données de texte est un outil utile qui peut aider à la création d'ensembles de données Finetuning pour des modèles de génération de texte comme GPT-3 à la main. Cela peut rendre le texte généré par votre modèle après la finetuning pour être plus personnalisé, détaillé ou mieux formaté. Dites non à la gestion des menus grâce à des configurations de hot-il!
La mise à jour de votre propre modèle de génération de texte sur votre ensemble de données collecté tout en travaillant dans votre deuxième cerveau permet à votre modèle de mieux répondre aux besoins de votre deuxième cerveau. Ce plugin s'inscrit dans toute création ou modification du flux de travail en raison de la nature des commandes au sein de l'obsidienne. J'espère que vous utilisez ce plugin autant que moi!
Fintuning votre modèle de génération de texte permet la création d'un texte plus naturel et expressif.
Une excellente ressource pour les principes de réglage fin de Microsoft
La fonction centrale de ce plugin est facilitée grâce à l'utilisation du mode VIM, mais devrait fonctionner dans les deux cas. Il y a deux commandes offertes actuellement: (chacune de ces commandes a un hot-clé Acomm
Lorsque vous envoyez l'invite à l'ensemble de données s'il y a déjà une invite là-bas, le plugin ne fait rien.
Lorsque vous envoyez l'achèvement à l'ensemble de données et qu'il existe déjà une invite, la sélection de texte est envoyée à l'ensemble de données en termes d'achèvement à cette invite.
Lorsque vous envoyez l'achèvement dans l'ensemble de données et qu'il n'y a pas d'invite, la sélection de texte est insérée dans l'ensemble de données avec une invite vide additionnée à la sélection de texte.
un exemple de cela
{ "prompt" : " " , "completion" : " Hello can I help you? " }un autre exemple
{ "prompt" : " " , "completion" : " Hi, How can I help you today " }Envoyez la sélection à envoyer à votre fichier de jeu de données comme invite Envoyez la sélection à envoyer à votre fichier de données à votre fin
Exemple d'ensemble de données Finetuning
{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }<vault>/.obsidian/plugins/ Plugins /.obsidian peut être caché. Sur MacOS, vous devriez pouvoir appuyer sur Command+Shift+Dot pour afficher le dossier de Finder.Il existe quatre paramètres principaux qui sont configurables dans le panneau Paramètres du plugin, mais les valeurs par défaut sont configurées pour le format populaire pour les ensembles de données pour les modèles de génération de texte appelés JSONL.
| Nom de réglage | Description | Défaut |
|---|---|---|
| Préfixe pour les invites | Ceci est la chaîne qui est apparentée à l'invite lorsqu'elle est envoyée à l'ensemble de données | {"prompt": |
| Suffixe pour les invites | Il s'agit de la chaîne qui est annexée à l'invite lorsqu'elle est envoyée à l'ensemble de données | , |
| Préfixe pour l'achèvement | Ceci est la chaîne qui est apparentée à l'achèvement lorsqu'elle est envoyée à l'ensemble de données | "completion": |
| Suffixe pour l'achèvement | Il s'agit de la chaîne qui est annexée à l'achèvement lorsqu'elle est envoyée à l'ensemble de données | }n |
Aide dans le développement
Création d'une nouvelle version:
git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1Inspiré par l'efficacité et l'attrait de la réglage fin de votre propre modèle de langue, ce plugin vous permet de créer des ensembles de données à partir de vos notes sous la forme d'invites et de réponses. Formats automatiquement le texte à la spécification d'OpenAI pour les modèles de finetuning comme GPT3.
Ce plugin partage des simularités au plugin TextTransporter fabriqué par tfthacker
Fabriqué avec ❤️ par Conner Ohnesorge
