Text Dataset Aid Plugin

Use um arquivo txt para abrigar seu conjunto de dados. Um recurso para exportar seu TXT para um arquivo JSONL será adicionado em breve.

Contexto

Condição: funcionando totalmente

A criação de conjuntos de dados de geração de PNL e textos é extremamente impactante e tem o potencial de permitir que os pesquisadores treinem modelos que possam gerar automaticamente o texto. No entanto, a criação de conjuntos de dados personalizados é um processo teoso e lento.

A ajuda do conjunto de dados de texto é uma ferramenta útil que pode ajudar na criação de conjuntos de dados Finetuning para modelos de geração de texto como o GPT-3 manualmente! Isso pode tornar o texto gerado pelo seu modelo após o Finetuning para ser mais personalizado, detalhado ou melhor formatado. Diga não a lidar com os menus através de configurações de tecla de atalho!

Este plug -in pode ser usado para gerar rapidamente dados de treinamento para modelos de PNL e geração de texto. Isso aceleraria a pesquisa nessas áreas, além de facilitar a treina desses modelos.

O plug-in de ajuda do conjunto de dados de texto é uma ferramenta útil que pode ajudar na criação de conjuntos de dados Finetuning para modelos de geração de texto como o GPT-3 manualmente. Isso pode tornar o texto gerado pelo seu modelo após o Finetuning para ser mais personalizado, detalhado ou melhor formatado. Diga não a lidar com os menus através de configurações de tecla de atalho!

Contexto dentro do seu segundo cérebro

Atualizar seu próprio modelo de geração de texto no conjunto de dados coletados enquanto trabalha no seu segundo cérebro permite que seu modelo atenda melhor às necessidades do seu segundo cérebro. Este plug -in se encaixa em qualquer fluxo de trabalho de criação ou edição devido à natureza dos comandos na obsidiana. Espero que você use este plugin tanto quanto eu!

Vantagens da Finetuning

O modelo de geração de texto permite a criação de texto mais natural e expressivo.

1. aumento da precisão na previsão/geração de texto
2. aumento da fluência e coerência na geração de texto
3. Maior controle sobre o estilo e o conteúdo do texto gerado
4. Mais controle sobre os tipos de saídas que o modelo produz
5. Maior flexibilidade nos tipos de entradas que o modelo pode aceitar
6. A capacidade de produzir mais saídas humanas
7. Maior precisão na previsão de certos tipos de saídas

Um ótimo recurso para os princípios de ajuste fino da Microsoft

Uso

A função principal deste plug -in é facilitada pelo uso do modo VIM, mas deve funcionar em ambos os casos. Atualmente, existem dois comandos oferecidos: (Cada um desses comandos possui uma tecla de atendimento à acumulação configurável das teclas de hot teclas)

Quando você envia o prompt para o conjunto de dados, se já houver um prompt para lá, o plug -in não fará nada.

Quando você envia a conclusão para o conjunto de dados e já existe um aviso, a seleção de texto é enviada ao conjunto de dados como uma conclusão para esse prompt.

Suporte de geração de ponta aberta!

Quando você envia a conclusão para o conjunto de dados e não há um prompt, a seleção de texto é inserida no conjunto de dados com um prompt vazio com antecedido à seleção de texto.

Um exemplo disso

{ "prompt" : " " , "completion" : " Hello can I help you? " }

outro exemplo

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

Envie a seleção para enviar para o seu arquivo de conjunto de dados, como prompt, envie a seleção para enviar para o seu arquivo de conjunto de dados como conclusão

Exemplo de conjunto de dados de Finetuning

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

Instalação

Instalando na página Plugins da comunidade em obsidiana

• Configurações abertas> plug-in de terceiros
• Verifique se o modo de segurança está desligado
• Clique em Browse Community Plugins
• Pesquise "DataSet Finetuning Aid Plugin"
• Clique em Instalar
• Depois de instalado, feche a janela dos plugins da comunidade e ative o plug -in recém -instalado

Instalando manualmente no GitHub

• Faça o download da versão mais recente da seção de lançamentos do repositório do GitHub (se você não conseguir encontrar isso, deve estar à direita enquanto você está visualizando isso)
• Extraia a pasta do plug -in da pasta de plugins do zip para o seu cofre: <vault>/.obsidian/plugins/
  Nota: Em algumas máquinas, a pasta .obsidian pode estar oculta. No MacOS, você poderá pressionar Command+Shift+Dot para mostrar a pasta no Finder.
• Recarregue a obsidiana

Configurações

Existem quatro configurações principais que são configuráveis ​​no painel de configurações do plug -in, mas os valores padrão são configurados para o formato popular para conjuntos de dados para modelos de geração de texto chamados JSONL.

Nome da configuração	Descrição	Padrão
Prefixo para prompts	Esta é a string que é antecipada ao prompt quando enviado ao conjunto de dados	{"prompt":
Sufixo para prompts	Esta é a string que é anexada ao prompt quando enviado ao conjunto de dados	,
Prefixo para conclusão	Esta é a string que é presa à conclusão quando enviada ao conjunto de dados	"completion":
Sufixo para conclusão	Esta é a string que é anexada à conclusão quando enviada ao conjunto de dados	}n

Ajuda no desenvolvimento

Desenvolvimento

Criando uma nova versão:

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

Inspiração

Inspirado pela eficiência e apelo de ajustar o seu próprio modelo de idioma, este plug-in permite criar conjuntos de dados a partir de suas anotações na forma de prompts e respostas. Formata automaticamente o texto para a especificação do OpenAI para modelos de Finetuning como o GPT3.

Este plug -in compartilha as simularidades do plug -in TextTransportter fabricado por Tfthacker

Feito com ❤️ por Conner Ohnesorge