text_rewritter

Reescritor de texto

Usando Langchain e GPT3 para reescrever um grande pedaço de texto por pedaços (lembrando as modificações anteriores para levá -las em consideração).

Teoria

O texto é cortado em pedaços que são processados ​​em ordem com o seguinte prompt (reduzido para as duas primeiras chamadas):

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions são o prompt fornecido pelo usuário previous_rewrites são exemplos de reescritas cujo pedaço é semelhante ao chunk previous_chunk / previous_rewrite é o pedaço anterior de texto (seguindo continuidade) é o chunk atual de texto

Uso

• Obter o mentalism_index conda Env para obter as dependências
• Coloque a chave da API Openai no caminho
• Coloque o texto de entrada e o prompt na pasta data (ele contém exemplos de prompts e resultados)
• Run rewrite.py .

Eu recomendo testar seus avisos em textos menores, pois pode fazer muitas tentativas antes de encontrar um bom prompt.

Melhorias em potencial

• Pode -se melhorar o gerenciamento do tamanho do texto para tentar funcionar em grandes pedaços de texto, minimizando o risco de transbordamento (poderíamos fornecer exatamente tantos exemplos quanto necessário)
• Deixe os usuários adicionarem exemplos de reescritas ao índice de pesquisa com antecedência
• Salvar resultados intermediários para evitar perdas e, em geral, organizar experimentos
• Adicione um modo interativo de Best of-3 (melhor: poderíamos deixar o usuário escrever sua versão favorita como uma 4ª opção opcional)