text_rewritter

文本重写器

使用Langchain和GPT3通过块重写大型文本块（请记住以前的修改以考虑到它们）。

理论

文本将按以下提示按顺序进行处理（以下两个电话缩短）切成块：

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions是用户提供的提示previous_rewrites是重写的示例，其块类似于提供的块previous_chunk / previous_rewrite是文本的先前块（保险连续性） chunk是当前文本的块

用法

• 来源的mentalism_index Conda Env获得依赖关系
• 将OpenAI API键放入路径
• 将输入文本和提示放在data文件夹中（其中包含提示和结果的示例）
• 运行rewrite.py 。

我建议您在较小的文本上测试您的提示，因为在找到良好的提示之前，可以进行许多试验。

潜在的改进

• 一个人可以改善文本大小管理，以尝试在大型文本块上运行，同时最大程度地减少溢出的风险（我们可以根据需要提供的示例数量多数）
• 让用户提前添加示例重写到搜索索引
• 节省中级结果以避免损失，总体组织实验
• 添加最佳3交互式模式（更好：我们可以让用户将自己喜欢的版本作为可选的第四选项）编写）