text_rewritter

Текст переписыватель

Использование Langchain и GPT3 для переписывания большой текстовой куски от Chunk (вспомнив предыдущие модификации, чтобы принять их во внимание).

Теория

Текст нарезан на куски, которые обрабатываются в порядке со следующей подсказкой (сокращен для первых двух вызовов):

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions -это chunk , предоставленная пользователем, previous_rewrites -это примеры переписываний, чей кусок аналогичен предоставленной кусочке previous_chunk / previous_rewrite

Использование

• Источник mentalism_index conda env для получения зависимостей
• Поместите ключ API OpenAI на пути
• Поместите свой входной текст и подсказку в папку data (он содержит примеры подсказок и результатов)
• Запустить rewrite.py .

Я рекомендую проверить ваши подсказки на небольших текстах, так как это может пройти много испытаний, прежде чем найти хорошую подсказку.

Потенциальные улучшения

• Можно улучшить управление размером текста, чтобы попытаться запустить большие текстовые куски, минимизируя риск переполнения (мы могли бы предоставить столько примеров, сколько необходимо)
• Позвольте пользователям добавить пример переписывания в индекс поиска заранее
• Сохранение промежуточных результатов, чтобы избежать потерь и, в целом, организовать эксперименты
• Добавить интерактивный режим Best of-3 (лучше: мы могли бы позволить пользователю написать свою любимую версию в качестве дополнительной 4-й вариант)