text_rewritter

Revisor de texto

Uso de Langchain y GPT3 para reescribir un gran texto por parte de la fragmentación (recordando modificaciones anteriores para tenerlas en cuenta).

Teoría

El texto se corta en trozos que se procesan en orden con el siguiente mensaje (acortado para las dos primeras llamadas):

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions son el indicador previo proporcionado por el usuario previous_rewrites son ejemplos de reescrituras cuyo fragmento es similar al cuadro proporcionado previous_chunk / previous_rewrite es el trozo anterior de texto (continuidad de aseguramiento) chunk es la parte actual del texto

Uso

• Fuente el mentalism_index conda env para obtener las dependencias
• Pon la tecla API de OpenAI en el camino
• Coloque su texto de entrada y su opinión en la carpeta data (contiene ejemplos de indicaciones y resultados)
• Ejecute rewrite.py .

Recomiendo probar sus indicaciones en textos más pequeños, ya que puede tomar muchas pruebas antes de encontrar un buen mensaje.

Mejoras potenciales

• Uno podría mejorar la gestión del tamaño del texto para intentar ejecutar grandes fragmentos de texto mientras minimiza el riesgo de desbordamiento (podríamos proporcionar exactamente tantos ejemplos como sea necesario)
• Deje que los usuarios agregue reescritores de ejemplo al índice de búsqueda por adelantado
• ahorrar resultados intermedios para evitar la pérdida y, en general, organizar experimentos
• Agregue un modo interactivo mejor de 3 (mejor: podríamos dejar que el usuario escriba su versión favorita como una cuarta opción opcional)