text_rewritter

Réécriture de texte

Utilisation de Langchain et GPT3 pour réécrire un grand morceau de texte par Chunk (en se souvenant des modifications précédentes pour les prendre en compte).

Théorie

Le texte est tranché en morceaux qui sont traités dans l'ordre avec l'invite suivante (raccourci pour les deux premiers appels):

 You are rewriting a novel, rewrite the full extract according to the instructions:

INSTRUCTIONS:
{instructions}

EXAMPLES OF REWRITINGS FROM OTHER PARTS OF THE TEXT:

{previous_rewrites}

EXTRACT TO REWRITE:
{previous_chunk}
{chunk}

REWRITTEN EXTRACT:
{previous_rewrite}

instructions est l'invite fournie par l'utilisateur previous_rewrites sont des exemples de réécritures dont le morceau est similaire au morceau fourni previous_chunk / previous_rewrite est le morceau précédent de texte (assurance continuité) est le chunk actuel de texte

Usage

• Source le mentalism_index conda Env pour obtenir les dépendances
• Mettez la clé API Openai dans le chemin
• Mettez votre texte d'entrée et votre invite dans le dossier data (il contient des exemples d'invites et de résultats)
• Exécutez rewrite.py .

Je recommande de tester vos invites sur des textes plus petits car il peut prendre de nombreux essais avant de trouver une bonne invite.

Améliorations potentielles

• On pourrait améliorer la gestion de la taille du texte pour essayer de fonctionner sur de gros morceaux de texte tout en minimisant le risque de débordement (nous pourrions fournir exactement autant d'exemples que nécessaire)
• Permettez aux utilisateurs ajouter des exemples de réécritures à l'index de recherche à l'avance
• Économiser des résultats intermédiaires pour éviter la perte et, dans l'ensemble, organiser des expériences
• Ajoutez un mode interactif au meilleur des 3 (mieux: nous pourrions laisser l'utilisateur écrire sa version préférée en tant que 4e option en option)