aphra

Aphra

APHRA est un agent de traduction open source conçu pour améliorer la qualité des traductions de texte en tirant parti des modèles de grands langues (LLM). Contrairement aux outils de traduction traditionnels qui s'appuient uniquement sur les traductions directes, APHRA introduit un processus en plusieurs étapes et conscient du contexte qui comprend la création de glossaire, la recherche contextuelle, la critique et le raffinement. Cette approche vise à produire des traductions qui non seulement conservent la signification d'origine, mais aussi incorporer des notes de traductrice, des ajustements contextuels et des améliorations stylistiques. Que vous traduisiez des articles de blog, des articles ou des documents complexes, APHRA assure une traduction plus nuancée et précise qui respecte l'intégrité du contenu original.

Remarque importante: APHRA n'est pas destiné à remplacer le travail d'un traducteur professionnel. Au lieu de cela, il vise à faciliter le soutien multilingue dans de petits projets où l'embauche d'un traducteur professionnel peut ne pas être possible. APHRA propose une solution pratique pour obtenir des traductions de qualité dans des contextes où un service de traduction entièrement professionnel est hors de portée, garantissant que les barrières linguistiques n'entravent pas la portée mondiale de votre contenu.

Démo · Rapport Bogue · Fonction de demande · Wiki

Table des matières

Motivation

Pourquoi Aphra?

Comment fonctionne Aphra

Démo

Commencer

Personnalisation et idées pour les extensions

Licence

Contributif

Références

Motivation

L'étincelle pour commencer ce projet est venue d'un désir de me défier en concevant un flux de travail agentique complexe à partir de zéro. L'objectif principal ici est d'apprendre et de se développer tout au long du processus de construction de quelque chose comme ça à partir de zéro. J'ai choisi le thème de la traduction parce que j'ai également joué avec l'idée de publier mon blog personnel en anglais. J'ai réussi à intégrer Aphra dans le pipeline de publication, faisant des traductions une partie transparente du processus. Si vous êtes intéressé par la façon dont cela a été réalisé, vous pouvez trouver un guide détaillé dans le wiki.

En tant que professeur d'informatique, j'ai également vu cela comme une excellente occasion de créer un petit projet open-source mais complet qui suit les meilleures pratiques pour publier sur Github. C'est pourquoi il y a tellement d'options pour commencer, toutes conçues avec une approche didactique à l'esprit. Tout commentaire sur la façon de s'améliorer dans ce domaine est plus que bienvenu.

Pourquoi Aphra?

Le nom "Aphra" est un hommage à Aphra Behn, l'une des premières femmes anglaises à gagner sa vie en écrivant au 17ème siècle. Behn était un dramaturge, un poète et un traducteur qui ont franchi des barrières culturelles importantes, faisant d'elle une première pionnière pour les femmes en littérature.

Nommer ce projet après Aphra Behn est un moyen d'honorer son héritage de défier le statu quo et de façonner notre façon de penser la langue et l'expression. Son influence nous rappelle l'importance de créer des espaces où les voix peuvent être entendues et les idées peuvent s'épanouir.

Comme Virginia Woolf l'a dit célèbre: "Toutes les femmes ensemble, devraient laisser les fleurs tomber sur la tombe d'Aphra Behn ... Car c'est elle qui leur a valu le droit de parler leur esprit" (Woolf, Virginie. Une pièce de la sienne. 1928, à 65 ans).

Comment fonctionne Aphra

APHRA utilise une approche agentique en plusieurs étapes de la traduction, conçue pour imiter étroitement les étapes qu'un traducteur humain pourrait prendre lorsqu'il travaille sur un texte. Voici comment le processus se déroule:

1. Analyse : Le processus commence par le "LLM Writer", un modèle de langue, analysant le texte d'origine. Au cours de cette analyse, le modèle identifie les expressions, termes et entités clés qui peuvent poser des défis dans la traduction, tels que des références culturellement spécifiques ou un jargon de l'industrie.
2. Recherche : Après l'analyse, le "LLM Searcher", un modèle avec accès Internet, prend les termes et recherche identifiés pour un contexte supplémentaire. Ce contexte pourrait inclure des définitions, des informations générales ou des exemples d'utilisation dans différents contextes, garantissant que la traduction est bien informée et précise.
3. Traduction initiale : simultanément avec la phase de recherche, une autre instance de "LLM Writer" commence à traduire le texte original sans encore incorporer les informations contextuelles recueillies. Cette étape se concentre sur la production d'une traduction directe brute qui préserve le style et la structure d'origine du texte.
4. Critique : Une fois la traduction initiale terminée et que le contexte a été rassemblé, le "critique LLM" entre en jeu. Ce modèle passe en revue la traduction initiale à la lumière du contexte et du texte original, fournissant des commentaires sur les domaines où la traduction pourrait être améliorée. La critique pourrait mettre en évidence des interprétations erronées potentielles, suggérer des phrasages alternatifs ou recommander d'ajouter des notes de traductrice pour plus de clarté.
5. Traduction finale : Enfin, le "LLM Writer" revisite la traduction, incorporant les commentaires du critique et les informations contextuelles recueillies plus tôt. Le résultat est une traduction polie et contente qui est plus nuancée et précise qu'une simple traduction littérale, y compris souvent des notes supplémentaires pour guider le lecteur à travers des parties complexes ou ambiguës du texte.

Cette approche structurée permet à l'APHRA de produire des traductions qui sont non seulement linguistiquement exactes mais aussi contextuellement riches, ce qui en fait un outil précieux pour les petits projets visant à atteindre un public mondial sans les ressources pour embaucher un traducteur professionnel.

Démo

Vous pouvez tester Aphra ici: https://huggingface.co/spaces/davidlms/aphra.

Commencer

Pour commencer avec Aphra, suivez ces étapes:

Condition préalable

Assurez-vous que vous avez installé les suivants sur votre système:

• git (pour cloner le référentiel)
• Python 3,8 ou plus
• pip (installateur de package Python)
• Docker (facultatif, pour utiliser docker)

Cloner le référentiel

Avant de procéder à la configuration ou à l'installation, vous devez cloner le référentiel. Il s'agit d'une étape courante requise pour toutes les méthodes d'installation.

1. Clone le référentiel:

   git clone https://github.com/DavidLMS/aphra.git

2. Naviguer dans le répertoire du projet:

    cd aphra

Configuration

1. Copiez l'exemple de fichier de configuration:

   cp config.example.toml config.toml

2. Modifiez config.toml pour ajouter votre touche API OpenRouter et vos noms de modèle souhaités.

Après avoir configuré le fichier config.toml , vous pouvez soit:

• Utilisez Aphra directement dans le répertoire actuel du référentiel (comme expliqué dans la section d'utilisation), ou
• Procédez avec l'installation dans la section suivante pour rendre APHRA accessible à partir de n'importe quel script de votre système.

Remarque: Si vous choisissez de procéder à l'installation, n'oubliez pas de déplacer le fichier config.toml vers l'emplacement du script à l'aide d'Aphra, ou spécifiez son chemin directement lors de l'appel de la fonction.

Installation

Option 1: Installez localement avec pip

Cette option est le moyen le plus simple d'installer APHRA si vous n'avez pas besoin d'isoler ses dépendances à partir d'autres projets. Il installe directement le package sur votre système à l'aide pip , qui est le gestionnaire de package standard pour Python.

1. Installez le package localement:

   pip install . 

Option 2: Installer avec la poésie

La poésie est un outil de gestion des dépendances et d'emballage pour Python qui vous aide à gérer plus efficacement les dépendances de votre projet. Il simplifie également le processus d'emballage de vos projets Python.

1. Installez la poésie si vous ne l'avez pas déjà fait:

   curl -sSL https://install.python-poetry.org | python3 -

2. Installez les dépendances et le package:

   poetry install

3. Activez l'environnement virtuel créé par la poésie:

   poetry shell

Option 3: Utilisez un environnement virtuel

Un environnement virtuel est un environnement isolé qui vous permet d'installer des packages séparément de l'installation Python de votre système. Ceci est particulièrement utile pour éviter les conflits entre les packages requis par différents projets.

1. Créer et activer un environnement virtuel:

   python -m venv aphra
   source aphra/bin/activate  # On Windows: aphraScriptsactivate

2. Supprimer le fichier pyproject.toml:

   rm pyproject.toml

3. Installez le package localement:

   pip install . 

Option 4: Utilisez Docker

Docker est une plate-forme qui vous permet d'emballer une application et ses dépendances dans un "conteneur". Ce conteneur peut fonctionner de manière cohérente dans différents environnements, ce qui le rend idéal pour s'assurer que votre projet fonctionne de la même manière sur n'importe quelle machine.

1. Construisez l'image Docker:

   docker build -t aphra .

   Remarque: Si vous rencontrez des erreurs d'autorisation pendant la construction, essayez d'exécuter la commande avec sudo .

2. Assurez-vous que le script d'entrée a des autorisations d'exécution. Exécutez la commande suivante:

   chmod +x entrypoint.sh

   Pour les utilisateurs de Windows: vous pouvez ajouter des autorisations d'exécution à l'aide de Git Bash ou WSL (sous-système Windows pour Linux). Si vous utilisez PowerShell ou Invite Command, vous n'aurez peut-être pas besoin de modifier les autorisations, mais assurez-vous que le script est exécutable dans votre environnement.

3. Comprendre la commande docker run :

   • -v $(pwd):/workspace : Cette option monte votre répertoire actuel ( $(pwd) dans les systèmes de type UNIX, %cd% sous Windows) dans le répertoire d' /workspace à l'intérieur du conteneur. Cela permet au conteneur d'accéder aux fichiers dans votre répertoire actuel.
   • aphra : Ceci est le nom de l'image Docker que vous avez construite à l'étape 1.
   • English Spanish : ce sont les langues source et cible pour la traduction. Remplacez-les par les langues dont vous avez besoin.
   • input.md : il s'agit du chemin d'accès au fichier d'entrée de votre machine hôte.
   • output.md : il s'agit du chemin où la sortie traduite sera enregistrée sur votre machine hôte.

4. Exécutez le conteneur Docker:

   docker run -v $( pwd ) :/workspace aphra English Spanish input.md output.md

5. Affichez la traduction en imprimant le contenu du fichier de sortie:

   • Sur les systèmes de type Unix (Linux, MacOS, WSL):

   cat output.md

   • Sur Windows (PowerShell):

   Get-Content output.md

   • Sur Windows (invite de commande):

    type output.md

Usage

Utilisation d'Aphra à partir de la ligne de commande

Vous pouvez exécuter Aphra directement à partir du terminal à l'aide du script aphra_runner.py . Ceci est particulièrement utile pour automatiser les traductions dans le cadre d'un flux de travail ou d'un pipeline plus large.

Pour traduire un fichier à partir de la ligne de commande, utilisez la syntaxe suivante:

python aphra_runner.py < config_file > < source_language > < target_language > < input_file > < output_file >

• <config_file> : Chemin vers le fichier de configuration contenant des touches API et des paramètres de modèle (par exemple, config.toml ).
• <source_language> : la langue du texte d'entrée (par exemple, "espagnol").
• <target_language> : La langue que vous souhaitez traduire le texte (par exemple, "anglais").
• <input_file> : Chemin vers le fichier d'entrée contenant le texte que vous souhaitez traduire.
• <output_file> : chemin où le texte traduit sera enregistré.

Exemple:

python aphra_runner.py config.toml Spanish English input.md output.md

Dans cet exemple:

• Le fichier de configuration config.toml est utilisé.
• Le texte en input.md est traduit de l'espagnol en anglais.
• Le contenu traduit est enregistré sur output.md .

Utilisation d'Aphra comme fonction Python

Si vous préférez utiliser APHRA directement dans votre code Python, la fonction translate vous permet de traduire le texte d'une langue à une autre en utilisant les modèles de langage configurés. La fonction prend les paramètres suivants:

• source_language : la langue du texte d'entrée (par exemple, "espagnol").
• target_language : la langue dans laquelle vous souhaitez traduire le texte (par exemple, "anglais").
• text : le texte que vous souhaitez traduire.
• config_file : le chemin d'accès au fichier de configuration contenant des touches API et des paramètres de modèle. Par défaut "config.toml".
• log_calls : Un booléen indiquant s'il faut enregistrer les appels de l'API à des fins de débogage. Par défaut est False .

Voici comment vous pouvez utiliser la fonction translate de manière générique:

 from aphra import translate

translation = translate ( source_language = 'source_language' ,
                        target_language = 'target_language' ,
                        text = 'text_to_translate' ,
                        config_file = 'config.toml' ,
                        log_calls = False )
print ( translation )

Exemple 1: traduire une phrase simple

Supposons que vous vouliez traduire la phrase "Hola Mundo" de l'espagnol à l'anglais. Le code ressemblerait à ceci:

 from aphra import translate

translation = translate ( source_language = 'Spanish' ,
                        target_language = 'English' ,
                        text = 'Hola mundo' ,
                        config_file = 'config.toml' ,
                        log_calls = False )
print ( translation )

Exemple 2: traduire le contenu d'un fichier de marque

Si vous avez un fichier Markdown ( input.md ) contenant le texte que vous souhaitez traduire, vous pouvez lire le fichier, traduire son contenu, puis imprimer le résultat ou l'enregistrer dans un autre fichier. Voici comment:

 from aphra import translate

# Read the content from the Markdown file
with open ( 'input.md' , 'r' , encoding = 'utf-8' ) as file :
    text_to_translate = file . read ()

# Translate the content from Spanish to English
translation = translate ( source_language = 'Spanish' ,
                        target_language = 'English' ,
                        text = text_to_translate ,
                        config_file = 'config.toml' ,
                        log_calls = False )

# Print the translation or save it to a file
print ( translation )

with open ( 'output.md' , 'w' , encoding = 'utf-8' ) as output_file :
    output_file . write ( translation )

Dans cet exemple:

• Nous lisons d'abord le texte à partir de input.md .
• Ensuite, nous traduisons le texte de l'espagnol en anglais.
• Enfin, nous imprimons la traduction de la console et l'enregistrons sur output.md .

Personnalisation et idées pour les extensions

APHRA est conçu avec une flexibilité à l'esprit, ce qui facilite l'adaptation à vos besoins spécifiques. Le moyen le plus simple de personnaliser l'APHRA est de maintenir le flux d'appel défini et de modifier les invites dans le dossier prompts pour chaque étape. Cette approche vous permet d'adapter la sortie au résultat souhaité pour la plupart des cas d'utilisation.

Si vous devez modifier le flux lui-même, vous devrez plonger dans le code dans translate.py . Bien que cela soit un peu plus complexe, il est entièrement faisable pour ceux qui cherchent à étendre les fonctionnalités d'Aphra.

Voici quelques idées pour d'autres extensions:

• Recherche Web basée sur des agents: Transformez l'étape LLM du chercheur en un agent qui peut rechercher sur Internet, supprimant la dépendance à un LLM avec un accès Internet intégré.
• Opération locale: une fois ce qui précède est implémenté, envisagez d'adapter APHRA pour s'exécuter localement à l'aide d'outils comme Olllama.
• Flux alternatifs: créer des workflows alternatifs pour des cas d'utilisation spécifiques, ce qui donne à l'APHRA encore plus de polyvalence.
• Invites modulaires: développer des versions modulaires des invites d'Aphra adaptées à différents cas d'utilisation.
• Et au-delà: les possibilités sont aussi vastes que votre imagination. L'Aphra est un point de départ, et les instructions que vous pouvez le prendre sont infinies.

N'hésitez pas à expérimenter et à étendre l'Aphra de manière à correspondre à vos projets et idées.

Licence

APHRA est libéré sous la licence du MIT. Vous êtes libre d'utiliser, de modifier et de distribuer le code à des fins commerciales et non commerciales.

Contributif

Les contributions à Aphra sont les bienvenues! Qu'il s'agisse d'améliorer le code, d'améliorer la documentation ou de suggérer de nouvelles fonctionnalités, votre contribution est précieuse. Veuillez consulter le fichier contribution.md pour les directives sur la façon de commencer et que vos contributions comptent.

Références

• Aider à écrire des articles de type Wikipedia à partir de zéro avec de grands modèles de langue , Shao et al. (2024), https://arxiv.org/abs/2402.14207
• Agent de traduction , NG (2024), https://github.com/ANDrewyng/translation-agent