fatush

Kit de herramientas de traducción

Una colección de scripts para optimizar la traducción de los archivos de Markdown utilizando tiendas vectoriales y aprendizaje profundo.

Descripción general

Este kit de herramientas proporciona un conjunto de scripts de Python diseñados para simplificar el proceso de traducción para los archivos de Markdown. Los scripts aprovechan los modelos de incrustación para mejorar la precisión de la recuperación de documentos y mejorar el flujo de trabajo de traducción general.

Guiones

Script de inicialización

Search_word.py

El script search_word.py inicializa un motor de búsqueda para recuperar documentos relevantes basados ​​en incrustaciones. Está diseñado para funcionar con los archivos de Markdown en varios idiomas. La aplicación CLI se basa en Typer.

Uso

1. Instalación:

   • Instale el módulo en sí:
     • Instale el conjunto de herramientas: pip install fatush
     • Luego ejecute el guión: fatush run
   • Instale todo el proyecto:
     • Clone Este repositorio: git clone https://github.com/alperiox/fatush.git
     • Cambie el directorio a la carpeta del proyecto: cd fatush
     • Instale las dependencias requeridas usando PIP o Poesía: pip install -r requirements.txt o poetry install

2. Configuración:

   • Ejecute el script de inicialización: python fatush/search_word.py run
   • Siga las indicaciones para configurar la configuración inicial.
   • Si no se encuentra el archivo config.yaml , el script obtendrá documentos desde el repositorio de FastAPI y creará el archivo de configuración necesario.

3. Documentos de procesamiento:

   • El script procesará los documentos en función de la configuración proporcionada.
   • Dividirá los documentos Línea por línea y luego calculará sus incrustaciones para configurar una tienda Vector Faiss.

4. Modelo de incrustación de carga:

   • El modelo de incrustación usado es All-Minilm-L6-V2, que es bastante popular para las tiendas de vectores.

5. Tienda de vectores:

   • Si la ruta de la tienda vectorial no se encuentra en la configuración, se construirá y cargará. Se cargará automáticamente de otra manera.
   • Actualmente, la única tienda Vector implementada es FAISS.

6. Inicialización del motor de búsqueda:

   • El motor de búsqueda se inicializa con el modelo de incrustación cargada y la tienda vectorial.
   • El script comenzará el proceso de inferencia para proporcionar resultados de búsqueda relevantes.

7. Todos:

   • Pruebas de integración
   • Con suerte, una aplicación web basada en Fastapi
   • Otra herramienta más para sugerir automáticamente las traducciones iniciales para el texto dado
   • Actualmente, los scripts no cubren todas las excepciones. Esto puede requerir que reconfigure el script eliminando el archivo de configuración y el repositorio descargado si no ejecuta el script directamente sin configurar ninguna opción.

Opciones de configuración para search_word.py

• source_lang : código de lenguaje de origen (por ejemplo, 'en').
• translation_lang : código de lenguaje de traducción (por ejemplo, 'tr').
• docs_path : ruta a los documentos (el valor predeterminado es el directorio de trabajo actual).
• vectorstore_path : ruta a la tienda Vector (el valor predeterminado es el directorio de trabajo actual).

Nota

Dado que el proyecto se basa en mi experiencia con la traducción de la documentación de Fastapi, una abstracción más agradable es imprescindible para un conjunto de herramientas más utilizable. Esto se debe a que hay varias variables codificadas en este momento, como obtener la documentación del repositorio de Fastapi.