fatush

Kit de ferramentas de tradução

Uma coleção de scripts para otimizar a tradução de arquivos de marcação usando lojas vetoriais e aprendizado profundo.

Visão geral

Este kit de ferramentas fornece um conjunto de scripts Python projetados para simplificar o processo de tradução para arquivos de marcação. Os scripts aproveitam os modelos de incorporação para melhorar a precisão da recuperação de documentos e melhorar o fluxo de trabalho de tradução geral.

Scripts

Script de inicialização

Search_word.py

O script search_word.py inicializa um mecanismo de pesquisa para recuperar documentos relevantes com base em incorporação. Ele foi projetado para funcionar com arquivos de marcação em vários idiomas. O aplicativo CLI é baseado em Typer.

Uso

1. Instalação:

   • Instale o próprio módulo:
     • Instale o conjunto de ferramentas: pip install fatush
     • Em seguida, execute o script: fatush run
   • Instale o projeto inteiro:
     • Clone este repositório: git clone https://github.com/alperiox/fatush.git
     • Altere o diretório para a pasta do projeto: cd fatush
     • Instale as dependências necessárias usando pip ou poesia: pip install -r requirements.txt ou poetry install

2. Configuração:

   • Execute o script de inicialização: python fatush/search_word.py run
   • Siga os avisos para configurar a configuração inicial.
   • Se o arquivo config.yaml não for encontrado, o script buscará documentos do repo FASTAPI e criará o arquivo de configuração necessário.

3. Documentos de processamento:

   • O script processará os documentos com base na configuração fornecida.
   • Ele dividirá os documentos alinhados por linha e calculará suas incorporações para configurar uma loja de vetores da FAISS.

4. Modelo de incorporação de carregamento:

   • O modelo de incorporação usado é o Minilm-L6-V2, que é bastante popular para o VectorStores.

5. Vector Store:

   • Se o caminho do loja de vetores não for encontrado na configuração, ele será construído e carregado. Será carregado automaticamente de outra forma.
   • Atualmente, a única loja de vetores implementada é a FAISS.

6. Inicialização do mecanismo de pesquisa:

   • O mecanismo de pesquisa é inicializado com o modelo de incorporação carregado e a loja de vetores.
   • O script iniciará o processo de inferência para fornecer resultados de pesquisa relevantes.

7. Todos:

   • Testes de integração
   • Felizmente, um aplicativo da web baseado no FASTAPI
   • Mais uma ferramenta para sugerir automaticamente traduções iniciais para o texto fornecido
   • Atualmente, os scripts não cobrem todas as exceções. Isso pode exigir que você reconfigure o script excluindo o arquivo de configuração e o repositório baixado se você não executar o script diretamente sem configurar nenhuma opção.

Opções de configuração para search_word.py

• source_lang : código de idioma de origem (por exemplo, 'en').
• translation_lang : Código de idioma de tradução (por exemplo, 'tr').
• docs_path : caminho para os documentos (o padrão é o diretório de trabalho atual).
• vectorstore_path : Path to the Vector Store (o padrão é o diretório de trabalho atual).

Observação

Como o projeto é construído sobre minha experiência com a tradução da documentação do FASTAPI, uma abstração melhor é uma obrigação para um conjunto de ferramentas mais utilizável. Isso ocorre porque existem várias variáveis ​​codificadas no momento, como buscar a documentação do repositório FASTAPI.