fatush

翻译工具包

脚本集的集合，用于简化使用矢量商店和深度学习的Markdown文件的翻译。

概述

该工具包提供了一组Python脚本，旨在简化降价文件的翻译过程。脚本利用​​嵌入模型来提高文档检索的准确性并改善整体翻译工作流程。

脚本

初始化脚本

search_word.py

search_word.py脚本初始化了搜索引擎，以根据嵌入来检索相关文档。它旨在使用多种语言使用降级文件。 CLI应用程序基于Typer。

用法

1. 安装：

   • 安装模块本身：
     • 安装工具集： pip install fatush
     • 然后运行脚本： fatush run
   • 安装整个项目：
     • 克隆此存储库： git clone https://github.com/alperiox/fatush.git
     • 将目录更改为项目文件夹： cd fatush
     • 使用PIP或诗歌安装所需的依赖项： pip install -r requirements.txt或poetry install

2. 配置：

   • 运行初始化脚本： python fatush/search_word.py run
   • 请按照提示设置初始配置。
   • 如果找不到config.yaml文件，则脚本将从fastapi存储库中获取文档，并创建必要的配置文件。

3. 处理文件：

   • 脚本将根据提供的配置处理文档。
   • 它将逐行划分文档，然后计算其嵌入以设置Faiss矢量商店。

4. 加载嵌入模型：

   • 使用的嵌入模型是All-Minilm-L6-V2，它在矢量店很受欢迎。

5. 向量商店：

   • 如果在配置中找不到矢量存储路径，则将构造和加载。否则将自动加载它。
   • 目前，唯一实施的矢量商店是Faiss。

6. 搜索引擎初始化：

   • 搜索引擎使用已加载的嵌入模型和向量存储进行初始化。
   • 脚本将启动推理过程，以提供相关的搜索结果。

7. 托多斯：

   • 集成测试
   • 希望一个基于FastApi的Web应用程序
   • 还有另一个用于自动建议给定文本初始翻译的工具
   • 当前，脚本并未涵盖所有例外。这可能需要您通过删除配置文件和下载的存储库来重新配置脚本，如果您不直接运行脚本而不配置任何选项。

search_word.py的配置选项

• source_lang ：源语言代码（例如'en'）。
• translation_lang ：翻译语言代码（例如'tr'）。
• docs_path ：文档的路径（默认是当前的工作目录）。
• vectorstore_path ：通往矢量存储的路径（默认是当前的工作目录）。

笔记

由于该项目是基于我在翻译FastApi文档中的经验而建立的，因此对于更普遍的可用工具集来说，必须使用更好的抽象。那是因为目前有几个硬编码变量，例如从FastAPI存储库中获取文档。