fatush

翻譯工具包

腳本集的集合，用於簡化使用矢量商店和深度學習的Markdown文件的翻譯。

概述

該工具包提供了一組Python腳本，旨在簡化降價文件的翻譯過程。腳本利用​​嵌入模型來提高文檔檢索的準確性並改善整體翻譯工作流程。

腳本

初始化腳本

search_word.py

search_word.py腳本初始化了搜索引擎，以根據嵌入來檢索相關文檔。它旨在使用多種語言使用降級文件。 CLI應用程序基於Typer。

用法

1. 安裝：

   • 安裝模塊本身：
     • 安裝工具集： pip install fatush
     • 然後運行腳本： fatush run
   • 安裝整個項目：
     • 克隆此存儲庫： git clone https://github.com/alperiox/fatush.git
     • 將目錄更改為項目文件夾： cd fatush
     • 使用PIP或詩歌安裝所需的依賴項： pip install -r requirements.txt或poetry install

2. 配置：

   • python fatush/search_word.py run run
   • 請按照提示設置初始配置。
   • 如果找不到config.yaml文件，則腳本將從fastapi存儲庫中獲取文檔，並創建必要的配置文件。

3. 處理文件：

   • 腳本將根據提供的配置處理文檔。
   • 它將逐行劃分文檔，然後計算其嵌入以設置Faiss矢量商店。

4. 加載嵌入模型：

   • 使用的嵌入模型是All-Minilm-L6-V2，它在矢量店很受歡迎。

5. 向量商店：

   • 如果在配置中找不到矢量存儲路徑，則將構造和加載。否則將自動加載它。
   • 目前，唯一實施的矢量商店是Faiss。

6. 搜索引擎初始化：

   • 搜索引擎使用已加載的嵌入模型和向量存儲進行初始化。
   • 腳本將啟動推理過程，以提供相關的搜索結果。

7. 托多斯：

   • 集成測試
   • 希望一個基於FastApi的Web應用程序
   • 還有另一個用於自動建議給定文本初始翻譯的工具
   • 當前，腳本並未涵蓋所有例外。這可能需要您通過刪除配置文件和下載的存儲庫來重新配置腳本，如果您不直接運行腳本而不配置任何選項。

search_word.py的配置選項

• source_lang ：源語言代碼（例如'en'）。
• translation_lang ：翻譯語言代碼（例如'tr'）。
• docs_path ：文檔的路徑（默認是當前的工作目錄）。
• vectorstore_path ：通往矢量存儲的路徑（默認是當前的工作目錄）。

筆記

由於該項目是基於我在翻譯FastApi文檔中的經驗而建立的，因此對於更普遍的可用工具集來說，必須使用更好的抽象。那是因為目前有幾個硬編碼變量，例如從FastAPI存儲庫中獲取文檔。