fatush

翻訳ツールキット

ベクトルストアとディープラーニングを使用して、マークダウンファイルの翻訳を合理化するスクリプトのコレクション。

概要

このツールキットは、マークダウンファイルの翻訳プロセスを簡素化するために設計された一連のPythonスクリプトを提供します。スクリプトは埋め込みモデルを活用して、ドキュメントの取得の精度を高め、全体的な翻訳ワークフローを改善します。

スクリプト

初期化スクリプト

search_word.py

search_word.pyスクリプトは、埋め込みに基づいて関連するドキュメントを取得するための検索エンジンを初期化します。複数の言語でMarkdownファイルを使用するように設計されています。 CLIアプリはTyperに基づいています。

使用法

1. インストール：

   • モジュール自体をインストールします。
     • ツールセットをインストール： pip install fatush
     • 次に、スクリプトを実行します： fatush run
   • プロジェクト全体をインストールします：
     • このリポジトリのクローン： git clone https://github.com/alperiox/fatush.git
     • ディレクトリをプロジェクトフォルダーに変更します： cd fatush
     • PIPまたは詩を使用して必要な依存関係をインストールする： pip install -r requirements.txtまたはpoetry install

2. 構成：

   • 初期化スクリプトを実行： python fatush/search_word.py run
   • プロンプトに従って、初期構成を設定します。
   • config.yamlファイルが見つからない場合、スクリプトはFastAPIリポジトリからドキュメントを取得し、必要な構成ファイルを作成します。

3. ドキュメントの処理：

   • スクリプトは、提供された構成に基づいてドキュメントを処理します。
   • ドキュメントを1行ごとに分割し、埋め込みを計算してFAISSベクターストアをセットアップします。

4. 埋め込みモデルの読み込み：

   • 使用済みの埋め込みモデルは、すべてミニルム-L6-V2であり、ベクターストアではかなり人気があります。

5. ベクトルストア：

   • ベクトルストアパスが構成内に見つからない場合、構築されてロードされます。それ以外の場合は自動的にロードされます。
   • 現在、実装されている唯一のベクトルストアはFAISSです。

6. 検索エンジンの初期化：

   • 検索エンジンは、ロードされた埋め込みモデルとベクトルストアで初期化されます。
   • スクリプトは、関連する検索結果を提供するために推論プロセスを開始します。

7. トドス：

   • 統合テスト
   • うまくいけば、Fastapiに基づくWebアプリケーション
   • 指定されたテキストの初期翻訳を自動的に提案するためのさらに別のツール
   • 現在、スクリプトはすべての例外をカバーしていません。これには、オプションを構成せずにスクリプトを直接実行しない場合、構成ファイルとダウンロードされたリポジトリを削除することにより、スクリプトを再構成する必要があります。

search_word.pyの構成オプション

• source_lang ：ソース言語コード（例： 'en'）。
• translation_lang ：翻訳言語コード（例： 'tr'）。
• docs_path ：ドキュメントへのパス（デフォルトは現在の作業ディレクトリです）。
• vectorstore_path ：Vectorストアへのパス（デフォルトは現在の作業ディレクトリです）。

注記

このプロジェクトは、FastAPIドキュメントの翻訳に関する私の経験に基づいて構築されているため、より一般的な使用可能なツールセットには、より良い抽象化が必須です。これは、Fastapiリポジトリからドキュメントを取得するなど、現時点でいくつかのハードコーディング変数があるためです。