fatush

Übersetzungs -Toolkit

Eine Sammlung von Skripten, um die Übersetzung von Markdown -Dateien mithilfe von Vektorspeichern und Deep Learning zu optimieren.

Überblick

Dieses Toolkit bietet eine Reihe von Python -Skripten, die den Übersetzungsprozess für Markdown -Dateien vereinfachen sollen. Die Skripte nutzen die Einbettungsmodelle, um die Genauigkeit des Dokumentenabrufs zu verbessern und den allgemeinen Übersetzungs -Workflow zu verbessern.

Skripte

Initialisierungsskript

Search_word.py

Das Skript search_word.py initialisiert eine Suchmaschine, um relevante Dokumente basierend auf Einbettungsdings abzurufen. Es ist so konzipiert, dass es mit Markdown -Dateien in mehreren Sprachen funktioniert. Die CLI -App basiert auf Typer.

Verwendung

1. Installation:

   • Installieren Sie das Modul selbst:
     • Installieren Sie das Toolset: pip install fatush
     • Dann führen Sie das Skript aus: fatush run
   • Installieren Sie das gesamte Projekt:
     • Klon dieses Repository: git clone https://github.com/alperiox/fatush.git
     • Ändern Sie das Verzeichnis in den Projektordner: cd fatush
     • Installieren Sie die erforderlichen Abhängigkeiten mit PIP oder Poesie: pip install -r requirements.txt oder poetry install

2. Konfiguration:

   • Führen Sie das Initialisierungsskript aus: python fatush/search_word.py run
   • Befolgen Sie die Eingabeaufforderungen, um die anfängliche Konfiguration einzurichten.
   • Wenn die Datei config.yaml nicht gefunden wird, holt das Skript Dokumente aus dem Fastapi -Repo und erstellt die erforderliche Konfigurationsdatei.

3. Verarbeitungsdokumente:

   • Das Skript verarbeitet die Dokumente basierend auf der bereitgestellten Konfiguration.
   • Es wird die Dokumentezeile nach Leitung aufgeteilt und dann ihre Einbettungen berechnet, um einen Faiss -Vektor -Speicher einzurichten.

4. Laden des Einbettungsmodells:

   • Das verwendete Einbettungsmodell ist All-Minilm-L6-V2, das für VectorStores eher beliebt ist.

5. Vektor Store:

   • Wenn der Vektorspeicherpfad in der Konfiguration nicht zu finden ist, wird er konstruiert und geladen. Es wird sonst automatisch geladen.
   • Derzeit ist der einzige implementierte Vektor Store Faiss.

6. Suchmaschineninitialisierung:

   • Die Suchmaschine wird mit dem geladenen Einbettungsmodell und dem Vektorspeicher initialisiert.
   • Das Skript startet den Inferenzprozess, um relevante Suchergebnisse bereitzustellen.

7. Todos:

   • Integrationstests
   • Hoffentlich eine Webanwendung basierend auf Fastapi
   • Ein weiteres Tool, um automatisch erste Übersetzungen für den angegebenen Text vorzuschlagen
   • Derzeit behandeln die Skripte nicht alle Ausnahmen. Auf diese Weise müssen Sie das Skript neu konfigurieren, indem Sie die Konfigurationsdatei und das heruntergeladene Repository löschen, wenn Sie das Skript nicht direkt ausführen, ohne Optionen zu konfigurieren.

Konfigurationsoptionen für search_word.py

• source_lang : Quellsprachcode (z. B. 'EN').
• translation_lang : Übersetzungssprachcode (z. B. 'TR').
• docs_path : Pfad zu den Dokumenten (Standard ist das aktuelle Arbeitsverzeichnis).
• vectorstore_path : Pfad zum Vector Store (Standard ist das aktuelle Arbeitsverzeichnis).

Notiz

Da das Projekt auf meiner Erfahrung mit der Übersetzung der Fastapi -Dokumentation aufgebaut ist, ist eine schönere Abstraktion ein Muss für ein allgemeines verwendbares Toolset. Das liegt daran, dass momentan mehrere hartcodierte Variablen vorhanden sind, z. B. das Abholen der Dokumentation aus dem Fastapi-Repository.