fatush

Перевод инструментария

Коллекция сценариев для оптимизации перевода файлов разметки с использованием векторных магазинов и глубокого обучения.

Обзор

Этот инструментарий предоставляет набор сценариев Python, предназначенные для упрощения процесса перевода для файлов разметки. Сценарии используют модели встраивания встраивания для повышения точности поиска документов и улучшения общего рабочего процесса перевода.

Сценарии

Сценарий инициализации

search_word.py

Скрипт search_word.py инициализирует поисковую систему для получения соответствующих документов на основе Entgeddings. Он предназначен для работы с файлами разметки на нескольких языках. Приложение CLI основано на Typer.

Использование

1. Установка:

   • Установите сам модуль:
     • Установите набор инструментов: pip install fatush
     • Затем запустите сценарий: fatush run
   • Установите весь проект:
     • Клонировать этот репозиторий: git clone https://github.com/alperiox/fatush.git
     • Измените каталог на папку проекта: cd fatush
     • Установите требуемые зависимости с помощью PIP или поэзии: pip install -r requirements.txt или poetry install

2. Конфигурация:

   • Запустите скрипт инициализации: python fatush/search_word.py run
   • Следуйте подсказкам, чтобы настроить начальную конфигурацию.
   • Если файл config.yaml не найден, скрипт будет извлекать документы из репокса Fastapi и создавать необходимый файл конфигурации.

3. Обработка документов:

   • Сценарий будет обрабатывать документы на основе предоставленной конфигурации.
   • Он разделяет линию документов по линии, а затем вычислит их по встраивании для создания векторного хранилища Faiss.

4. Загрузка модели встраивания:

   • Используемая модель встраивания-All-Minilm-L6-V2, которая довольно популярна для векторов.

5. Векторный магазин:

   • Если путь векторного хранилища не найден в конфигурации, он будет построен и загружен. В противном случае он будет загружен автоматически.
   • В настоящее время единственным внедренным векторным магазином является Faiss.

6. Инициализация поисковой системы:

   • Поисковая система инициализируется с помощью загруженной модели встраивания и векторного хранилища.
   • Сценарий начнет процесс вывода, чтобы обеспечить соответствующие результаты поиска.

7. Тодос:

   • Интеграционные тесты
   • Надеюсь, веб -приложение, основанное на FASTAPI
   • Еще один инструмент для автоматического предложения начальных переводов для данного текста
   • В настоящее время сценарии не охватывают все исключения. Это может потребовать перенастроить скрипт, удалив файл конфигурации и загруженный репозиторий, если вы не запускаете скрипт напрямую, не настраивая какие -либо параметры.

Параметры конфигурации для search_word.py

• source_lang : код исходного языка (например, 'en').
• translation_lang : код языка перевода (например, 'tr').
• docs_path : путь к документам (по умолчанию является текущий рабочий каталог).
• vectorstore_path : Path to Vector Store (по умолчанию текущий рабочий каталог).

Примечание

Поскольку проект построен на моем опыте перевода документации FastAPI, более приятная абстракция является обязательной для более широкого использования инструментов. Это связано с тем, что в настоящее время есть несколько жестко кодированных переменных, например, извлечение документации из репозитория Fastapi.