fatush

번역 툴킷

벡터 스토어 및 딥 러닝을 사용하여 Markdown 파일의 변환을 간소화하기위한 스크립트 모음.

개요

이 툴킷은 Markdown 파일의 번역 프로세스를 단순화하도록 설계된 Python 스크립트 세트를 제공합니다. 스크립트는 내장 모델을 활용하여 문서 검색의 정확도를 높이고 전체 변환 워크 플로를 향상시킵니다.

스크립트

초기화 스크립트

search_word.py

search_word.py 스크립트는 내장을 기반으로 관련 문서를 검색하기 위해 검색 엔진을 초기화합니다. Markdown 파일과 여러 언어로 작동하도록 설계되었습니다. CLI 앱은 타이퍼를 기반으로합니다.

용법

1. 설치:

   • 모듈 자체를 설치하십시오.
     • 도구 세트를 설치하십시오 : pip install fatush
     • 그런 다음 스크립트 : fatush run 실행하십시오
   • 전체 프로젝트 설치 :
     • 이 저장소를 복제하십시오 : git clone https://github.com/alperiox/fatush.git
     • 디렉토리를 프로젝트 폴더로 변경하십시오 : cd fatush
     • PIP 또는시를 사용하여 필요한 종속성 설치 : pip install -r requirements.txt 또는 poetry install

2. 구성:

   • 초기화 스크립트 : python fatush/search_word.py run 실행하십시오
   • 프롬프트를 따라 초기 구성을 설정하십시오.
   • config.yaml 파일을 찾을 수없는 경우 스크립트는 FastAPI Repo에서 문서를 가져와 필요한 구성 파일을 만듭니다.

3. 문서 처리 :

   • 스크립트는 제공된 구성을 기반으로 문서를 처리합니다.
   • 문서를 라인별로 분할 한 다음 임베딩을 계산하여 Faiss 벡터 저장소를 설정합니다.

4. 임베딩 모델 로딩 :

   • 사용 된 임베딩 모델은 All-Minilm-L6-V2이며 벡터 스토어에 다소 인기가 있습니다.

5. 벡터 스토어 :

   • 벡터 매장 경로가 구성에서 찾을 수없는 경우 구성 및로드됩니다. 그렇지 않으면 자동으로로드됩니다.
   • 현재 유일하게 구현 된 벡터 스토어는 FAISS입니다.

6. 검색 엔진 초기화 :

   • 검색 엔진은로드 된 임베딩 모델 및 벡터 스토어로 초기화됩니다.
   • 스크립트는 추론 프로세스를 시작하여 관련 검색 결과를 제공합니다.

7. 토 도스 :

   • 통합 테스트
   • Fastapi를 기반으로 한 웹 응용 프로그램입니다
   • 주어진 텍스트에 대한 초기 번역을 자동으로 제안하기위한 또 다른 도구
   • 현재 스크립트가 모든 예외를 다루지는 않습니다. 옵션을 구성하지 않고 스크립트를 직접 실행하지 않으면 구성 파일과 다운로드 된 저장소를 삭제하여 스크립트를 재구성해야 할 수도 있습니다.

search_word.py 에 대한 구성 옵션

• source_lang : 소스 언어 코드 (예 : 'en').
• translation_lang : 번역 언어 코드 (예 : 'tr').
• docs_path : 문서로가는 경로 (기본값은 현재 작업 디렉토리입니다).
• vectorstore_path : 벡터 스토어로가는 경로 (기본값은 현재 작업 디렉토리입니다).

메모

이 프로젝트는 Fastapi 문서화를 번역 한 경험을 바탕으로 만들어 졌으므로보다 일반적으로 사용 가능한 도구 세트를위한 더 좋은 추상화가 필요합니다. 이는 FastApi 저장소에서 문서를 가져 오는 것과 같은 현재 몇 가지 하드 코딩 된 변수가 있기 때문입니다.