ai markdown llm retrieval

래그 기반 vectordb-llm 쿼리 엔진

이 프로젝트는 Langchain, ChromADB 및 OpenAI의 언어 모델을 사용하여 AI 기반 문서 쿼리 시스템을 구현합니다. 이를 통해 사용자는 Markdown 문서에서 검색 가능한 데이터베이스를 만들고 자연어를 사용하여 쿼리 할 수 ​​있습니다.

특징

• Markdown 문서의 벡터 데이터베이스 생성
• 임베딩 및 쿼리 비용 추정
• 데이터베이스에서 유사성 검색
• 사용자 쿼리에 대한 AI 기반 응답 생성

아키텍처 다이어그램

요구 사항

• 파이썬 3.7+
• requirements.txt 에 나열된 종속성 .txt

설치

1. 이 저장소를 복제하십시오
2. 가상 환경 생성 :

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. 필수 패키지 설치 :

    pip install -r requirements.txt
   

4. .env 파일에서 OpenAI API 키를 설정하십시오.

    OPENAI_API_KEY=your_api_key_here
   

시작하기

다음 단계에 따라 Rag 기반 VectorDB-LLM 쿼리 엔진을 신속하게 설정하고 사용하십시오.

1. Markdown 문서에서 데이터베이스를 작성하십시오.

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   이 명령은 Data/ Go-Docs 디렉토리에서 Markdown 파일을 처리하고 Chroma_go_docs/ 폴더에서 벡터 데이터베이스를 만듭니다.

2. 자연어 질문으로 데이터베이스를 쿼리하십시오.

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. AI 생성 응답보기 :

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

용법

보다 자세한 사용 지침은 다음 섹션을 참조하십시오.

1. 데이터베이스를 만듭니다

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. 데이터베이스를 쿼리하십시오

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

파일 구조

• create_database.py : 데이터베이스 생성 스크립트
• query_data.py : 데이터베이스 쿼리 스크립트
• estimate_cost.py : 비용 추정 모듈
• get_token_count.py : 토큰 계산 유틸리티
• data/ : Markdown 문서 디렉토리
• chroma/ : ChromADB 데이터베이스 스토리지 (Gitignored)

메모

• 기본적으로 응답을 위해 Embeddings 및 gpt-3.5-turbo 에 OpenAi의 text-embedding-3-small 사용합니다.
• 마크 다운 파일을 data/ 또는 사용자 정의 경로 지정
• ChromADB 데이터베이스는 chroma/ (Gitignored)에 저장

문제 해결

• 호환 파이썬 버전을 확인하고 패키지 설치를 올바르게하십시오
• API 오류에 대한 OpenAI API 키 및 계정 크레딧 확인

특허

이 프로젝트는 MIT 라이센스의 조건에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

구축

• 랭케인
• ChromADB
• Openai
• 티크 턴

질문이나 문제는 Github 저장소에 문제를여십시오.