AI assistant ollama

ai-assistant-ollama

프로젝트 설명

이 프로젝트는 langchain_community 및 langchain_core 라이브러리의 다양한 구성 요소를 사용하여 PGVECTOR가 활성화 된 PostgreSQL 데이터베이스에서 문서를로드, 변환, 포함 및 검색하는 방법을 보여줍니다. 이 문서는 URL에서 공급되고 텍스트로 변환되어 관리 가능한 청크로 분할되며 검색을 위해 데이터베이스의 벡터로 저장됩니다. 이 프로젝트는 또한 Ollama 언어 모델을 사용하여 헝겊 (검색-증진 생성) 체인을 만드는 방법을 보여 주어 벡터 스토어에서 검색된 컨텍스트를 기반으로 질문에 답변합니다.

전제 조건

• 파이썬 3.7+
• pgvector가 활성화 된 PostgreSQL
• Docker (선택 사항, pgvector와 함께 postgresql 실행)

설치

1. 저장소 복제 :

git clone https://github.com/Atomic-man007/AI-assistant-ollama.git

2. 가상 환경을 만들고 활성화하십시오.

python -m venv venv
source venv/bin/activate  # On Windows, use `venvScriptsactivate`

3. 필요한 패키지 설치 :

pip install -r requirements.txt

4. pgvector를 활성화하여 PostgreSQL을 설정하십시오. Docker를 사용하여 pgvector와 함께 PostgreSQL 인스턴스를 빠르게 회전시킬 수 있습니다.

docker run --name pgvector -e POSTGRES_PASSWORD=mysecretpassword -d -p 5432:5432 ankane/pgvector

5. PostgreSQL 인스턴스를 가리 키도록 DB_URL 환경 변수를 설정하십시오.

 export DB_URL=postgresql://postgres:mysecretpassword@localhost:5432/postgres

용법

1. 처리하려는 문서의 URL을 사용하여 main 기능의 urls 목록을 업데이트하십시오.

2. 스크립트 실행 :

python main.py

구성 요소

• Asynchtmlloader : 제공된 URL에서 HTML 컨텐츠를 비동기로드합니다.
• html2texttransformer : html 문서를 일반 텍스트로 변환합니다.
• Ollamaembeddings : 텍스트 문서를 벡터 공간에 포함시킵니다.
• pgvector : pgvector 확장 기능이있는 PostgreSQL을 사용한 벡터 저장 구현.
• recursiveCharacterTextSplitter : 텍스트 문서를 지정된 크기의 덩어리로 나눕니다.
• ChatPromptTemplate : 응답을 생성하기위한 채팅 프롬프트 템플릿을 만듭니다.
• runnablepassthrough : 체인 구성 요소에 런닝 가능한 패스 스루.
• Ollama : 검색된 컨텍스트를 기반으로 답변을 생성하는 데 사용되는 언어 모델.

예

스크립트는 다음 단계를 보여줍니다.

1. 제공된 URL에서 HTML 문서를로드하십시오.
2. HTML 문서를 일반 텍스트로 변환하십시오.
3. 텍스트 문서를 작은 덩어리로 나눕니다.
4. 텍스트 청크를 벡터 공간에 포함시키고 PostgreSQL 데이터베이스에 저장하십시오.
5. 벡터 스토어에서 관련 컨텍스트를 검색하십시오.
6. 검색된 컨텍스트를 사용하여 Ollama 언어 모델을 사용하여 질문에 대한 응답을 생성하십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

감사의 말

• 이 프로젝트에 사용 된 구성 요소를 제공하기위한 langchain_community 및 langchain_core 라이브러리.
• 벡터 스토어 구현을위한 PostgreSQL 및 PGVector.
• 응답 생성에 사용되는 언어 모델의 Ollama.