ner-and-hybrid search-ai-chatbot
LLM 및 벡터 데이터베이스를 사용한 명명 된 엔티티 인식 및 관계 매핑의 예. 추출 된 관계를 활용하기위한 하이브리드 검색 챗봇.
하이브리드 검색은 소스 엔티티와 대상 엔터티를 모두 검색하여 기존 걸레보다 더 나은 검색 능력을 제공합니다. 이 접근법은 동일한 암시 적 의미 론적 의미를 갖지 못할 수있는 관련 기억을 반환 할 수 있습니다. 여기에 사용 된 방법은 간단한 버전이지만 추가 중첩 된 접근 방식은 추가 컨텍스트 길이를 희생하여 사용할 수 있습니다.
원래 Aetherius AI Assistant Project의 솔루션으로 만들어졌지만 작은 LLM으로 안정적으로 작업 할 수 없었습니다.
메인 AI 보조 프로젝트 : https://github.com/libraryofcelsus/aetherius_ai_assistant
벡터 데이터베이스 : https://github.com/qdrant/qdrant
changelog
설치
- Python 3.10.6을 설치하고 경로에 추가하십시오 : https://www.python.org/downloads/release/python-3106/
- GIT 설치 : https://git-scm.com/ (녹색 코드 버튼 아래에 ZIP 파일로 리베르를 다운로드하여 GIT를 건너 뛸 수 있음).
- OCR 용 TesserAct를 설치하십시오 : https://github.com/ub-mannheim/tesseract/wiki 일단 설치되면 프로그램 파일에서 기본 프로젝트 폴더로 "Tesseract-oc"폴더를 복사하십시오. 또는 초기 설치시 프로젝트 폴더에서 "TesserAct-Aroc"라는 폴더에 직접 설치할 수도 있습니다.
- Qdrant Cloud를 사용하는 경우 API 키와 URL을 Settings.json의 각 키로 복사하십시오. Qdrant Cloud : https://qdrant.to/cloud
- 로컬 Qdrant 서버를 사용하려면 먼저 Docker를 설치하십시오 : https://www.docker.com/
- 이제 실행 : Docker PULL QDRANT/QDRANT : V1.5.1 CMD
- 다음 달리기 : Docker Run -P 6333 : 6333 Qdrant/Qdrant : v1.5.1
- 로컬 Qdrant 서버가 실행되면 챗봇에 의해 자동 감지해야합니다. (백업을하는 방법은 https://docs.docker.com/desktop/backup-and-restore/ 참조).
- CMD를 관리자로 엽니 다
- 실행 git 클론 : git 클론 https://github.com/libraryofcelsus/ner-and-hybrid-search-ai-chatbot.git
- 프로젝트 폴더로 이동하십시오 : CD PATH_TO_CHATBOT_INSTALL
- 가상 환경 생성 : Python -m Venv Venv
- 환경 활성화 :. venv scripts 활성화
- 필요한 패키지를 설치하십시오 : PIP 설치 -R 요구 사항 .txt
- "settings.json"에서 설정 편집
- "hybrid_search_example.py"를 실행하여 챗봇을 사용하십시오. 업로드 폴더에서 관계를 추출하려면 "extrac_relation_from_file.py"를 실행하십시오.
도움을 받거나 더 심층적 인 정보를 얻으려면 불화에 가입하십시오!
Discord Server : https://discord.gg/pb5zcna7ze
내 AI 개발은 내 일자리에 의해 자체 자금을 지원합니다. 유용하다고 생각하는 경우 기부하는 것을 고려하십시오!
