chatWeb
1.0.0
영어 문서 中文文档
ChatWeb은 PDF, DOCX, TXT 파일에서 웹 페이지 또는 텍스트를 추출 할 수 있으며 내장 요약을 생성 할 수 있습니다. 또한 텍스트 내용에 따라 질문에 답변 할 수 있습니다. 벡터 데이터베이스뿐만 아니라 GPT3.5를 기반으로 Chatapi 및 Embeddingapi를 사용하여 구현됩니다.
기본 원칙은 ChatPDF 및 자동 고객 서비스 AI와 같은 기존 프로젝트와 유사합니다.
크롤링 웹 페이지 추출 텍스트 컨텐츠 추출 텍스트 콘텐츠 사용 GPT3.5의 임베딩 API를 사용하여 각 단락에 대한 벡터를 생성합니다. 각 단락의 벡터와 전체 텍스트 벡터 간의 유사성 점수를 계산하여 요약 저장소를 생성하여 벡터 데이터베이스의 벡터 텍스트 매핑을 생성합니다. 키워드에서 벡터 생성 벡터 데이터베이스를 사용하여 가장 가까운 이웃 검색을 수행하고 가장 유사한 텍스트 사용 목록을 반환하십시오. GPT3.5의 채팅 API는 목록에서 가장 유사한 텍스트를 기반으로 사용자의 질문에 답변하는 프롬프트를 설계합니다. 아이디어는 많은 양의 텍스트에서 관련 컨텐츠를 추출한 다음 해당 내용을 기반으로 질문에 답변하는 것입니다.
사용자의 질문이 아닌 키워드를 기반으로 벡터를 생성하기 위해 개선되어 관련 텍스트 검색의 정확도가 높아집니다.
git clone https://github.com/SkywalkerDarren/chatWeb.git 실행 하여이 저장소를 다운로드하십시오cd chatWeb 실행하여 디렉토리로 이동하십시오config.example.json config.json 으로 복사하십시오config.json 편집 및 open_ai_key OpenAI API 키로 설정합니다.pip3 install -r requirements.txt 실행하여 종속성을 설치하십시오python3 main.py 실행하여 응용 프로그램을 시작하십시오 원하는 경우 Docker를 사용 하여이 프로젝트를 실행할 수도 있습니다.
docker-compose build 사용하여 컨테이너를 빌드하십시오 (이 리포지어에 묶을 계획이없는 경우에만 필요합니다).config.example.json config.json 으로 복사하고 필요한 모든 것을 설정하십시오. 예제 구성은 Docker로 실행하는 데 이미 괜찮습니다. ENV 변수에 Open_AI_Key가 없으면 여기에서 설정하거나 나중에이 앱을 실행할 수있는 경우 아무것도 변경할 필요가 없습니다.http://localhost:7860 config.json 편집, English 또는 기타 언어로 language 설정 config.json 및 설정 mode console , api 또는 webui 로 설정하십시오.console 모드에서는 명령을보기 위해 입력 /help 유형하십시오.api 모드에서는 API 서비스를 외부 세계에 제공 할 수 있습니다. api_port 및 api_host config.json 에서 설정할 수 있습니다.webui 모드에서는 웹 사용자 인터페이스 서비스를 제공 할 수 있습니다. webui_port config.json 에서 설정하여 http://127.0.0.1:7860 으로 기본값을 설정할 수 있습니다. config.json 편집하고 use_stream true 로 설정하십시오. config.json 편집하고 temperature 0과 1 사이의 값으로 설정하십시오.config.json 편집하고 open_ai_proxy 추가하십시오. "open_ai_proxy": {
"http": "socks5://127.0.0.1:1081",
"https": "socks5://127.0.0.1:1081"
}
config.json 편집하고 use_postgres true 로 설정하십시오.postgresql://localhost:5432/mydb 이거나 config.json 에서 설정할 수 있습니다.확장을 컴파일하고 설치하십시오 (지원 Postgres 11+).
git clone --branch v0.4.0 https://github.com/pgvector/pgvector.git
cd pgvector
make
make install # may need sudo그런 다음 사용하려는 데이터베이스에로드하십시오.
CREATE EXTENSION vector;
pip3 install psycopg2Please enter the link to the article or the file path of the PDF/TXT/DOCX document: https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html
Please wait for 10 seconds until the webpage finishes loading.
The article has been retrieved, and the number of text fragments is: 663
...
=====================================
Query fragments used tokens: 7219, cost: $ 0.0028876
Query fragments used tokens: 7250, cost: $ 0.0029000000000000002
Query fragments used tokens: 7188, cost: $ 0.0028752
Query fragments used tokens: 7177, cost: $ 0.0028708
Query fragments used tokens: 2378, cost: $ 0.0009512000000000001
Embeddings have been created with 663 embeddings, using 31212 tokens, costing $ 0.0124848
The embeddings have been saved.
=====================================
Please enter your query (/help to view commands):
