refind

리핀

Refind는 내 개인 문서를 weaviate 벡터 데이터베이스에 저장하고 OpenAi 벡터 라이저 모듈 및 생성 검색을 사용하는 프로젝트입니다.

다음은 동일한 입력 질문으로 다른 답변을 보여주는 Asciinema가있는 쉘 레코딩입니다.

1. 현재 ChatGpt 버전 (SGPT CLI 사용)
2. Enteprise 로드맵에서 SRE Book으로 샘플 문서를 포함하는 weaviate의 생성 검색

시작하기

OpenAI API 키를 만들고 제공하십시오.

 export OPENAI_APIKEY= " ... "

4097 미만의 토큰이있는 전체 텍스트 문서를 넣으십시오. 프롬프트가 4000 개의 토큰 인 경우 완성은 최대 97 개의 토큰이 될 수 있습니다.

사용합시다 :

 # start the weaviate database
docker-compose up -d

# verify it is up and running
curl http://localhost:8080/v1/meta | jq .
docker-compose logs

# import data, DO IT ONCE
go run main.go import

# query data related to software
go run main.go query | jq .

# when done, gracefully shutdown
docker-compose down

이 예에서 Weaviate는 소프트웨어 관련 항목을 반환합니다.

작업 작업 :

 # get the schema
curl -s http://localhost:8080/v1/schema | jq .

# get objects
curl -s http://localhost:8080/v1/objects | jq .

# get one class from the schema
curl -s http://localhost:8080/v1/schema/Chatbot | jq .

# delete a class
curl -s -XDELETE http://localhost:8080/v1/schema/Chatbot | jq . 

목표

chatgpt 검색 플러그인.

TODO

1. 문서를 수집 할 때 Weeaviate에 메타 데이터를 자동으로 추가하십시오
2. OpenAI 토큰 한도보다 큰 문서를 자동으로 분할합니다
3. query 명령을 실행할 때 쿼리 문자열을 플래그로 추가
4. 단위 테스트, Copilot을 쓰도록 o/

Langchain 시도

readme.md