refind

рефинд

Refind - это проект для хранения моих персональных документов в базе данных Weaviate Vector и использования модуля Vectorizer OpenAI и генеративного поиска.

Вот запись оболочки с Asciinema, показывающая различные ответы с одним и тем же входным вопросом из:

1. Текущая версия CHATGPT (с использованием SGPT CLI)
2. Генеративный поиск с Weaviate, содержащий образцо документа с дорожной карты Enteprise to SRE Book

Начиная

Создайте и предоставьте свой ключ API OpenAI:

 export OPENAI_APIKEY= " ... "

Поместите полнотекстовые документы с токенами менее 4097. Если ваша подсказка составляет 4000 токенов, ваше завершение может составлять 97 токенов.

Давайте используем это:

 # start the weaviate database
docker-compose up -d

# verify it is up and running
curl http://localhost:8080/v1/meta | jq .
docker-compose logs

# import data, DO IT ONCE
go run main.go import

# query data related to software
go run main.go query | jq .

# when done, gracefully shutdown
docker-compose down

В этом примере Weaviate возвращает записи, связанные с программным обеспечением.

Weaviate Operations:

 # get the schema
curl -s http://localhost:8080/v1/schema | jq .

# get objects
curl -s http://localhost:8080/v1/objects | jq .

# get one class from the schema
curl -s http://localhost:8080/v1/schema/Chatbot | jq .

# delete a class
curl -s -XDELETE http://localhost:8080/v1/schema/Chatbot | jq . 

Цель

Плагин поиска CHATGPT.

Тодо

1. автоматически добавлять больше метаданных в Weaviate при употреблении документов
2. автоматически разделить документы больше, чем предел токена OpenAI
3. Добавить строку запроса в качестве флага при запуске команды query
4. ЕДИНЦИОННЫЕ Тесты, пусть Copilot напишет их o/

Попытка Лэнгкейна

Readme.md