refind

rehacer

Refind es un proyecto para almacenar mis documentos personales en una base de datos vectorial tejida y usar el módulo de vectorizador OpenAI y la búsqueda generativa.

Aquí hay una grabación de shell con asciinema que muestra las diferentes respuestas con la misma pregunta de entrada de:

1. la versión actual de ChatGPT (usando SGPT CLI)
2. La búsqueda generativa con Weaviate que contiene un documento de muestra de la hoja de ruta de Entreprise a SRE Book

Empezando

Cree y proporcione su tecla API OpenAI:

 export OPENAI_APIKEY= " ... "

Pon documentos de texto completo con menos de 4097 tokens. Si su aviso es de 4000 tokens, su finalización puede ser de 97 tokens como máximo.

Usémoslo:

 # start the weaviate database
docker-compose up -d

# verify it is up and running
curl http://localhost:8080/v1/meta | jq .
docker-compose logs

# import data, DO IT ONCE
go run main.go import

# query data related to software
go run main.go query | jq .

# when done, gracefully shutdown
docker-compose down

En este ejemplo, Weaviate está devolviendo entradas relacionadas con el software.

Operaciones tejidas:

 # get the schema
curl -s http://localhost:8080/v1/schema | jq .

# get objects
curl -s http://localhost:8080/v1/objects | jq .

# get one class from the schema
curl -s http://localhost:8080/v1/schema/Chatbot | jq .

# delete a class
curl -s -XDELETE http://localhost:8080/v1/schema/Chatbot | jq . 

Meta

El complemento de recuperación de ChatGPT.

HACER

1. Agregue automáticamente más metadatos en tejido al ingerir documentos
2. dividir automáticamente documentos más grandes que el límite de token de OpenAI
3. Agregue la cadena de consulta como un indicador al ejecutar el comando query
4. Pruebas unitarias, deje que el copiloto las escriba o/

Probando langchain

Readme.md