refind

Refind

Refind ist ein Projekt, mit dem meine Personal -Dokumente in einer Weaviate Vector -Datenbank gespeichert und das OpenAI -Vectorizer -Modul und die generative Suche verwendet werden können.

Hier ist eine Shell -Aufzeichnung mit Asciinema, die die verschiedenen Antworten mit derselben Eingabestrafung zeigt:

1. Die aktuelle Chatgpt -Version (mit SGPT CLI)
2. Die generative Suche mit Weaviate, die ein Beispieldokument von der Entrequise Roadmap zu SRE Book enthält, enthält ein Beispieldokument

Erste Schritte

Erstellen und geben Sie Ihren OpenAI -API -Schlüssel an:

 export OPENAI_APIKEY= " ... "

Stellen Sie Volltextdokumente mit weniger als 4097 Token ein. Wenn Ihre Eingabeaufforderung 4000 Token beträgt, kann Ihre Fertigstellung höchstens 97 Token betragen.

Lassen Sie es uns verwenden:

 # start the weaviate database
docker-compose up -d

# verify it is up and running
curl http://localhost:8080/v1/meta | jq .
docker-compose logs

# import data, DO IT ONCE
go run main.go import

# query data related to software
go run main.go query | jq .

# when done, gracefully shutdown
docker-compose down

In diesem Beispiel gibt Weaviate Software-bezogene Einträge zurück.

Geräteoperationen:

 # get the schema
curl -s http://localhost:8080/v1/schema | jq .

# get objects
curl -s http://localhost:8080/v1/objects | jq .

# get one class from the schema
curl -s http://localhost:8080/v1/schema/Chatbot | jq .

# delete a class
curl -s -XDELETE http://localhost:8080/v1/schema/Chatbot | jq . 

Ziel

Das Chatgpt -Abruf -Plugin.

Todo

1. Fügen Sie automatisch mehr Metadaten in Weaaviate bei der Einnahme von Dokumenten hinzu
2. Teilen Sie die Dokumente automatisch, die größer sind als das OpenAI -Token -Grenze
3. Fügen Sie die Abfragezeichenfolge als Flag hinzu, wenn Sie den Befehl query ausführen
4. Unit -Tests, lassen Sie Copilot sie o/ schreiben

Versuch Langchain

Readme.md