refind

refind

Refind adalah proyek untuk menyimpan dokumen pribadi saya dalam database vektor weaviate dan menggunakan modul vektorisasi openai dan pencarian generatif.

Berikut adalah perekaman shell dengan ASCIINEMA yang menunjukkan jawaban yang berbeda dengan pertanyaan input yang sama dari:

1. Versi chatgpt saat ini (menggunakan SGPT CLI)
2. Pencarian generatif dengan weaviate berisi dokumen sampel dari roadmap enteprise ke buku sre

Memulai

Buat dan berikan kunci API openai Anda:

 export OPENAI_APIKEY= " ... "

Masukkan dokumen teks lengkap dengan kurang dari 4097 token. Jika prompt Anda adalah 4000 token, penyelesaian Anda paling banyak menjadi 97 token.

Mari kita gunakan:

 # start the weaviate database
docker-compose up -d

# verify it is up and running
curl http://localhost:8080/v1/meta | jq .
docker-compose logs

# import data, DO IT ONCE
go run main.go import

# query data related to software
go run main.go query | jq .

# when done, gracefully shutdown
docker-compose down

Dalam contoh ini, Weaviate mengembalikan entri terkait perangkat lunak.

Operasi Weaviate:

 # get the schema
curl -s http://localhost:8080/v1/schema | jq .

# get objects
curl -s http://localhost:8080/v1/objects | jq .

# get one class from the schema
curl -s http://localhost:8080/v1/schema/Chatbot | jq .

# delete a class
curl -s -XDELETE http://localhost:8080/v1/schema/Chatbot | jq . 

Sasaran

Plugin pengambilan chatgpt.

Todo

1. Secara otomatis menambahkan lebih banyak metadata di Weaviate saat menelan dokumen
2. secara otomatis membagi dokumen lebih besar dari batas token openai
3. Tambahkan string kueri sebagai bendera saat menjalankan perintah query
4. tes unit, biarkan kopilot menulisnya o/

Mencoba Langchain

Readme.md