vault ai

Op Vault

OP Vault menggunakan OP Stack (OpenAI + Pinecone Vector Database) untuk memungkinkan pengguna mengunggah file KnowledgeBase khusus mereka sendiri dan mengajukan pertanyaan tentang isinya.

vault.pash.city

Dengan pengaturan cepat, Anda dapat meluncurkan versi Anda sendiri dari server Golang ini bersama dengan frontend React yang ramah pengguna yang memungkinkan pengguna untuk mengajukan pertanyaan openai tentang basis pengetahuan spesifik yang disediakan. Fokus utamanya adalah pada konten yang dapat dibaca manusia seperti buku, surat, dan dokumen lainnya, menjadikannya alat yang praktis dan berharga untuk ekstraksi pengetahuan dan jawaban pertanyaan. Anda dapat mengunggah seluruh buku dan dokumen perpustakaan dan menerima jawaban runcing bersama dengan nama file dan bagian spesifik dalam file yang menjadi dasar jawabannya!

Apa yang dapat Anda lakukan dengan Op Vault?

Dengan lemari besi, Anda dapat:

• Unggah berbagai jenis dokumen populer melalui frontend react sederhana untuk membuat basis pengetahuan khusus
• Ambil jawaban yang akurat dan relevan berdasarkan konten dokumen Anda yang diunggah
• Lihat nama file dan cuplikan konteks khusus yang menginformasikan jawabannya
• Jelajahi Kekuatan OP Stack (OpenAI + Pinecone Vector Database) di antarmuka yang ramah pengguna
• Muat buku -buku senilai seluruh perpustakaan ke dalam lemari besi

Ketergantungan manual

• Node: V19
• GO: V1.18.9 Darwin/ARM64
• Poppler

Pengaturan

Instal dependensi manual

1. Instal Go:

Ikuti Go Docs di sini

2. Instal Node V19

Saya sarankan menginstal NVM dan menggunakannya untuk menginstal Node V19

3. Instal Poppler

sudo apt-get install -y poppler-utils di ubuntu, atau brew install poppler di mac

Atur tombol API dan titik akhir Anda di folder secret

1. Buat file secret/openai_api_key dan tempel kunci API openai Anda ke dalamnya:

echo "your_openai_api_key_here" > secret/openai_api_key

2. Buat File secret/pinecone_api_key dan Tempel Kunci API Pinecone Anda ke dalamnya:

echo "your_pinecone_api_key_here" > secret/pinecone_api_key

Saat menyiapkan indeks Pinecone Anda, gunakan ukuran vektor 1536 dan jaga semua pengaturan default tetap sama.

3. Buat File secret/pinecone_api_endpoint dan tempel titik akhir API Pinecone Anda ke dalamnya:

echo "https://example-50709b5.svc.asia-southeast1-gcp.pinecone.io" > secret/pinecone_api_endpoint

Menjalankan Lingkungan Pengembangan

1. Instal JavaScript Paket Dependencies:

   npm install

2. Jalankan Golang WebServer (port default :8100 ):

   npm start

3. Di jendela terminal lain, jalankan webpack untuk mengkompilasi kode JS dan membuat file bundle.js:

   npm run dev

4. Kunjungi versi lokal situs di http: // localhost: 8100

Tangkapan layar:

Dalam contoh tangkapan layar, saya mengunggah beberapa buku oleh Plato dan beberapa surat oleh Alexander Hamilton, menampilkan kemampuan Op Vault untuk menjawab pertanyaan berdasarkan konten yang diunggah.

Mengunggah file

Mengajukan pertanyaan

Di bawah kap mesin

Server Golang menggunakan post API untuk memproses unggahan yang masuk dan menanggapi pertanyaan:

1. /upload untuk mengunggah file

2. /api/question untuk menjawab pertanyaan

Semua titik akhir API dinyatakan dalam file Vault-Web-Server/Main.go.

Mengunggah file dan memprosesnya menjadi embeddings

File vault-web-server/postapi/fileupload.go berisi logika UploadHandler untuk menangani unggahan yang masuk pada backend. Fungsi UploadHandler dalam paket PostAPI bertanggung jawab untuk menangani unggahan file (dengan ukuran unggahan total maksimum 300 MB) dan memprosesnya ke dalam embeddings untuk disimpan di pinecone. Ia menerima file teks PDF, Epub, .docx, dan polos, mengekstrak teks dari mereka, dan membagi konten menjadi potongan -potongan. Menggunakan OpenAI API, ia memperoleh embeddings untuk setiap potongan dan upsert (menyisipkan atau memperbarui) embeddings menjadi pinecone. Fungsi mengembalikan respons JSON yang berisi informasi tentang file yang diunggah dan status pemrosesannya.

1. Batasi ukuran badan permintaan untuk max_total_upload_size (300 MB).
2. Parse data formulir multipart yang masuk dengan ukuran maksimum yang diizinkan 300 MB.
3. Inisialisasi data respons dengan bidang untuk unggahan file yang berhasil dan gagal.
4. Iterasi di atas file yang diunggah, dan untuk setiap file: a. Periksa apakah ukuran file berada dalam batas yang diizinkan (max_file_size, 300 MB). B. Baca file ke dalam memori. C. Jika file adalah PDF, ekstrak teks darinya; Jika tidak, baca isinya sebagai teks biasa. D. Bagilah konten file menjadi potongan. e. Gunakan OpenAI API untuk mendapatkan embeddings untuk setiap potongan. F. Upsert (masukkan atau perbarui) Embeddings ke Pinecone. G. Perbarui data respons dengan informasi tentang unggahan yang berhasil dan gagal.
5. Kembalikan respons JSON yang berisi informasi tentang file yang diunggah dan status pemrosesannya.

Menyimpan embeddings ke Pinecone DB

Setelah mendapatkan embeddings openai untuk setiap bagian dari file yang diunggah, server menyimpan semua embeddings, bersama dengan metadata yang terkait untuk setiap embedding di Pinecone DB. Metadata untuk setiap embedding dibuat dalam fungsi UpsertembeddingStopinecone, dengan kunci dan nilai -nilai berikut:

• file_name : Nama file tempat potongan teks diekstraksi.
• start : Posisi karakter awal dari potongan teks di file asli.
• end : Posisi karakter akhir dari potongan teks dalam file asli.
• title : Judul potongan, yang juga merupakan nama file dalam kasus ini.
• text : Teks potongan.

Metadata ini berguna untuk memberikan konteks ke embeddings dan digunakan untuk menampilkan informasi tambahan tentang embeddings yang cocok ketika mengambil hasil dari database Pinecone.

Menjawab pertanyaan

Fungsi QuestionHandler di Vault-Web-Server/Postapi/Questions.Go bertanggung jawab untuk menangani semua pertanyaan yang masuk. Ketika sebuah pertanyaan dimasukkan di frontend dan pengguna menekan "pencarian" (atau enter), server menggunakan OpenAi Embeddings API sekali lagi untuk mendapatkan embedding untuk pertanyaan (alias query vector). Vektor kueri ini digunakan untuk meminta Pinecone DB untuk mendapatkan konteks yang paling relevan untuk pertanyaan tersebut. Akhirnya, prompt dibangun dengan mengemas konteks yang paling relevan + pertanyaan dalam string prompt yang menganut batas token openai (perpustakaan Go Tiktoken digunakan untuk memperkirakan jumlah token).

Info frontend

Frontend dibangun menggunakan React.js dan less untuk gaya.

Permintaan generatif dengan memori jangka panjang

Jika Anda ingin membaca lebih lanjut tentang topik ini, saya merekomendasikan posting ini dari blog Pinecone:

• https://www.pinecone.io/learn/openai-gen-qa/

Saya harap Anda menikmatinya (:

Mengunggah file yang lebih besar

Saat ini saya memiliki ukuran file individu maks ke 3MB. Jika Anda ingin meningkatkan batas ini, edit konstanta MAX_FILE_SIZE dan MAX_TOTAL_UPLOAD_SIZE di fileupload.go.

Tipe file yang didukung

Pdfs, .txt, .rtf, .docx, .epub, dan plaintext.

Pembatasan Tingkat Gratis Pinecone Baru

Baru -baru ini, Pinecone membatasi penggunaan namespaces untuk pengguna tingkat gratis. Jika Anda berada di tingkat gratis yang baru dibuat, pembatasan ini akan berlaku untuk Anda.