semantic search nextjs pinecone langchain chatgpt

Langchain, Pinecone, dan GPT dengan Next.js - Starter Stack Penuh

Ini adalah proyek pemula dasar untuk membangun dengan alat dan API berikut:

• Next.js
• Langchainjs
• Database Vektor Pineceone
• GPT3

Ketika saya mulai menyelam ke dalam semua ini, saya merasa sementara saya memahami beberapa bagian individu, sulit untuk menyatukan semuanya ke dalam proyek yang kohesif. Saya harap proyek ini berguna bagi siapa pun yang ingin membangun dengan tumpukan ini, dan hanya membutuhkan sesuatu untuk memulai.

Apa yang kami bangun

Kami sedang membangun aplikasi yang mengambil teks (file teks), menanamkannya ke dalam vektor, menyimpannya ke pinecone, dan memungkinkan pencarian data semantik.

Bagi siapa pun yang bertanya -tanya apa pencarian semantik, berikut adalah gambaran umum (diambil langsung dari chatgpt4):

Pencarian semantik mengacu pada pendekatan pencarian yang memahami niat pengguna dan makna kontekstual dari permintaan pencarian, alih -alih hanya mencocokkan kata kunci.

Ini menggunakan pemrosesan bahasa alami dan pembelajaran mesin untuk menafsirkan semantik, atau makna, di balik pertanyaan. Ini menghasilkan hasil pencarian yang lebih akurat dan relevan. Pencarian semantik dapat mempertimbangkan niat pengguna, konteks kueri, pengakuan sinonim, dan pemahaman bahasa alami. Aplikasinya berkisar dari mesin pencari web hingga sistem rekomendasi yang dipersonalisasi.

Menjalankan aplikasi

Di bagian ini saya akan memandu Anda melalui cara menggunakan dan menjalankan aplikasi ini.

Prasyarat

Untuk menjalankan aplikasi ini, Anda membutuhkan yang berikut:

1. Kunci API Openai
2. Kunci API Pinecone

Up and Running

Untuk menjalankan aplikasi secara lokal, ikuti langkah -langkah ini:

1. Klone repo ini

git clone [email protected]:dabit3/semantic-search-nextjs-pinecone-langchain-chatgpt.git

2. Ubah ke direktori dan instal dependensi menggunakan NPM atau benang

3. Salin .example.env.local ke file baru yang disebut .env.local dan perbarui dengan kunci dan lingkungan API Anda.

   Pastikan lingkungan Anda adalah lingkungan aktual yang diberikan kepada Anda oleh Pinecone, seperti us-west4-gcp-free

4. (Opsional) - Tambahkan teks khusus Anda sendiri atau file penurunan harga ke folder /documents .

5. Jalankan aplikasi:

npm run dev

Perlu diketahui

Saat membuat embeddings dan indeks, dapat memakan waktu hingga 2-4 menit untuk indeks untuk menginisialisasi sepenuhnya. Ada fungsi penyelesaian 180 detik di utils yang menunggu indeks dibuat.

Jika inisialisasi memakan waktu lebih lama, maka itu akan gagal saat pertama kali Anda mencoba membuat embeddings. Jika ini terjadi, kunjungi konsol Pinecone untuk menonton dan menunggu status indeks Anda dibuat untuk menyelesaikan, kemudian jalankan fungsi lagi.

Menjalankan kueri

Data aplikasi yang telah dikonfigurasi sebelumnya adalah tentang dokumentasi pengembang protokol lensa, sehingga hanya akan memahami pertanyaan tentang hal itu kecuali Anda menggantinya dengan data Anda sendiri. Berikut adalah beberapa pertanyaan yang mungkin Anda tanyakan dengan data default

1. Apa perbedaan antara lensa dan platform sosial tradisional
2. Apa perbedaan antara lensa SDK dan API lensa
3. Bagaimana cara meminta data lensa dalam jumlah besar?

Basis proyek ini dipandu oleh tutorial Node.js ini, dengan beberapa restrukturisasi dan diangkut ke Next.js. Anda juga dapat mengikuti mereka di sini di Twitter!

Mendapatkan data Anda

Saya merekomendasikan untuk memeriksa pemuat repositori GPT yang membuatnya mudah untuk mengubah repo github menjadi format teks, melestarikan struktur file dan konten file, membuatnya mudah untuk memotong dan menyimpan ke Pinecone menggunakan basis kode saya.