quickstart rag python

Pencarian Semantik dengan Kerangka MongoDB dan LLM

Tautan artikel

Perkenalan

Proyek Python ini menunjukkan pencarian semantik menggunakan MongoDB dan dua kerangka kerja LLM yang berbeda: Langchain dan Llamaindex . Tujuannya adalah untuk memuat dokumen dari MongoDB, menghasilkan embeddings untuk data teks, dan melakukan pencarian semantik menggunakan kerangka kerja Langchain dan Llamaindex .

Variabel Lingkungan

Untuk menjalankan proyek ini, Anda perlu mengatur variabel lingkungan berikut dalam file .env :

 OPENAI_API_KEY = YOUR_OPENAI_API_KEY
MONGODB_URI = YOUR_MONGODB_CONNECTION_URI
MONGODB_COLL = YOUR_MONGODB_COLLECTION
MONGODB_VECTOR_INDEX = YOUR_MONGODB_VECTOR_INDEX
MONGODB_VECTOR_COLL_LANGCHAIN = YOUR_MONGODB_VECTOR_COLLECTION_LANGCHAIN
MONGODB_VECTOR_COLL_LLAMAINDEX = YOUR_MONGODB_VECTOR_COLLECTION_LLAMAINDEX

Pastikan untuk mengganti nilai placeholder dengan kunci API Anda yang sebenarnya dan detail koneksi.

Pengaturan

Instal dependensi:

 pip install -r requirements.txt

Tinjauan Proyek

1. Memuat dokumen

Proyek memuat dokumen dari koleksi MongoDB yang ditentukan ( MONGODB_COLL ). Pastikan koleksi MongoDB Anda berisi data teks yang ingin Anda lakukan dalam pencarian semantik.

2. Menghasilkan embeddings

Aplikasi ini menghasilkan embeddings untuk data teks yang dimuat menggunakan kerangka kerja Langchain dan Llamaindex. Embeddings disimpan dalam koleksi MongoDB terpisah ( MONGODB_VECTOR_COLL_LANGCHAIN ​​dan MONGODB_VECTOR_COLL_LLAMAINDEX ).

3. Pencarian semantik

Pencarian semantik dilakukan dengan menggunakan kerangka kerja Langchain dan Llamaindex. Proses ini melibatkan permintaan koleksi embeddings dan mengambil dokumen yang relevan berdasarkan kesamaan semantik dari prompt.

Informasi tambahan

OPENAI_API_KEY diperlukan untuk menanamkan generasi menggunakan model bahasa eksternal (misalnya, Openai's GPT). Pastikan untuk mengonfigurasi detail dan koleksi koneksi MongoDB dengan tepat. Periksa dokumentasi resmi untuk Langchain dan Llamaindex untuk konfigurasi tambahan atau detail penggunaan.

Referensi

• Pencarian Vektor Atlas: Tautan ke MongoDB Atlas Vector Search
• Langchain: Tautan ke Dokumentasi Langchain
• LlamAinDex: Tautan ke Dokumentasi Llamaindex