medicalrag

---

Basis Pengetahuan Rag Medis (Retrieval-Augmented Generation)

Proyek ini membangun basis pengetahuan generasi pengambilan medis (RAG) menggunakan Next.js , Langchain , dan Pinecone sebagai database vektor. Sistem memproses dokumen medis (misalnya, file PDF) dan menyimpan embedding mereka dalam database vektor, memungkinkan pencarian kesamaan yang efisien untuk mengambil informasi yang relevan sebagai tanggapan terhadap kueri pengguna.

Daftar isi

• Ringkasan
• Fitur
• Teknologi
• Pengaturan dan Instalasi
• Konfigurasi
• Penggunaan
• Struktur proyek
• Pemecahan masalah

Ringkasan

Aplikasi ini menyediakan antarmuka yang ramah pengguna untuk mengunggah dokumen medis seperti PDF, mengubahnya menjadi potongan, dan menyimpan embeddings mereka dalam database vektor (Pinecone). Sistem ini menggunakan Langchain untuk dokumen chunking dan memeluk model embedding Face untuk menghasilkan embeddings. Embedding ini dapat dicari secara efisien untuk mengambil informasi yang relevan dari basis pengetahuan medis.

Fitur

• Unggah dan proses dokumen medis (PDF, file teks).
• Potongan dokumen besar dan hasilkan embeddings vektor menggunakan model berbasis ONNX .
• Store Document Embeddings di Pinecone untuk pencarian kesamaan yang efisien.
• Bilah kemajuan untuk melacak proses penyematan.
• Mudah diperpanjang untuk memasukkan lebih banyak dokumen medis dan meningkatkan basis pengetahuan.

Teknologi

• Next.js : Untuk membangun rute front-end dan API.
• Langchain : Untuk dokumen chunking dan embedding.
• Pinecone : Database vektor untuk menyimpan embeddings dokumen.
• Memeluk Face Transformers : Untuk menghasilkan embeddings menggunakan model pra-terlatih.
• TypeScript : Untuk keamanan tipe.
• Shadcn UI : Untuk membangun komponen UI.

Pengaturan dan Instalasi

1. Kloning repositori

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2. Pasang dependensi

Pastikan Anda menginstal Node.js (versi 18 atau lebih tinggi). Kemudian instal paket yang diperlukan:

npm install

3. Variabel Lingkungan

Buat file .env di root proyek dan tambahkan variabel lingkungan berikut:

PINECONE_API_KEY=your_pinecone_api_key

Anda bisa mendapatkan kunci API Pinecone Anda dengan mendaftar di Pinecone.

4. Mengatur Pinecone

• Masuk ke Pinecone dan buat indeks.
• Gunakan 1024 sebagai dimensi untuk embeddings, dan kesamaan kosinus sebagai metrik.

5. Jalankan Aplikasi

Setelah menyiapkan, jalankan server pengembangan:

npm run dev

Aplikasi Anda sekarang akan berjalan di http://localhost:3000 .

Konfigurasi

Konfigurasi berikut sangat penting untuk aplikasi:

• Nama indeks Pinecone : Nama indeks di mana embeddings dokumen disimpan.
• Namespace : Anda dapat menyimpan berbagai set dokumen di Pinecone di bawah ruang nama terpisah.

Anda dapat menentukan ini di UI sebelum mengunggah file.

Penggunaan

1. Unggah dokumen

• Buka aplikasi di http://localhost:3000 .
• Pilih PDF atau file teks dari sistem lokal Anda.
• Tentukan nama indeks dan namespace untuk menyimpan embeddings.
• Klik tombol Unggah untuk memulai proses penyematan.

Bilah kemajuan akan melacak prosesnya, dan embeddings akan didorong ke database Pinecone.

2. Lihat Vektor Tersimpan

Setelah embedding diproses dan disimpan, Anda dapat melihatnya di dasbor Pinecone Anda.

3. Pencarian Embeddings (Fitur Masa Depan)

Anda dapat memperluas aplikasi dengan membangun antarmuka pencarian untuk menanyakan embeddings yang disimpan dan mengambil informasi yang relevan.

Struktur proyek

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

Pemecahan masalah

1. Ambil kesalahan

Jika Anda mengalami kesalahan:

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

Pastikan Anda menjalankan Node.js versi 18+ , yang menyediakan fungsi fetch global. Anda dapat memperbarui node.js menggunakan:

nvm install 18
nvm use 18

2. Kunci API Hilang

Jika vektor tidak didorong ke Pinecone, pastikan kunci API Anda dikonfigurasi dengan benar di file .env .

3. Pemrosesan File Besar

Untuk dokumen PDF besar, proses penyematan mungkin memakan waktu. Biarkan berjalan sampai bilah kemajuan menunjukkan penyelesaian.

---