Bangun Aplikasi Rag Medis Menggunakan Biomistral, Qdrant, dan Llama.cpp
Ini adalah implementasi RAG menggunakan tumpukan open source. Biomistral 7B telah digunakan untuk membangun aplikasi ini bersama dengan PubMedbert sebagai model penyematan, Qdrant sebagai vektor DB yang diselenggarakan sendiri, dan Langchain & llama CPP sebagai kerangka kerja orkestrasi.
Deskripsi & Fitur Utama:
- Bangun aplikasi augmented augmented generasi (RAG) mutakhir menggunakan serangkaian teknologi kuat yang disesuaikan untuk domain medis.
- Biomistral 7B, model bahasa besar baru yang dirancang khusus untuk aplikasi medis, menawarkan akurasi dan wawasan yang tak tertandingi tentang pertanyaan medis yang kompleks.
- Qdrant, database vektor yang di-hosting sendiri yang kami jalankan di dalam wadah Docker. Alat yang kuat ini berfungsi sebagai tulang punggung untuk mengelola dan mengambil vektor data dimensi tinggi, seperti yang dihasilkan oleh model bahasa medis kami.
- Untuk meningkatkan pemahaman model kami tentang teks -teks medis, saya menggunakan PubMed Bert Embeddings, model embeddings yang secara khusus dibuat untuk domain medis.
- Ini memastikan aplikasi kami dapat memahami nuansa literatur dan pertanyaan medis, memberikan jawaban yang lebih tepat dan relevan.
- Komponen penting dari pengaturan kami adalah llama.cpp, perpustakaan yang memungkinkan inferensi model bahasa besar pada mesin CPU. Pendekatan model terkuantisasi ini memungkinkan penyebaran yang efisien dan hemat biaya tanpa mengurangi kinerja.
- Untuk mengatur komponen aplikasi kami, saya memperkenalkan Langchain, kerangka kerja orkestrasi yang dengan mulus mengintegrasikan alat dan layanan kami, memastikan pengoperasian dan skalabilitas yang lancar.
- Di backend, saya memanfaatkan Fastapi, kerangka kerja web modern, cepat (berkinerja tinggi) untuk membangun API dengan Python 3.7+. Fastapi memberikan kecepatan dan kemudahan penggunaan yang diperlukan untuk membuat backend yang responsif dan efisien untuk aplikasi Rag Medis kami.
- Akhirnya, untuk Web UI, saya menggunakan Bootstrap 5.3, versi terbaru dari perangkat open-source front-end paling populer di dunia. Ini memungkinkan kami untuk membuat antarmuka pengguna yang ramping, intuitif, dan responsif seluler yang membuat aplikasi Medical Rag kami dapat diakses dan mudah digunakan.
- Kami mengatur lingkungan untuk mengintegrasikan teknologi ini ke dalam aplikasi Rag Medis yang kohesif dan fungsional.
Panduan Ahli Implementasi:
Demo ▶ ️
© ️ Lisensi?
Didistribusikan di bawah lisensi MIT. Lihat LICENSE untuk informasi lebih lanjut.
Jika Anda menyukai proyek LLM ini, turun ke repo ini
Ikuti aku
