Medical RAG using Bio Mistral 7B - Medical RAG using Bio Mistral 7B下載

Medical RAG using Bio Mistral 7B

其他源碼

1.0.0

下載

使用BioMistral，Qdrant和Llama.cpp構建醫療抹布應用

這是使用開源堆棧的RAG實現。 BioMistral 7b已與PubMedbert一起構建此應用程序，作為嵌入式模型，QDRANT為自託管矢量DB，而Langchain＆Llama CPP作為編排框架。

描述和關鍵功能：

使用為醫療領域量身定制的一套強大技術，建立尖端的醫療檢索增強生成（RAG）應用。
BioMistral 7B是一種專門為醫療應用設計的新型大型語言模型，可提供無與倫比的準確性和對複雜醫療查詢的見解。
Qdrant，一個自託管矢量數據庫，我們在Docker容器中運行。該強大的工具是管理和檢索高維數據向量的骨幹，例如我們的醫學語言模型生成的媒介。
為了增強我們的模型對醫學文本的理解，我利用了PubMed Bert Embeddings，這是一種專門為醫療領域設計的嵌入模型。
這樣可以確保我們的應用可以掌握醫學文獻和查詢的細微差別，從而提供更精確和相關的答案。
我們設置的關鍵組成部分是Llama.cpp，它是一個可以在CPU機器上推斷大型語言模型的庫。這種量化的模型方法允許在不影響性能的情況下進行有效且具有成本效益的部署。
為了編排我們的應用程序組件，我介紹了Langchain，這是一個編排框架，無縫整合我們的工具和服務，以確保平穩的操作和可擴展性。
在後端，我利用Fastapi是一種現代，快速（高性能）的網絡框架，用於使用Python 3.7+構建API。 FastApi提供了為我們的醫療抹布應用創建響應迅速，高效的後端所需的速度和易用性。
最後，對於Web UI，我使用Bootstrap 5.3，這是世界上最受歡迎的前端開源工具包的最新版本。這使我們能夠創建一個時尚，直觀和移動響應性的用戶界面，使我們的醫療抹布應用程序易於訪問且易於使用。
我們設置了將這些技術集成到具有凝聚力和功能性的醫學抹布應用中的環境。