Medical RAG using Bio Mistral 7B Téléchargement - Medical RAG using Bio Mistral 7B Code source Télécharger

Medical RAG using Bio Mistral 7B

Autre code source

1.0.0

Télécharger

Construisez une application de chiffon médical en utilisant BioMistral, Qdrant et Llama.cpp

Il s'agit d'une implémentation de chiffon à l'aide de la pile open source. Biomistral 7B a été utilisé pour construire cette application avec PubMedbert en tant que modèle d'intégration, QDRANT en tant que DB de vecteur auto-hébergé, et Langchain & Llama CPP comme frameworks d'orchestration.

Description et caractéristiques clés:

Construisez une application de génération augmentée de récupération médicale de pointe (RAG) à l'aide d'une suite de technologies puissantes adaptées au domaine médical.
Biomistral 7b, un nouveau modèle de grande langue spécialement conçu pour les applications médicales, offrant une précision inégalée et un aperçu des requêtes médicales complexes.
QDRANT, une base de données vectorielle auto-hébergée que nous exécutons dans un conteneur Docker. Cet outil robuste sert de squelette pour gérer et récupérer des vecteurs de données de grande dimension, tels que ceux générés par notre modèle de langue médicale.
Pour améliorer la compréhension de notre modèle des textes médicaux, j'utilise PubMed Bert Embeddings, un modèle d'incorporation spécifiquement conçu pour le domaine médical.
Cela garantit que notre application peut saisir les nuances de la littérature médicale et des requêtes, fournissant des réponses plus précises et pertinentes.
Un composant crucial de notre configuration est Llama.cpp, une bibliothèque qui permet l'inférence de modèles de grands langues sur les machines CPU. Cette approche de modèle quantifiée permet un déploiement efficace et rentable sans compromettre les performances.
Pour orchestrer nos composants d'application, j'introduis Langchain, un cadre d'orchestration qui intègre de manière transparente nos outils et services, assurant un fonctionnement et une évolutivité en douceur.
Sur le backend, je tire un parti Fastapi, un cadre Web moderne et rapide (haute performance) pour la création d'API avec Python 3.7+. Fastapi fournit la vitesse et la facilité d'utilisation nécessaires pour créer un backend réactif et efficace pour notre application de chiffon médical.
Enfin, pour l'interface utilisateur Web, j'utilise Bootstrap 5.3, la dernière version de la boîte à outils Open-source front-end la plus populaire au monde. Cela nous permet de créer une interface utilisateur élégante, intuitive et sensible aux mobiles qui rend notre application de chiffon médical accessible et facile à utiliser.
Nous avons configuré l'environnement pour intégrer ces technologies dans une application de chiffon médical cohérente et fonctionnel.