Medical RAG using Bio Mistral 7B Download - Medical RAG using Bio Mistral 7B Quellcode Download

Medical RAG using Bio Mistral 7B

Anderer Quellcode

1.0.0

Herunterladen

Erstellen Sie eine medizinische Lag -App mit Biomistral, Qdrant und Lama.cpp

Dies ist eine Lag -Implementierung mit Open Source Stack. Biomistral 7b wurde verwendet, um diese App zusammen mit PubMedbert als Einbettungsmodell, QDrant als selbst gehostete Vektor -DB und Langchain & Llama CPP als Orchestrierungsrahmen zu erstellen.

Beschreibung & Schlüsselfunktionen:

Bauen Sie eine hochmoderne Anwendung zur Augmented-Generation (medizinischem Abruf Augmented Generation) mit einer Reihe leistungsstarker Technologien auf, die auf den medizinischen Bereich zugeschnitten sind.
Biomistral 7b, ein neues großes Sprachmodell, das speziell für medizinische Anwendungen entwickelt wurde und die beispiellose Genauigkeit und Einblicke in komplexe medizinische Abfragen bietet.
QDRANT, eine selbst gehostete Vektor-Datenbank, die wir in einem Docker-Container ausführen. Dieses robuste Tool dient als Rückgrat zum Verwalten und Abrufen hochdimensionaler Datenvektoren, wie sie beispielsweise von unserem medizinischen Sprachmodell generiert werden.
Um das Verständnis unseres Modells für medizinische Texte zu verbessern, verwende ich PubMed Bert Embettings, ein Einbettungsmodell, das speziell für den medizinischen Bereich gefertigt wurde.
Dadurch wird sichergestellt, dass unsere Bewerbung die Nuancen von medizinischer Literatur und Abfragen erfassen und genauere und relevante Antworten liefert.
Eine entscheidende Komponente unseres Setups ist LLAMA.CPP, eine Bibliothek, die das Schluss von Großsprachmodellen auf CPU -Maschinen ermöglicht. Dieser quantisierte Modellansatz ermöglicht eine effiziente und kostengünstige Bereitstellung, ohne die Leistung zu beeinträchtigen.
Für die Orchestrierung unserer Anwendungskomponenten stelle ich Langchain vor, ein Orchestrierungs -Framework, das unsere Tools und Dienste nahtlos integriert und einen reibungslosen Betrieb und die Skalierbarkeit gewährleistet.
Im Backend nehme ich Fastapi, ein modernes, schnelles (leistungsstarkes) Webrahmen für den Aufbau von APIs mit Python 3.7+. Fastapi bietet die Geschwindigkeit und Benutzerfreundlichkeit, die erforderlich ist, um ein reaktionsschnelles und effizientes Backend für unsere medizinische Lag -Anwendung zu erstellen.
Schließlich verwende ich für die Web-Benutzeroberfläche Bootstrap 5.3, die neueste Version des beliebtesten Open-Source-Toolkits der Welt. Auf diese Weise können wir eine schlanke, intuitive und mobile ansprechende Benutzeroberfläche erstellen, mit der unsere medizinische Lappenanwendung zugänglich und einfach zugänglich ist.
Wir haben die Umwelt eingerichtet, um diese Technologien in eine zusammenhängende und funktionelle medizinische Lappenanwendung zu integrieren.