Medical RAG using Bio Mistral 7B Download - Medical RAG using Bio Mistral 7B Código -fonte Download

Medical RAG using Bio Mistral 7B

Outro código-fonte

1.0.0

Baixar

Construa um aplicativo de pano médico usando biomistral, qdrant e llama.cpp

Esta é uma implementação de RAG usando a pilha de código aberto. O Biomistral 7b foi usado para construir este aplicativo junto com o PubMedbert como modelo de incorporação, QDRANT como um banco de dados vetorial auto -hospedado, e Langchain & Llama CPP como uma estrutura de orquestração.

Descrição e principais recursos:

Construa uma aplicação de geração aumentada de recuperação médica de ponta (RAG) usando um conjunto de tecnologias poderosas adaptadas para o domínio médico.
A Biomistral 7b, um novo modelo de grande idioma projetado especificamente para aplicações médicas, oferecendo precisão e insights incomparáveis sobre consultas médicas complexas.
QDRANT, um banco de dados vetorial auto-hospedado que executamos dentro de um contêiner do Docker. Essa ferramenta robusta serve como espinha dorsal para gerenciar e recuperar vetores de dados de alta dimensão, como os gerados pelo nosso modelo de idioma médico.
Para aprimorar o entendimento de nossos textos médicos de nosso modelo, utilizo o PubMed Bert incorporados, um modelo de incorporação especificamente criado para o domínio médico.
Isso garante que nossa aplicação possa compreender as nuances da literatura médica e das consultas, fornecendo respostas mais precisas e relevantes.
Um componente crucial da nossa configuração é o llama.cpp, uma biblioteca que permite a inferência de grandes modelos de linguagem nas máquinas da CPU. Essa abordagem de modelo quantizada permite a implantação eficiente e econômica sem comprometer o desempenho.
Para orquestrar nossos componentes de aplicativos, apresento Langchain, uma estrutura de orquestração que integra perfeitamente nossas ferramentas e serviços, garantindo operação e escalabilidade suaves.
No back-end, aproveito o FASTAPI, uma estrutura da web moderna e rápida (de alto desempenho) para criar APIs com o Python 3.7+. O FASTAPI fornece a velocidade e a facilidade de uso necessárias para criar um back -end responsivo e eficiente para o nosso aplicativo médico de pano.
Finalmente, para a interface do usuário da web, emprego o Bootstrap 5.3, a versão mais recente do kit de ferramentas de código aberto mais popular do mundo. Isso nos permite criar uma interface de usuário elegante, intuitiva e responsiva a dispositivos móveis, que torna nosso aplicativo de pano médico acessível e fácil de usar.
Configuramos o ambiente para integrar essas tecnologias em uma aplicação coesa e funcional de pano médico.