Medical_ChatBot

Chatbot médico com Langchain e Pinecone

Este projeto cria um chatbot médico que recupera informações de um livro médico em PDF e utiliza Langchain para processamento e pinecone para recuperação de informações eficientes.

Características

• Base de conhecimento médico: extrai e organiza informações médicas de um livro em PDF.
• Integração do Langchain: usa as bibliotecas Langchain para processar consultas de usuários e combiná -las com informações relevantes da base de conhecimento.
  • Especificamente, os recursos de processamento de texto de Langchain serão aproveitados para limpar e preparar o texto médico para análises adicionais.
• INCLUMAS DE LLAMA2: Emprega o poderoso modelo LLAMA2, desde abraçar o rosto para gerar incorporações contextuais para consultas de usuário e trechos de texto médico. Isso permite a correspondência e recuperação semântica de informações relevantes, mesmo quando formadas de maneira diferente.
• Banco de dados do vetor de Pinecone: armazena as incorporações geradas em um banco de dados vetorial Pinecone para recuperação eficiente. Isso permite uma pesquisa rápida e escalável da base de conhecimento médico.
• Interface Chatbot: fornece uma interface amigável (baseada em texto ou potencialmente baseada em voz) para os usuários interagirem com o chatbot e fazer perguntas médicas.
• Design HTML e CSS: A interface de bate -papo foi projetada usando HTML e estilizada usando CSS para fornecer uma experiência intuitiva e visualmente atraente do usuário.
• Back -end do frasco: o back -end do aplicativo é construído usando o Flask, uma estrutura da Web leve para o Python, para lidar com solicitações de usuário e interagir com o chatbot.
• Mensagens em tempo real: os usuários podem se comunicar com o chatbot em tempo real, recebendo respostas instantâneas às suas consultas.

Pilha técnica

• Langchain: uma biblioteca Python para fluxos de trabalho de processamento de linguagem natural (PNL), oferecendo módulos para processamento de texto, incorporação de geração e recuperação de informações.
• Abraçando transformadores de rosto: fornece acesso a modelos de PNL pré-treinados como o LLAMA2 para gerar incorporações contextuais.
• Pinecone: um serviço de banco de dados vetorial que permite armazenamento e recuperação eficiente de dados de alta dimensão, como incorporações.
• Bibliotecas adicionais: dependendo da interface escolhida (baseada em texto ou baseada em voz), bibliotecas adicionais como NLTK ou Spacy podem ser usadas para processamento de texto adicional e funcionalidades de chatbot.
• Flask: uma estrutura leve da Web para Python usada para desenvolver a interface do chatbot e lidar com solicitações de usuário.

Fluxo de trabalho

1. Criação da base de conhecimento:

 from langchain_community . embeddings import HuggingFaceEmbeddings
from langchain_community . document_loaders import PyPDFLoader
from langchain . text_splitter import RecursiveCharacterTextSplitter

def create_knowledge_base ( pdf_path ):
  # Load PDF text
  loader = PyPDFLoader ( pdf_path , glob = "*.pdf" )
  text_data = loader . load ()

  # Text processing and chunking
  text_splitter = RecursiveCharacterTextSplitter ( chunk_size = 500 , chunk_overlap = 20 )
  text_chunks = text_splitter . split_documents ( text_data )

  # Download Llama2 embeddings (or your chosen model)
  embeddings = HuggingFaceEmbeddings ( model_name = "sentence-transformers/all-MiniLM-L6-v2" )

  # Generate embeddings for each text chunk
  # ... (code to generate embeddings for each chunk using embeddings object)

  # Store text chunks and embeddings in a data structure (e.g., list of dictionaries)
  knowledge_base = []
  for i , chunk in enumerate ( text_chunks ):
    chunk_embedding = embeddings . encode ( chunk )  # Generate embedding for the chunk
    knowledge_base . append ({
      "text" : chunk ,
      "embedding" : chunk_embedding
    })
  return knowledge_base

2. Integração do Pinecone:

 from langchain_pinecone import PineconeVectorStore
from pinecone . data . index import Index
from dotenv import load_dotenv
import os

def store_knowledge_base_in_pinecone ( knowledge_base ):
  load_dotenv ()
  PINECONE_API_KEY = os . getenv ( "PINECONE_API_KEY" )
  PINECONE_ENV = os . getenv ( "PINECONE_ENV" )
  PINECONE_INDEX_NAME = os . getenv ( "PINECONE_INDEX_NAME" )

  # Connect to Pinecone
  pc = pinecone . Pinecone ( api_key = PINECONE_API_KEY , environment = PINECONE_ENV )
  index = pc . Index ( PINECONE_INDEX_NAME )

  # Extract text and embeddings from knowledge base
  text_data = [ kb [ "text" ] for kb in knowledge_base ]
  embeddings = [ kb [ "embedding" ] for kb in knowledge_base ]

  # Store embeddings in Pinecone
  PineconeVectorStore . from_documents ( text_data , embeddings , index_name = PINECONE_INDEX_NAME )

  print ( f"Knowledge base stored in Pinecone index: { PINECONE_INDEX_NAME } " )

3. Interface Chatbot (espaço reservado):

 # This section is a placeholder as the full chatbot development requires additional libraries
# like Rasa or Dialogflow. Here's a basic outline to illustrate the concept.

def chatbot_loop ():
  while True :
    user_query = input ( "Ask me a medical question (or type 'quit' to exit): " )
    if user_query . lower () == "quit" :
      break

    # Process user query (similar to text processing in knowledge base creation)
    processed_query = # (code to clean and process the user query)

    # Generate embedding for the user query
    query_embedding = embeddings . encode ( processed_query )

    # Retrieve similar text snippets from Pinecone using query embedding
    similar_results = retrieve_from_pinecone ( query_embedding )

    # Extract and present relevant information to the user
    if similar_results :
      for result in similar_results :
        print ( f"Relevant Information: { result [ 'text' ] } " )
    else :
      print ( "Sorry, I couldn't find any information related to your question." )

Benefícios

• Acesso à informação médica aprimorada: os usuários podem acessar e entender facilmente as informações médicas do livro em PDF por meio de uma interface amigável.
• Pesquisa semântica: as incorporações LLAMA2 permitem recuperar mais precisas de informações relevantes, mesmo quando as consultas do usuário são formuladas de maneira diferente do texto real do livro.
• Escalabilidade: o Pinecone permite a recuperação de informações eficientes à medida que a base de conhecimento cresce.

Outras considerações

• Isenção de responsabilidade médica: É crucial afirmar claramente que esse chatbot é apenas para fins informativos e não deve ser usado como substituto para conselhos médicos profissionais. Os usuários devem sempre consultar um profissional de saúde para diagnóstico e tratamento.
• Segurança de dados: Verifique se as medidas de segurança adequadas são implementadas ao manusear e armazenar informações médicas.
• Seleção de modelo: enquanto o LLAMA2 é um modelo poderoso, considere explorar outros modelos específicos de domínio médico, de abraçar o rosto que pode ser mais adequado para as informações médicas específicas no livro em PDF.
• Desenvolvimento de chatbot: o desenvolvimento de uma interface robusta de chatbot requer bibliotecas adicionais como Rasa ou DialogFlow para lidar com o fluxo de conversas e a compreensão da linguagem natural.

Este projeto mostra o potencial de Langchain e Pinecone na criação de um chatbot médico que oferece uma maneira acessível e eficiente de acessar e entender informações médicas. Lembre -se de adaptar e expandir esse conceito para atender às necessidades específicas do seu livro médico em PDF e funcionalidades desejadas.

Instalação

Para configurar o projeto Langchain Pinecone Vector Store, siga estas etapas:

1. Clone o repositório:

   git clone https://github.com/ < username > / < repository > .git
   cd < repository >

2. Instale dependências:

   pip install -r requirements.txt

3. Configurar variáveis ​​de ambiente:

   Crie um arquivo .env no diretório raiz e especifique as seguintes variáveis:

    PINECONE_API_KEY=<your_pinecone_api_key>
   PINECONE_ENV=<pinecone_environment>
   PINECONE_INDEX_NAME=<pinecone_index_name>
   

Uso

Para armazenar vetores no banco de dados vetorial Pinecone, execute o seguinte comando:

python store_vectors.py

Contribuindo

As contribuições para o projeto Langchain Pinecone Vector Store são incentivadas e apreciadas! Se você tiver idéias para aprimoramentos, correções de bugs ou novos recursos, envie uma solicitação de tração. Certifique -se de seguir as diretrizes de contribuição descritas no repositório.

Licença

Este projeto está licenciado sob a licença do MIT, que permite o uso, a distribuição e a modificação sem restrições, sujeitos aos termos e condições especificados no contrato de licença.