Medical_ChatBot

與Langchain和Pinecone的醫療聊天機器人

該項目構建了一個醫療聊天機器人，該聊天機器人從醫學PDF書籍中檢索信息，並利用蘭班進行處理和松果以進行有效的信息檢索。

特徵

• 醫學知識庫：從PDF書籍中提取和組織醫療信息。
• Langchain集成：使用Langchain庫處理用戶查詢，並將其與知識庫中的相關信息匹配。
  • 具體來說，Langchain的文本處理功能將被利用以清潔和準備醫學文本以進行進一步分析。
• Llama2嵌入：採用功能強大的Llama2模型，從擁抱面來生成用戶查詢和醫學文本片段的上下文嵌入。這即使用不同的措辭也可以進行語義匹配和檢索相關信息。
• Pinecone矢量數據庫：將生成的嵌入在Pinecone矢量數據庫中以有效檢索。這可以快速，可擴展的醫學知識庫搜索。
• 聊天機器人界面：提供一個用戶友好的接口（基於文本或基於語音的基於語音），以供用戶與聊天機器人進行交互並提出醫療問題。
• HTML和CSS設計：聊天界面是使用HTML設計的，並使用CSS進行了風格，以提供直觀且視覺上吸引人的用戶體驗。
• 燒瓶後端：應用程序後端是使用燒瓶（用於Python輕量級的Web框架）來處理用戶請求並與聊天機器人進行交互的。
• 實時消息：用戶可以實時與聊天機器人進行通信，從而立即收到對其查詢的響應。

技術堆棧

• Langchain：自然語言處理的Python庫（NLP）工作流程，提供用於文本處理，嵌入生成和信息檢索的模塊。
• 擁抱臉型變形金剛：提供對諸如Llama2（例如生成上下文嵌入）的預訓練的NLP模型的訪問權限。
• Pinecone：矢量數據庫服務，可以有效地存儲並檢索高維數據（例如嵌入）。
• 其他庫：根據所選界面（基於文本或基於語音的），其他庫（例如NLTK或Spacy）可以用於進一步的文本處理和聊天機器人功能。
• 燒瓶：用於開發聊天機器人界面並處理用戶請求的Python的輕量級網絡框架。

工作流程

1. 知識庫創建：

 from langchain_community . embeddings import HuggingFaceEmbeddings
from langchain_community . document_loaders import PyPDFLoader
from langchain . text_splitter import RecursiveCharacterTextSplitter

def create_knowledge_base ( pdf_path ):
  # Load PDF text
  loader = PyPDFLoader ( pdf_path , glob = "*.pdf" )
  text_data = loader . load ()

  # Text processing and chunking
  text_splitter = RecursiveCharacterTextSplitter ( chunk_size = 500 , chunk_overlap = 20 )
  text_chunks = text_splitter . split_documents ( text_data )

  # Download Llama2 embeddings (or your chosen model)
  embeddings = HuggingFaceEmbeddings ( model_name = "sentence-transformers/all-MiniLM-L6-v2" )

  # Generate embeddings for each text chunk
  # ... (code to generate embeddings for each chunk using embeddings object)

  # Store text chunks and embeddings in a data structure (e.g., list of dictionaries)
  knowledge_base = []
  for i , chunk in enumerate ( text_chunks ):
    chunk_embedding = embeddings . encode ( chunk )  # Generate embedding for the chunk
    knowledge_base . append ({
      "text" : chunk ,
      "embedding" : chunk_embedding
    })
  return knowledge_base

2. 松果整合：

 from langchain_pinecone import PineconeVectorStore
from pinecone . data . index import Index
from dotenv import load_dotenv
import os

def store_knowledge_base_in_pinecone ( knowledge_base ):
  load_dotenv ()
  PINECONE_API_KEY = os . getenv ( "PINECONE_API_KEY" )
  PINECONE_ENV = os . getenv ( "PINECONE_ENV" )
  PINECONE_INDEX_NAME = os . getenv ( "PINECONE_INDEX_NAME" )

  # Connect to Pinecone
  pc = pinecone . Pinecone ( api_key = PINECONE_API_KEY , environment = PINECONE_ENV )
  index = pc . Index ( PINECONE_INDEX_NAME )

  # Extract text and embeddings from knowledge base
  text_data = [ kb [ "text" ] for kb in knowledge_base ]
  embeddings = [ kb [ "embedding" ] for kb in knowledge_base ]

  # Store embeddings in Pinecone
  PineconeVectorStore . from_documents ( text_data , embeddings , index_name = PINECONE_INDEX_NAME )

  print ( f"Knowledge base stored in Pinecone index: { PINECONE_INDEX_NAME } " )

3. 聊天機器人接口（佔位符）：

 # This section is a placeholder as the full chatbot development requires additional libraries
# like Rasa or Dialogflow. Here's a basic outline to illustrate the concept.

def chatbot_loop ():
  while True :
    user_query = input ( "Ask me a medical question (or type 'quit' to exit): " )
    if user_query . lower () == "quit" :
      break

    # Process user query (similar to text processing in knowledge base creation)
    processed_query = # (code to clean and process the user query)

    # Generate embedding for the user query
    query_embedding = embeddings . encode ( processed_query )

    # Retrieve similar text snippets from Pinecone using query embedding
    similar_results = retrieve_from_pinecone ( query_embedding )

    # Extract and present relevant information to the user
    if similar_results :
      for result in similar_results :
        print ( f"Relevant Information: { result [ 'text' ] } " )
    else :
      print ( "Sorry, I couldn't find any information related to your question." )

好處

• 改進的醫療信息訪問：用戶可以通過用戶友好的界面輕鬆地從PDF書籍訪問和了解醫療信息。
• 語義搜索： LLAMA2嵌入式允許更準確地檢索相關信息，即使用戶查詢與書中的實際文本不同。
• 可伸縮性： Pinecone可以隨著知識庫的增長提供有效的信息檢索。

進一步的考慮

• 醫療免責聲明：至關重要的是要明確指出該聊天機器人僅出於信息目的，不應用作專業醫療建議的替代品。用戶應始終諮詢醫療保健專業人員進行診斷和治療。
• 數據安全性：確保在處理和存儲醫療信息時實施適當的安全措施。
• 模型選擇：雖然Llama2是一種強大的模型，但要考慮從擁抱面孔中探索其他特定於醫學領域的模型，這些模型可能更適合PDF書中的特定醫療信息。
• 聊天機器人開發：開發強大的聊天機器人界面需要其他庫，例如RASA或對話流，以處理對話流和自然語言的理解。

該項目展示了Langchain和Pinecone在創建醫療聊天機器人方面的潛力，該聊天機器人提供了一種訪問和理解醫療信息的訪問和有效方法。請記住要適應和擴展此概念，以適應您的醫學PDF書籍和所需功能的特定需求。

安裝

要設置Langchain Pinecone Vector Store項目，請執行以下步驟：

1. 克隆存儲庫：

   git clone https://github.com/ < username > / < repository > .git
   cd < repository >

2. 安裝依賴項：

   pip install -r requirements.txt

3. 配置環境變量：

   在根目錄中創建.env文件並指定以下變量：

    PINECONE_API_KEY=<your_pinecone_api_key>
   PINECONE_ENV=<pinecone_environment>
   PINECONE_INDEX_NAME=<pinecone_index_name>
   

用法

要將向量存儲在Pinecone Vector數據庫中，請執行以下命令：

python store_vectors.py

貢獻

鼓勵和讚賞對Langchain Pinecone Vector Store項目的貢獻！如果您有增強功能，錯誤修復或新功能的想法，請提交拉動請求。請務必遵循存儲庫中概述的貢獻指南。

執照

該項目是根據MIT許可證的，允許不受限制的使用，分發和修改，但遵守許可協議中指定的條款和條件。