Medical_ChatBot

Chatbot Medis dengan Langchain dan Pinecone

Proyek ini membangun chatbot medis yang mengambil informasi dari buku PDF medis dan menggunakan langchain untuk diproses dan pinecone untuk pengambilan informasi yang efisien.

Fitur

• Basis Pengetahuan Medis: Mengekstrak dan mengatur informasi medis dari buku PDF.
• Integrasi Langchain: Menggunakan pustaka Langchain untuk memproses pertanyaan pengguna dan mencocokkannya dengan informasi yang relevan dari basis pengetahuan.
  • Secara khusus, kemampuan pemrosesan teks Langchain akan dimanfaatkan untuk membersihkan dan menyiapkan teks medis untuk analisis lebih lanjut.
• Llama2 Embeddings: Mempekerjakan model LLAMA2 yang kuat dari memeluk wajah untuk menghasilkan embeddings kontekstual untuk pertanyaan pengguna dan cuplikan teks medis. Ini memungkinkan pencocokan semantik dan pengambilan informasi yang relevan bahkan ketika diutarakan secara berbeda.
• Pinecone Vector Database: Menyimpan embeddings yang dihasilkan dalam database vektor Pinecone untuk pengambilan yang efisien. Ini memungkinkan pencarian yang cepat dan dapat diskalakan dari basis pengetahuan medis.
• Antarmuka Chatbot: Menyediakan antarmuka yang ramah pengguna (berbasis teks atau berpotensi berbasis suara) bagi pengguna untuk berinteraksi dengan chatbot dan mengajukan pertanyaan medis.
• Desain HTML dan CSS: Antarmuka obrolan dirancang menggunakan HTML dan ditata menggunakan CSS untuk memberikan pengalaman pengguna yang intuitif dan menarik secara visual.
• Flask Backend: Backend aplikasi dibangun menggunakan Flask, kerangka kerja web yang ringan untuk Python, untuk menangani permintaan pengguna dan berinteraksi dengan chatbot.
• Pesan waktu nyata: Pengguna dapat berkomunikasi dengan chatbot secara real-time, menerima tanggapan instan terhadap pertanyaan mereka.

Tumpukan Teknis

• Langchain: Perpustakaan Python untuk alur kerja Natural Language Processing (NLP), menawarkan modul untuk pemrosesan teks, pembuatan embedding, dan pengambilan informasi.
• Memeluk Face Transformers: Menyediakan akses ke model NLP pra-terlatih seperti LLAMA2 untuk menghasilkan embeddings kontekstual.
• Pinecone: Layanan basis data vektor yang memungkinkan penyimpanan dan pengambilan data dimensi tinggi seperti embeddings.
• Perpustakaan tambahan: Bergantung pada antarmuka yang dipilih (berbasis teks atau berbasis suara), perpustakaan tambahan seperti NLTK atau Spacy dapat digunakan untuk pemrosesan teks lebih lanjut dan fungsionalitas chatbot.
• Flask: Kerangka kerja web yang ringan untuk Python yang digunakan untuk mengembangkan antarmuka chatbot dan menangani permintaan pengguna.

Alur kerja

1. Penciptaan basis pengetahuan:

 from langchain_community . embeddings import HuggingFaceEmbeddings
from langchain_community . document_loaders import PyPDFLoader
from langchain . text_splitter import RecursiveCharacterTextSplitter

def create_knowledge_base ( pdf_path ):
  # Load PDF text
  loader = PyPDFLoader ( pdf_path , glob = "*.pdf" )
  text_data = loader . load ()

  # Text processing and chunking
  text_splitter = RecursiveCharacterTextSplitter ( chunk_size = 500 , chunk_overlap = 20 )
  text_chunks = text_splitter . split_documents ( text_data )

  # Download Llama2 embeddings (or your chosen model)
  embeddings = HuggingFaceEmbeddings ( model_name = "sentence-transformers/all-MiniLM-L6-v2" )

  # Generate embeddings for each text chunk
  # ... (code to generate embeddings for each chunk using embeddings object)

  # Store text chunks and embeddings in a data structure (e.g., list of dictionaries)
  knowledge_base = []
  for i , chunk in enumerate ( text_chunks ):
    chunk_embedding = embeddings . encode ( chunk )  # Generate embedding for the chunk
    knowledge_base . append ({
      "text" : chunk ,
      "embedding" : chunk_embedding
    })
  return knowledge_base

2. Integrasi Pinecone:

 from langchain_pinecone import PineconeVectorStore
from pinecone . data . index import Index
from dotenv import load_dotenv
import os

def store_knowledge_base_in_pinecone ( knowledge_base ):
  load_dotenv ()
  PINECONE_API_KEY = os . getenv ( "PINECONE_API_KEY" )
  PINECONE_ENV = os . getenv ( "PINECONE_ENV" )
  PINECONE_INDEX_NAME = os . getenv ( "PINECONE_INDEX_NAME" )

  # Connect to Pinecone
  pc = pinecone . Pinecone ( api_key = PINECONE_API_KEY , environment = PINECONE_ENV )
  index = pc . Index ( PINECONE_INDEX_NAME )

  # Extract text and embeddings from knowledge base
  text_data = [ kb [ "text" ] for kb in knowledge_base ]
  embeddings = [ kb [ "embedding" ] for kb in knowledge_base ]

  # Store embeddings in Pinecone
  PineconeVectorStore . from_documents ( text_data , embeddings , index_name = PINECONE_INDEX_NAME )

  print ( f"Knowledge base stored in Pinecone index: { PINECONE_INDEX_NAME } " )

3. Antarmuka chatbot (placeholder):

 # This section is a placeholder as the full chatbot development requires additional libraries
# like Rasa or Dialogflow. Here's a basic outline to illustrate the concept.

def chatbot_loop ():
  while True :
    user_query = input ( "Ask me a medical question (or type 'quit' to exit): " )
    if user_query . lower () == "quit" :
      break

    # Process user query (similar to text processing in knowledge base creation)
    processed_query = # (code to clean and process the user query)

    # Generate embedding for the user query
    query_embedding = embeddings . encode ( processed_query )

    # Retrieve similar text snippets from Pinecone using query embedding
    similar_results = retrieve_from_pinecone ( query_embedding )

    # Extract and present relevant information to the user
    if similar_results :
      for result in similar_results :
        print ( f"Relevant Information: { result [ 'text' ] } " )
    else :
      print ( "Sorry, I couldn't find any information related to your question." )

Manfaat

• Akses informasi medis yang ditingkatkan: Pengguna dapat dengan mudah mengakses dan memahami informasi medis dari buku PDF melalui antarmuka yang ramah pengguna.
• Pencarian Semantik: Llama2 Embeddings memungkinkan pengambilan informasi yang relevan lebih akurat bahkan ketika pertanyaan pengguna diutarakan secara berbeda dari teks aktual dalam buku ini.
• Skalabilitas: Pinecone memungkinkan pengambilan informasi yang efisien saat basis pengetahuan tumbuh.

Pertimbangan lebih lanjut

• Penafian Medis: Sangat penting untuk menyatakan dengan jelas bahwa chatbot ini hanya untuk tujuan informasi dan tidak boleh digunakan sebagai pengganti nasihat medis profesional. Pengguna harus selalu berkonsultasi dengan profesional kesehatan untuk diagnosis dan perawatan.
• Keamanan Data: Pastikan langkah -langkah keamanan yang tepat diimplementasikan saat menangani dan menyimpan informasi medis.
• Pemilihan Model: Sementara LLAMA2 adalah model yang kuat, pertimbangkan untuk menjelajahi model khusus domain medis lainnya dari memeluk wajah yang mungkin lebih cocok untuk informasi medis spesifik dalam buku PDF.
• Pengembangan Chatbot: Mengembangkan antarmuka chatbot yang kuat memerlukan perpustakaan tambahan seperti Rasa atau dialogflow untuk menangani aliran percakapan dan pemahaman bahasa alami.

Proyek ini menampilkan potensi langchain dan pinecone dalam membuat chatbot medis yang menawarkan cara yang mudah diakses dan efisien untuk mengakses dan memahami informasi medis. Ingatlah untuk beradaptasi dan memperluas konsep ini agar sesuai dengan kebutuhan spesifik buku PDF medis Anda dan fungsionalitas yang diinginkan.

Instalasi

Untuk mengatur proyek toko Vektor Pinecone Langchain, ikuti langkah -langkah ini:

1. Klon Repositori:

   git clone https://github.com/ < username > / < repository > .git
   cd < repository >

2. Instal dependensi:

   pip install -r requirements.txt

3. Konfigurasikan variabel lingkungan:

   Buat file .env di direktori root dan tentukan variabel berikut:

    PINECONE_API_KEY=<your_pinecone_api_key>
   PINECONE_ENV=<pinecone_environment>
   PINECONE_INDEX_NAME=<pinecone_index_name>
   

Penggunaan

Untuk menyimpan vektor di database Pinecone Vector, jalankan perintah berikut:

python store_vectors.py

Berkontribusi

Kontribusi untuk Proyek Toko Vektor Pinecone Langchain didorong dan dihargai! Jika Anda memiliki ide untuk peningkatan, perbaikan bug, atau fitur baru, silakan kirim permintaan tarik. Pastikan untuk mengikuti pedoman kontribusi yang diuraikan dalam repositori.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT, yang memungkinkan penggunaan, distribusi, dan modifikasi yang tidak dibatasi, tunduk pada syarat dan ketentuan yang ditentukan dalam perjanjian lisensi.