หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ฐานข้อมูลทางการแพทย์

โครงการนี้สร้าง ฐานความรู้ในการดึงการแพทย์ (RAG) โดยใช้ next.js , langchain และ pinecone เป็นฐานข้อมูลเวกเตอร์ ระบบประมวลผลเอกสารทางการแพทย์ (เช่นไฟล์ PDF) และจัดเก็บ embeddings ของพวกเขาในฐานข้อมูลเวกเตอร์ทำให้การค้นหาความคล้ายคลึงกันอย่างมีประสิทธิภาพเพื่อดึงข้อมูลที่เกี่ยวข้องเพื่อตอบคำถามผู้ใช้

สารบัญ

  • ภาพรวม
  • คุณสมบัติ
  • เทคโนโลยี
  • การตั้งค่าและการติดตั้ง
  • การกำหนดค่า
  • การใช้งาน
  • โครงสร้างโครงการ
  • การแก้ไขปัญหา

ภาพรวม

แอปพลิเคชันนี้ให้อินเทอร์เฟซที่ใช้งานง่ายสำหรับการอัปโหลดเอกสารทางการแพทย์เช่น PDFS แปลงเป็นชิ้นและจัดเก็บการฝังตัวในฐานข้อมูลเวกเตอร์ (Pinecone) ระบบใช้ Langchain สำหรับเอกสาร chunking และ กอดโมเดลการฝังของใบหน้า เพื่อสร้างการฝังตัว การฝังตัวเหล่านี้สามารถค้นหาได้อย่างมีประสิทธิภาพสำหรับการดึงข้อมูลที่เกี่ยวข้องจากฐานความรู้ทางการแพทย์

คุณสมบัติ

  • อัปโหลดและประมวลผลเอกสารทางการแพทย์ (PDF, ไฟล์ข้อความ)
  • ก้อนเอกสารขนาดใหญ่และสร้างการฝังเวกเตอร์โดยใช้ โมเดลที่ใช้ ONNX
  • จัดเก็บเอกสารฝังใน Pinecone เพื่อค้นหาความคล้ายคลึงกันอย่างมีประสิทธิภาพ
  • แถบความคืบหน้าสำหรับการติดตามกระบวนการฝัง
  • ขยายได้อย่างง่ายดายเพื่อรวมเอกสารทางการแพทย์มากขึ้นและปรับปรุงฐานความรู้

เทคโนโลยี

  • Next.js : สำหรับการสร้างเส้นทาง front-end และ API
  • LANGCHAIN : สำหรับการตีพิมพ์เอกสารและการฝัง
  • PINECONE : ฐานข้อมูลเวกเตอร์สำหรับการจัดเก็บเอกสารฝังข้อมูล
  • Hugging Face Transformers : เพื่อสร้าง embeddings โดยใช้โมเดลที่ผ่านการฝึกอบรมมาก่อน
  • TypeScript : เพื่อความปลอดภัยประเภท
  • Shadcn UI : สำหรับการสร้างส่วนประกอบ UI

การตั้งค่าและการติดตั้ง

1. โคลนที่เก็บ 

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2. ติดตั้งการพึ่งพา

ตรวจสอบให้แน่ใจว่าคุณติดตั้ง node.js (เวอร์ชัน 18 ขึ้นไป) จากนั้นติดตั้งแพ็คเกจที่ต้องการ: 

npm install

3. ตัวแปรสภาพแวดล้อม

สร้างไฟล์ .env ในรูทของโครงการและเพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้: 

PINECONE_API_KEY=your_pinecone_api_key

คุณสามารถรับคีย์ Pinecone API ของคุณได้โดยลงทะเบียนที่ Pinecone

4. ตั้งค่า pinecone

  • เข้าสู่ระบบ Pinecone และสร้างดัชนี
  • ใช้ 1024 เป็นมิติสำหรับการฝังและความคล้ายคลึงกัน ของโคไซน์ เป็นตัวชี้วัด

5. เรียกใช้แอปพลิเคชัน

หลังจากตั้งค่าให้เรียกใช้เซิร์ฟเวอร์การพัฒนา: 

npm run dev

แอปของคุณจะทำงานที่ http://localhost:3000

การกำหนดค่า

การกำหนดค่าต่อไปนี้เป็นสิ่งจำเป็นสำหรับแอพ:

  • ชื่อดัชนี PINECONE : ชื่อของดัชนีที่จัดเก็บเอกสารฝังไว้
  • เนมสเปซ : คุณสามารถจัดเก็บชุดเอกสารที่แตกต่างกันใน Pinecone ภายใต้เนมสเปซแยกต่างหาก

คุณสามารถระบุสิ่งเหล่านี้ใน UI ก่อนที่จะอัปโหลดไฟล์

การใช้งาน

1. อัปโหลดเอกสาร

  • เปิดแอพที่ http://localhost:3000
  • เลือกไฟล์ PDF หรือไฟล์ข้อความจากระบบท้องถิ่นของคุณ
  • ระบุ ชื่อดัชนี และ เนมสเปซ สำหรับการจัดเก็บ embeddings
  • คลิกปุ่ม อัปโหลด เพื่อเริ่มกระบวนการฝัง

แถบความคืบหน้าจะติดตามกระบวนการและการฝังตัวจะถูกส่งไปยังฐานข้อมูล Pinecone

2. ดูเวกเตอร์ที่เก็บไว้

เมื่อประมวลผลและเก็บไว้ใน embeddings คุณสามารถดูได้ในแผงควบคุม Pinecone ของคุณ

3. การค้นหา embeddings (คุณสมบัติในอนาคต)

คุณสามารถขยายแอพได้โดยการสร้างอินเทอร์เฟซการค้นหาเพื่อสอบถามการฝังตัวที่เก็บไว้และดึงข้อมูลที่เกี่ยวข้อง

โครงสร้างโครงการ 

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

การแก้ไขปัญหา

1. ดึงข้อผิดพลาด

หากคุณพบข้อผิดพลาด: 

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

ตรวจสอบให้แน่ใจว่าคุณใช้งาน Node.js เวอร์ชัน 18+ ซึ่งให้ฟังก์ชั่น fetch ทั่วโลก คุณสามารถอัปเดต node.js โดยใช้: 

nvm install 18
nvm use 18

2. คีย์ API ที่หายไป

หากเวกเตอร์ไม่ถูกส่งไปยัง Pinecone ให้ตรวจสอบให้แน่ใจว่าคีย์ API ของคุณได้รับการกำหนดค่าอย่างถูกต้องในไฟล์. .env

3. การประมวลผลไฟล์ขนาดใหญ่

สำหรับเอกสาร PDF ขนาดใหญ่กระบวนการฝังอาจต้องใช้เวลา ปล่อยให้มันทำงานจนกว่าแถบความคืบหน้าจะแสดงให้เสร็จสมบูรณ์

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด