สร้างแอพผ้าขี้ริ้วทางการแพทย์โดยใช้ biomistral, qdrant และ llama.cpp
นี่คือการใช้ RAG โดยใช้สแต็กโอเพนซอร์ส Biomistral 7B ถูกนำมาใช้ในการสร้างแอพนี้พร้อมกับ PubMedbert เป็นรูปแบบการฝัง QDDRANT เป็น DB เวกเตอร์โฮสต์ตัวเองและ Langchain & Llama CPP เป็นกรอบการประสาน
คำอธิบายและคุณสมบัติที่สำคัญ:
- สร้างแอพพลิเคชั่นการเพิ่มการดึงการแพทย์ที่ทันสมัย (RAG) โดยใช้ชุดเทคโนโลยีที่ทรงพลังที่เหมาะสำหรับโดเมนทางการแพทย์
- Biomistral 7B ซึ่งเป็นรูปแบบภาษาขนาดใหญ่ใหม่ที่ออกแบบมาโดยเฉพาะสำหรับแอปพลิเคชันทางการแพทย์ที่ให้ความแม่นยำและความเข้าใจที่ลึกซึ้งเกี่ยวกับการสืบค้นทางการแพทย์ที่ซับซ้อน
- Qdrant ฐานข้อมูลเวกเตอร์โฮสต์ที่เราทำงานภายในคอนเทนเนอร์ Docker เครื่องมือที่แข็งแกร่งนี้ทำหน้าที่เป็นกระดูกสันหลังสำหรับการจัดการและดึงข้อมูลเวกเตอร์ข้อมูลมิติสูงเช่นที่สร้างขึ้นโดยรูปแบบภาษาทางการแพทย์ของเรา
- เพื่อเพิ่มความเข้าใจในรูปแบบของเราเกี่ยวกับตำราทางการแพทย์ฉันใช้ PubMed Bert Embeddings รูปแบบการฝังตัวที่สร้างขึ้นโดยเฉพาะสำหรับโดเมนทางการแพทย์
- สิ่งนี้ทำให้มั่นใจได้ว่าแอปพลิเคชันของเราสามารถเข้าใจความแตกต่างของวรรณคดีทางการแพทย์และการสืบค้นให้คำตอบที่แม่นยำและเกี่ยวข้องมากขึ้น
- องค์ประกอบที่สำคัญของการตั้งค่าของเราคือ Llama.cpp ซึ่งเป็นห้องสมุดที่ช่วยให้การอนุมานของแบบจำลองภาษาขนาดใหญ่บนเครื่อง CPU วิธีการแบบจำลองเชิงปริมาณนี้ช่วยให้การปรับใช้ที่มีประสิทธิภาพและคุ้มค่าโดยไม่ลดทอนประสิทธิภาพ
- สำหรับการเตรียมส่วนประกอบแอปพลิเคชันของเราฉันแนะนำ Langchain กรอบการประสานที่รวมเครื่องมือและบริการของเราอย่างราบรื่นทำให้มั่นใจได้ว่าการทำงานและการปรับขนาดได้อย่างราบรื่น
- ในแบ็กเอนด์ฉันใช้ประโยชน์จาก Fastapi ซึ่งเป็นกรอบเว็บที่ทันสมัยและมีประสิทธิภาพสูง) สำหรับการสร้าง APIs ด้วย Python 3.7+ Fastapi ให้ความเร็วและความสะดวกในการใช้งานที่จำเป็นในการสร้างแบ็กเอนด์ที่ตอบสนองและมีประสิทธิภาพสำหรับแอปพลิเคชัน RAG ทางการแพทย์ของเรา
- ในที่สุดสำหรับ Web UI ฉันจ้าง Bootstrap 5.3 ซึ่งเป็นชุดเครื่องมือโอเพนซอร์ซรุ่นล่าสุดที่ได้รับความนิยมมากที่สุดในโลก สิ่งนี้ช่วยให้เราสามารถสร้างอินเทอร์เฟซผู้ใช้ที่ทันสมัยและตอบสนองต่อมือถือซึ่งทำให้แอปพลิเคชัน RAG ทางการแพทย์ของเราสามารถเข้าถึงได้และใช้งานง่าย
- เราตั้งค่าสภาพแวดล้อมเพื่อรวมเทคโนโลยีเหล่านี้เข้ากับแอปพลิเคชัน RAG ทางการแพทย์ที่มีความเหนียวและใช้งานได้
คู่มือผู้เชี่ยวชาญการดำเนินงาน:
การสาธิต
©️ใบอนุญาต?
แจกจ่ายภายใต้ใบอนุญาต MIT ดู LICENSE สำหรับข้อมูลเพิ่มเติม
ถ้าคุณชอบโครงการ LLM นี้จะลดลงไปที่ repo นี้
ติดตามฉันที่
