AI Based Healthcare Monitoring System using IOT

ระบบตรวจสอบการดูแลสุขภาพ AI-baseed โดยใช้ IoT

ระบบตรวจสอบการดูแลสุขภาพที่เสนอโดยใช้ IoT และ NLP มีจุดมุ่งหมายเพื่อสร้างแพลตฟอร์มแบบบูรณาการซึ่งรวมถึงแถบอัจฉริยะแอปพลิเคชันมือถือและระบบตอบคำถามทั่วไปเพื่ออำนวยความสะดวกในการตรวจสอบการดูแลสุขภาพที่มีประสิทธิภาพและความช่วยเหลือทางการแพทย์สำหรับผู้ป่วยและแพทย์ Smart Band รวบรวมสัญญาณสำคัญและจัดเก็บไว้ในฐานข้อมูลสำหรับการเข้าถึงแบบเรียลไทม์โดยผู้ป่วยและผู้ให้บริการด้านการดูแลสุขภาพ รูปแบบการปรับแต่ง Biogpt-Pubmedqa-Prefix-tuning ดำเนินการเป็น chatbot ช่วยผู้ป่วยที่มีการสอบถามทางการแพทย์และให้ใบสั่งยาเบื้องต้น นอกจากนี้ Chatbot ยังทำหน้าที่เป็นผู้ช่วยแพทย์ช่วยเหลือแพทย์ในคำถามทางการแพทย์ในระหว่างการปรึกษาหารือผู้ป่วย แอปพลิเคชันมือถือ ทำหน้าที่เป็นอินเทอร์เฟซหลักสำหรับผู้ใช้ทั้งผู้ป่วยและแพทย์ มีพอร์ทัลแยกต่างหากสำหรับผู้ป่วยและแพทย์นำเสนอคุณสมบัติที่แตกต่างกันไปตามความต้องการของพวกเขา

ตรวจสอบการสาธิตการนำเสนอและเอกสารประกอบของเรา

การสาธิต	การนำเสนอ	เอกสาร

คะแนนโครงการสำเร็จการศึกษา: A+ [99: 100]

การมีส่วนร่วมของโครงการในการแข่งขัน

• Dell Technologies 'จินตนาการถึงการแข่งขันในอนาคต : เกิดขึ้นในฐานะรอบรองชนะเลิศจาก 283 ทีมโครงการระดับโลกใน Dell Technologies' จินตนาการถึงการแข่งขันในอนาคตที่จัดขึ้นในปี 2566
• ความท้าทายของอียิปต์ IoT & AI : เข้าร่วมกับโครงการสำเร็จการศึกษาซึ่งได้รับการสนับสนุนจากทรัพยากรการสนับสนุนทางการเงินและความช่วยเหลือด้านเทคนิค

ภาพรวมโครงการ

1. แอปพลิเคชันมือถือ

แอปพลิเคชันมือถือทำหน้าที่เป็นอินเทอร์เฟซหลักสำหรับผู้ใช้ทั้งผู้ป่วยและแพทย์ มันมีพอร์ทัลแยกต่างหากสำหรับผู้ป่วยและแพทย์นำเสนอคุณสมบัติที่แตกต่างกันไปตามความต้องการของพวกเขา

พอร์ทัลผู้ป่วย - คุณสมบัติ

• กำหนดการประชุม
  ผู้ป่วยสามารถกำหนดเวลาการนัดหมายและการประชุมกับแพทย์ตามความพร้อมของพวกเขา
• การประชุมกับแพทย์
  ผู้ป่วยสามารถเข้าถึงและเข้าร่วมการประชุมเสมือนจริงกับแพทย์ช่วยให้คำปรึกษาระยะไกล
• การติดตามอาการทุกวัน
  ผู้ป่วยสามารถบันทึกอาการประจำวันของพวกเขาและให้การปรับปรุงเกี่ยวกับสุขภาพของพวกเขา ข้อมูลนี้พร้อมกับสัญญาณชีพที่รวบรวมโดยสมาร์ทแบนด์ถูกเก็บไว้ในระบบสำหรับการอ้างอิงในอนาคต
• ประวัติทางการแพทย์
  พอร์ทัลผู้ป่วยรักษาประวัติทางการแพทย์ที่ครอบคลุมสำหรับผู้ป่วยแต่ละรายรวมถึงการวินิจฉัยก่อนหน้านี้การรักษาและยาที่กำหนด นอกจากนี้ยังรวมเอาสัญญาณชีพที่สำคัญของผู้ป่วยที่รวบรวมโดยวงดนตรีอัจฉริยะซึ่งอำนวยความสะดวกในมุมมองแบบองค์รวมของสุขภาพของผู้ป่วย
• chatbot ทางการแพทย์
  การตอบคำถามที่ปรับใช้ Generative ซึ่งให้ใบสั่งยาเริ่มต้นสำหรับโรคทั่วไป

Doctor Portal - คุณสมบัติ

• ประวัติทางการแพทย์ที่สมบูรณ์
  สำหรับผู้ป่วยแต่ละรายที่ได้รับมอบหมายประวัติทางการแพทย์ที่ครอบคลุมซึ่งจัดเก็บรวมถึงการวินิจฉัยก่อนหน้านี้การรักษาและยาที่กำหนด นอกจากนี้ยังรวมเอาสัญญาณชีพที่สำคัญของผู้ป่วยที่รวบรวมโดยวงดนตรีอัจฉริยะซึ่งอำนวยความสะดวกให้กับมุมมองแบบองค์รวมของสุขภาพของผู้ป่วย
• กำหนดการประชุม
  แพทย์สามารถจัดการตารางเวลาและความพร้อมสำหรับการนัดหมายและการประชุมกับผู้ป่วย
• การประชุมกับผู้ป่วย
  แพทย์สามารถทำการประชุมเสมือนจริงกับผู้ป่วยตรวจสอบประวัติทางการแพทย์และสัญญาณชีพที่รวบรวมโดยสมาร์ทแบนด์ สิ่งนี้ช่วยให้แพทย์ทำการตัดสินใจอย่างชาญฉลาดในระหว่างการปรึกษาหารือ
• เตือน
  ระบบแจ้งเตือนแพทย์ในกรณีที่มีอาการและอาการของผู้ป่วยร้ายแรงมากและต้องการการแทรกแซงทันทีเพื่อให้มั่นใจว่ามีความสนใจอย่างเร่งด่วนแก่ผู้ป่วย
• chatbot ทางการแพทย์
  เช่นเดียวกับพอร์ทัลผู้ป่วยพอร์ทัลแพทย์รวมถึง chatbot ทางการแพทย์เพื่อช่วยเหลือแพทย์ในการตอบคำถามทางการแพทย์ chatbot ทำหน้าที่เป็นผู้ช่วยอัจฉริยะโดยให้ข้อมูลและคำแนะนำที่เกี่ยวข้องตามการสืบค้นของแพทย์

รุ่น Biogpt Finetuned และการปรับใช้แอพมือถือ

API และโทเค็นที่ใช้ในแอพ

 API_URL = "https://api-inference.huggingface.co/models/Amira2045/BioGPT-Finetuned"
headers = {"Authorization": "Bearer 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"}

การเชื่อมต่อสมาร์ทแบนด์และแอพมือถือ

ไมโครคอนโทรลเลอร์ (Arduino Nano) ส่งสัญญาณชีพไปยังฐานข้อมูลของเราโดยใช้โมดูล Wi-Fi ESP8266 จากนั้นแอปพลิเคชันมือถือจะดึงข้อมูลจากฐานข้อมูล

เทคโนโลยีที่ใช้

• IDE: Android Studio
• ชวา
• mysql
• PHP
• XML
• Gson
• AppCompat
• ข้อ จำกัด
• ออกแบบ
• การนำทาง
• จูท
• นักวิ่ง
• เอสเพรสโซ่คอร์
• สิ่งมีชีวิต
• ViewModel
• Okhttp
• วอลเลย์

2. chatbot-Biogpt-Pubmedqa-Prefix-tuning

รูปแบบการปรับแต่ง Biogpt-Pubmedqa-Prefix-tuning ที่ใช้สำหรับการปรับแต่งคือ Biogpt รูปแบบภาษาขนาดใหญ่ (LLM) ที่ใช้ในโดเมนทางการแพทย์เป้าหมายของแบบจำลองที่ปรับแต่งคือการตอบคำถามทางการแพทย์ รูปแบบนี้ถูกปรับใช้เป็น chatbot ภายในแอปพลิเคชันมือถือช่วยให้ผู้ใช้สามารถถามคำถามที่เกี่ยวข้องกับสุขภาพและรับการตอบกลับที่ถูกต้อง chatbot ทำหน้าที่เป็นผู้ช่วยทางการแพทย์เสมือนจริงโดยให้ใบสั่งยาเบื้องต้นและชี้นำผู้ใช้ตามอาการและประวัติทางการแพทย์ของพวกเขา

การตั้งค่าการทดลอง

• ชุดข้อมูล: PubMedqa
• สถาปัตยกรรมแบบจำลอง: GPT-2 XL (หม้อแปลงที่ผ่านการฝึกอบรมมาแล้ว
• รูปแบบภาษาขนาดใหญ่ที่ได้รับการฝึกฝนมาก่อน (LLM): ชีวภาพขนาดใหญ่
• ปรับแต่ง: Soft Prompt ในการปรับแต่งคำนำหน้า
• Baselines: Biogpt ที่ผ่านการฝึกอบรมและ Biogpt ขนาดใหญ่โดยไม่ต้องปรับแต่ง
• ตัวชี้วัดการประเมินผล: การเปรียบเทียบ baslines

  	มีสารชีวภาพ	Biogpt-Pubmedqa-Prefix-tuning
  การสูญเสีย	12.37	9.20
  ความงุนงง	237016.3	1350.9

ชุดข้อมูล - PubMedqa

PubMedQa _ คำถามปิดโดเมนที่ได้รับจากบทคัดย่อ PubMed: ชุดข้อมูลมีคำถามเกี่ยวกับการวิจัยด้านชีวการแพทย์ที่ครอบคลุมหัวข้อชีวการแพทย์ที่หลากหลายรวมถึงโรคการรักษายีนโปรตีนและอื่น ๆ PubMedqa เป็นหนึ่งในชุดข้อมูล MultimedQa (มาตรฐานสำหรับการตอบคำถามทางการแพทย์) PubMedQa ประกอบด้วยผู้เชี่ยวชาญ 1K ที่มีป้ายกำกับ, 61.2K ไม่มีป้ายกำกับและ 211.3K ที่สร้างขึ้นอย่างมีค่าอินสแตนซ์ QA ที่มีคำตอบ Yes/No No/No/No-no/อาจจะตอบกลับและคำตอบยาว ๆ

รูปแบบที่ผ่านการฝึกอบรม - ชีวประวัติ

Biogpt ซึ่งประกาศโดย Microsoft สามารถนำมาใช้ในการวิเคราะห์การวิจัยทางชีวการแพทย์โดยมีจุดประสงค์ในการตอบคำถามทางชีวการแพทย์และสามารถเกี่ยวข้องโดยเฉพาะอย่างยิ่งในการช่วยให้นักวิจัยได้รับข้อมูลเชิงลึกใหม่

Biogpt เป็นรูปแบบภาษาแบบกำเนิดซึ่งได้รับการฝึกฝนเกี่ยวกับบทความวิจัยด้านชีวการแพทย์หลายล้านรายการที่ได้รับการตีพิมพ์แล้ว นี่หมายความว่าก๊าซชีวภาพสามารถใช้ข้อมูลนี้เพื่อทำงานอื่น ๆ เช่นการตอบคำถามการแยกข้อมูลที่เกี่ยวข้องและสร้างข้อความที่เกี่ยวข้องกับชีวการแพทย์

นักวิจัยใช้ GPT-2 XL เป็นแบบจำลองหลักและฝึกฝนกับบทคัดย่อ PubMed 15 ล้านตัวก่อนที่จะใช้ในโลกแห่งความเป็นจริง GPT-2 XL เป็นตัวถอดรหัสหม้อแปลงที่มี 48 ชั้น, 1600 ขนาดที่ซ่อนอยู่และ 25 หัวความสนใจส่งผลให้พารามิเตอร์ 1.5B ทั้งหมด

การปรับแต่งคำนำหน้าด้วย Peft และ Lora

การตั้งค่าการปรับแต่งอย่างละเอียด: เราทำ Soft Prompt ในเทคนิคการปรับแต่งคำนำหน้าในรุ่น Biogpt ขนาดใหญ่ 1.5B ความยาวโทเค็นเสมือนถูกตั้งค่าเป็น 10 ทำให้เราสามารถมุ่งเน้นไปที่บริบทเฉพาะภายในลำดับอินพุต ด้วยการแช่แข็งส่วนที่เหลือของโมเดลเราจึง จำกัด จำนวนพารามิเตอร์ที่สามารถฝึกอบรมได้ถึง 1.5 ล้าน ในระหว่างกระบวนการฝึกอบรมเราใช้ TPU VM V3-8 ที่มีขนาดแบทช์ 8 และ NUM_WARMUP_STEPS = 1,000 และ GRADIENT_ACCUMULION_STEPS = 4 และ Weight_Decay = 0.1 สิ่ง นี้ ทำให้เราสามารถดำเนินการขั้นตอนการฝึกอบรมได้มากกว่า 24 ขั้นตอนโดยแต่ละขั้นตอน Adam Optimizer ถูกใช้โดยใช้อัตราการเรียนรู้สูงสุด 1 × 10−5 เพื่อเพิ่มประสิทธิภาพการทำงานของโมเดลในช่วง 3 ยุค

การปรับใช้แบบจำลอง

โมเดล Biogpt Finetuned เป็นเจ้าภาพบน Hugging Face เราใช้ API ต่อไปนี้เพื่อปรับใช้โมเดลบนแอพมือถือของเรา

 API_URL = "https://api-inference.huggingface.co/models/Amira2045/BioGPT-Finetuned"
headers = {"Authorization": "Bearer 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"}

เทคโนโลยีที่ใช้

• งูหลาม
• pytorch
• Torch_xla
• savemoses
• หม้อแปลงไฟฟ้า
• คนอื่น ๆ
• Lora
• ชุดข้อมูล
• ระบบปฏิบัติการ
• แบบสุ่ม
• TQDM
• IDE: Kaggle Notebook
• HuggingFace Hub

3. Smart Band

แถบอัจฉริยะเป็นอุปกรณ์ไร้สายที่ติดตั้งเซ็นเซอร์เพื่อวัดสัญญาณชีพเช่นอุณหภูมิระดับออกซิเจนความดันโลหิตและอัตราการเต้นของหัวใจ การวัดเหล่านี้จะถูกส่งไปยังฐานข้อมูลส่วนกลางสำหรับการประมวลผลและการวิเคราะห์เพิ่มเติม แถบอัจฉริยะมีบทบาทสำคัญในการรวบรวมข้อมูลสุขภาพแบบเรียลไทม์ซึ่งเป็นสิ่งจำเป็นสำหรับการตรวจสอบและวินิจฉัยที่แม่นยำ

เทคโนโลยีที่ใช้

ฮาร์ดแวร์

• เซ็นเซอร์ Max30100
• เซ็นเซอร์ LM35
• เซ็นเซอร์ BMP180
• หน้าจอ TFT ST7789V
• Arduino Nano
• โมดูล Wi-Fi ESP8266

ซอฟต์แวร์

• Arduino ide
• โพรติส
• งูหลาม
• C
• หน้าจอสัมผัส
• lcdwiki_gui
• lcdwiki_kbv
• esp8266wifi
• mysql_connection
• mysql_cursor

การเชื่อมต่อกับแอพมือถือ

ไมโครคอนโทรลเลอร์ (Arduino Nano) ส่งสัญญาณชีพไปยังฐานข้อมูลของเราโดยใช้โมดูล Wi-Fi ESP8266 จากนั้นแอปพลิเคชันมือถือจะดึงข้อมูลจากฐานข้อมูล