GSOC project 24 medical

Analytics Edge Ecosystem Workloads Project

Abstrak

Komputasi tepi menjadi sangat bermanfaat untuk menjalankan analitik di tepi, sehingga mengurangi jumlah data yang dikirim ke server dan penyimpanan di inti atau cloud, yang pada gilirannya meningkatkan latensi. Proyek Workloads Workloads Ekosistem Analytics Edge bertujuan untuk menghasilkan strategi transformasi digital dengan berfokus pada kontainerisasi cloud-asli untuk meningkatkan analitik bisnis.

Dalam proyek ini, beban kerja AI/mL dan AI (GenAI) generatif akan dikembangkan untuk mengatasi tantangan yang dihadapi dalam industri perawatan kesehatan/medis. Pengembangan proyek ini mencakup penyebaran beban kerja AI/mL dan Genai open-source serta penyebaran pada Kubernet menggunakan Rancher oleh SUSE, dengan OpenSuse Leap sebagai sistem operasi lapisan dasar. Selain itu, K3 akan digunakan sebagai kubernet ringan yang dirancang untuk tepi.

Implementasi proyek akan melibatkan beberapa tumpukan teknologi seperti dataOps untuk mengelola pipa data, MLOP, dan LLMOP untuk mengelola pipa ML dan LLM, serta rekayasa platform dan ITOPS untuk mengelola platform.

Pernyataan masalah

Vertikal: Medis/Perawatan Kesehatan

Banyak orang menghadapi berbagai tantangan ketika berhadapan dengan obat resep mereka. Tantangan -tantangan ini termasuk terminologi medis yang tidak dikenal, resep yang disalahartikan, dosis yang tidak jelas dan instruksi penggunaan, tanggal kedaluwarsa yang terlewatkan, efek samping yang tidak terduga, dan interaksi obat. Masalah -masalah ini dapat menyebabkan overdosis, kecelakaan, dan bahkan kematian.

Solusi yang diusulkan

Proyek ini bertujuan untuk memanfaatkan pembelajaran mesin dan AI generatif untuk membantu mengatasi beberapa tantangan yang dihadapi pasien dan dokter dengan resep medis. Ini akan melibatkan empat fitur yang diuraikan di bawah ini:

1. Pemindai Kedokteran: Memindai obat untuk menginformasikan tentang obat, dosis, efek samping, dan tanggal kedaluwarsa.
2. Pemindai Laporan Medis: Memindai dan menyederhanakan laporan tes untuk membantu pasien memahami laporan medis mereka.
3. Pemindai Resep: Memindai dan menafsirkan resep tulisan tangan untuk membantu pasien, apoteker, dan lainnya dengan benar menafsirkan instruksi dokter.
4. Generator Resep: Memungkinkan dokter untuk lebih cepat dan mudah menghasilkan resep yang akurat dan dapat dimengerti.

Penjelasan terperinci

Ekstraksi dan transformasi data

• Sumber Data: Data medis dari repositori UCIML, Kaggle, dan sumber tepercaya lainnya.
• Pemrosesan Data: Rekayasa fitur dan pembersihan data akan dilakukan setelah ekstraksi.
• Penyimpanan Data: Data akan dikonversi menjadi embeddings dan disimpan dalam database vektor untuk pengambilan-pengambilan generasi (RAG).

Retrieval-Agusted Generation (RAG)

• Pemanfaatan Model: Leverage Open-Source Besar Model Bahasa (LLM) untuk Power Rag.
• Model Fine-tuning: Fine-Tune Model untuk kasus penggunaan obat.

Antarmuka pengguna dan llmops

• Antarmuka Pengguna: Buat antarmuka yang ramah pengguna.
• LLMOPS Pipeline: Tentukan pipa LLMOPS ujung ke ujung untuk memungkinkan pelatihan dan penyempurnaan tambahan.

Antarmuka ramah pengguna

Tanyakan tentang obat -obatan Anda

Proyek ini mencakup tumpukan teknologi Genai, MLOPS, dan LLMOPS.

Cara mengatur proyek

1. Klon Repositori:

   git clone https://github.com/yourusername/analytics-edge-ecosystem.git
   cd analytics-edge-ecosystem
   

Atur tombol API

2. Pengaturan semua kunci API yang diperlukan

• Buat file .env

 HUGGINGFACEHUB_API_TOKEN="API key"
PINECONE_API_KEY = "API key"
PINECONE_INDEX = "medcial-rag-chatbot"
GENAI_API_KEY = "Gemini key"
GROQ_API_KEY = "Lama3-7b"

Tambahkan Kunci API Anda

Menciptakan lingkungan virtual

3. Pasang semua paket yang diperlukan

 pip install -r requirements.txt

Jalankan perintah

4. Jalankan app.py

 steamlit run app.py

Ucapan Terima Kasih

• Terima kasih kepada komunitas open-source untuk menyediakan berbagai alat dan kerangka kerja.
• Terima kasih khusus kepada UCIML, Kaggle, dan sumber tepercaya lainnya untuk menyediakan kumpulan data.
• Syukur kepada SUSE, OpenSUSE Leap, dan Rancher atas alat -alat kuat mereka yang memungkinkan penyebaran Kubernetes.

Pekerjaan di masa depan

Proyek ini bertujuan untuk terus meningkatkan dan memperluas fitur -fiturnya. Pekerjaan di masa depan meliputi:

• Pelatihan Model yang Ditingkatkan: terus meningkatkan akurasi dan efisiensi model AI/mL.
• Integrasi dengan lebih banyak sumber data: Perluas sumber data untuk memasukkan data medis yang lebih komprehensif dan beragam.
• Mekanisme Umpan Balik Pengguna: Menerapkan sistem umpan balik bagi pengguna untuk melaporkan masalah dan menyarankan perbaikan.
• Aplikasi Seluler: Kembangkan aplikasi seluler untuk membuat solusi lebih mudah diakses oleh pasien dan penyedia layanan kesehatan.

Sumber Data

• Sumber Data Medis Pemerintah
• Sumber Data Medis Medis -> Diperlukan Lisensi
• Ensiklopedia Medis
• Daftar Jurnal

[Tangga]

• Pengaturan Proyek Awal
• Implementasi Pemindai Kedokteran, Pemindai Laporan Medis, Pemindai Resep, dan Generator Resep
• Penempatan pada Kubernet menggunakan Rancher dan K3S
• Pengembangan pipa llmops

[1.0.0]-yyyy-mm-dd

• Rilis awal

Penulis

• Aman Kumar - Pekerjaan Awal

Mendukung

Jika Anda memerlukan dukungan, buka masalah di repositori GitHub.

---

File ReadMe ini memberikan tinjauan komprehensif tentang proyek, termasuk instruksi pengaturan, pedoman kontribusi, informasi lisensi, ucapan terima kasih, pekerjaan di masa depan, referensi, FAQ, kode perilaku, changelog, dan detail dukungan. Pastikan untuk memperbarui placeholder dengan informasi aktual dan tautan khusus untuk proyek Anda.