GSOC project 24 medical

Projet de charges de travail de l'écosystème d'analyse Edge

Abstrait

L'informatique de bord est devenue extrêmement bénéfique pour l'exécution d'analyses au bord, réduisant ainsi la quantité de données envoyées aux serveurs et au stockage au cœur ou au cloud, ce qui augmente à son tour la latence. Le projet Analytics Edge Ecosystem Workloads vise à réaliser une stratégie de transformation numérique en se concentrant sur la conteneurisation native du cloud pour améliorer l'analyse commerciale.

Dans ce projet, les charges de travail AI / ML et Generative IA (Genai) seront développées pour relever les défis rencontrés dans l'industrie des soins de santé / médicale. Le développement de ce projet comprend le déploiement open source de charges de travail AI / ML et Genai ainsi que les déploiements sur Kubernetes à l'aide de Rancher par SUSE, avec OpenSuse Leap comme système d'exploitation de la couche de base. De plus, K3S sera utilisé comme un Kubernetes léger conçu pour le bord.

La mise en œuvre du projet impliquera plusieurs piles technologiques telles que les dataops pour gérer les pipelines de données, les MLOPS et les LLMops pour gérer les pipelines ML et LLM, ainsi que l'ingénierie des plates-formes et les ITOP pour gérer les plateformes.

Déclaration de problème

VERTICAL: MÉDICAL / SANTÉ

De nombreuses personnes sont confrontées à divers défis lorsqu'ils traitent de leurs médicaments sur ordonnance. Ces défis comprennent une terminologie médicale inconnue, des prescriptions mal interprétées, des instructions de dose et d'utilisation peu claires, des dates d'expiration manquées, des effets secondaires inattendus et des interactions médicamenteuses. Ces problèmes peuvent entraîner une surdosage, des accidents et même la mort.

Solution proposée

Ce projet vise à tirer parti de l'apprentissage automatique et d'une IA générative pour aider à relever certains des défis auxquels les patients et les médecins sont confrontés avec des prescriptions médicales. Cela impliquera les quatre fonctionnalités décrites ci-dessous:

1. Médecine Scanner: analyse les médicaments pour informer le médicament, le dosage, les effets secondaires et la date d'expiration.
2. Scanner de rapports médicaux: analyse et simplifie les rapports de test pour aider les patients à comprendre leurs rapports médicaux.
3. Scanner sur ordonnance: les analyses et interprètent les prescriptions manuscrites pour aider les patients, les pharmaciens et autres interprètent correctement les instructions d'un médecin.
4. Générateur d'ordonnance: permet aux médecins de générer plus rapidement et plus facilement des prescriptions précises et compréhensibles.

Explication détaillée

Extraction et transformation des données

• Sources de données: données médicales des référentiels UCIML, Kaggle et d'autres sources de confiance.
• Traitement des données: l'ingénierie des fonctionnalités et le nettoyage des données seront effectués après l'extraction.
• Stockage des données: les données seront converties en intégres et stockées dans une base de données vectorielle pour la génération (RAG) (RAG) de la récupération.

GÉNÉRATION AUGURATIVE (RAG)

• Utilisation du modèle: Tirez parti des modèles de grand langage open source (LLM) pour alimenter RAG.
• Modèle Fine-réglage: affinez le modèle du cas d'utilisation des médicaments.

Interface utilisateur et LLMOPS

• Interface utilisateur: créez une interface conviviale.
• Pipeline LLMOPS: Définissez un pipeline LLMOPS de bout en bout pour permettre une formation supplémentaire et un réglage fin.

Interface conviviale

Renseignez-vous sur vos médicaments

Ce projet comprend des piles technologiques Genai, Mlops et LLMOPS.

Comment configurer le projet

1. Clone le référentiel:

   git clone https://github.com/yourusername/analytics-edge-ecosystem.git
   cd analytics-edge-ecosystem
   

Définir les touches API

2. Définition de toutes les touches API requises

• Créer un fichier .env

 HUGGINGFACEHUB_API_TOKEN="API key"
PINECONE_API_KEY = "API key"
PINECONE_INDEX = "medcial-rag-chatbot"
GENAI_API_KEY = "Gemini key"
GROQ_API_KEY = "Lama3-7b"

Ajoutez vos clés API

Créer un environnement virtuel

3. Installez tous les packages requis

 pip install -r requirements.txt

Exécuter la commande

4. Exécuter app.py

 steamlit run app.py

Remerciements

• Merci à la communauté open source d'avoir fourni divers outils et cadres.
• Un merci spécial à UCIML, Kaggle et à d'autres sources de confiance pour fournir les ensembles de données.
• Gratitude à SUSE, OpenSuse Leap et Rancher pour leurs puissants outils permettant des déploiements de Kubernetes.

Travail futur

Le projet vise à améliorer et à élargir continuellement ses fonctionnalités. Les travaux futurs comprennent:

• Formation améliorée des modèles: améliorez en continu la précision et l'efficacité des modèles AI / ML.
• Intégration avec plus de sources de données: élargissez les sources de données pour inclure des données médicales plus complètes et diverses.
• Mécanisme de rétroaction des utilisateurs: implémentez un système de rétroaction pour que les utilisateurs puissent signaler les problèmes et suggérer des améliorations.
• Application mobile: développer une application mobile pour rendre la solution plus accessible aux patients et aux prestataires de soins de santé.

Sources de données

• Source de données médicales gouvernementales
• Advance Medical Data GOV Source -> Licencié requis
• Encyclopédie médicale
• Listes de journaux

[Mesures]

• Configuration initiale du projet
• Implémentation du scanner de médecine, du scanner de rapport médical, du scanner sur ordonnance et du générateur de prescription
• Déploiement sur Kubernetes en utilisant Rancher et K3S
• Développement de pipelines LLMOPS

[1.0.0] - Yyyy-mm-dd

• Libération initiale

Auteurs

• Aman Kumar - Travail initial

Soutien

Si vous avez besoin d'une assistance, veuillez ouvrir un problème sur le référentiel GitHub.

---

Ce fichier ReadMe fournit un aperçu complet du projet, y compris les instructions de configuration, les directives de contribution, les informations de licence, les remerciements, les travaux futurs, les références, les FAQ, le code de conduite, le modificateur et les détails du support. Assurez-vous de mettre à jour les espaces réservés avec des informations réelles et des liens spécifiques à votre projet.