Generative AI Pharmacist

Pharmacien générateur AI

Vous présentant, Macy le pharmacien AI !

Soucieux de mettre les derniers outils d'IA génératifs à l'épreuve, j'ai créé cet avatar animé capable de fournir des conseils de médicaments d'une manière réaliste et professionnelle.

️ Avertissement: Cette vidéo est uniquement à des fins de démonstration dans le cadre d'un projet de passe-temps personnel et n'est pas destiné à fournir une forme de conseil médical. Ce n'est pas un vrai produit, et les vues exprimées sont les miennes.

Cliquez sur la vignette ci-dessous (ou visitez ce lien) pour regarder la vidéo de démonstration pour voir Macy en action, où elle parle brièvement de deux médicaments couramment prescrits.

Le résultat est assez impressionnant et ne fera que s'améliorer avec le temps, étant donné la vitesse à laquelle l'IA génératrice s'améliore. Pour créer cette démo, il m'a fallu 0 dollars et seulement 25 minutes.

Voici les outils que j'ai utilisés:

1. MidJourney pour générer une image d'une pharmacienne
2. Openai Chatgpt pour générer un script pour des conseils sur les médicaments
3. ElevenLabs Prime Video IA pour générer l'audio à partir du script Chatgpt
4. D-ID Creative Reality Studio pour générer une vidéo d'avatar animée réaliste synchronisée avec l'audio (essai gratuit)

Ce projet a également été fièrement présenté dans une étude de recherche (vidéos d'informations sur les patients générées par l'intelligence artificielle pour la néphrectomie partielle par les étudiants en médecine avec validation experte: une étude pilote) publiée dans JU Open Plus (The Official Journal of the American Urological Association): https://journals.lww.com/juop/fulltext/2024/07000/artificial_intelligence_generated_patient.1.aspx

---

Guide étape par étape

(1) MidJourney - Génération d'images

• Nous avons besoin d'un visage pour représenter notre avatar, et nous pouvons utiliser des outils de génération d'images comme MidJourney pour faire exactement cela

• MidJourney est un service d'IA gratuit d'OpenAI qui crée des images à partir de descriptions textuelles

• Installation:

  1. MidJourney fonctionne entièrement sur Discord, alors assurez-vous de vous inscrire à un compte Discord (qui est gratuit).
  2. Visitez ce lien du site MidJourney, qui vous emmène automatiquement à une invitation Discord.
  3. Acceptez l'invitation Discord à MidJourney. Choisissez de continuer à Discord.
  4. Cliquez sur le bouton MidJourney (avec l'icône du navire) et sélectionnez l'une des nouvelles salles, par exemple, newbies-24
  
  5. Dans la ligne de chat, tapez /imagine suivi de votre invite de description. Par exemple, l'invite que j'ai utilisée était "une photo professionnelle du haut du corps de haute qualité d'un pharmacien chinois dans une blouse de laboratoire blanche avec un fond de pharmacie". Appuyez sur Entrée après l'avoir tapé et donnez à MidJourney un peu de temps pour générer les images.
  
  6. Une fois terminé, vous verrez une sortie de quatre images. En dessous de l'ensemble d'images, vous verrez un ensemble de boutons U1-U4 et V1-V4.
  
  7. Les quatre images sont numérotées dans le sens des aiguilles d'une montre depuis le haut à gauche. Pour obtenir une nouvelle variation d'une image particulière que vous aimez, sélectionnez "V1" (ou V2, V3 ou V4), et pour obtenir une copie haute résolution, sélectionnez "U1" (ou U2, U3 ou U4)
  8. Une fois que vous avez votre variante haute résolution sélectionnée en cliquant sur l'un des boutons U, cliquez sur l'image, puis cliquez sur le lien «Ouvrir dans le navigateur» près du bas. Vous pouvez ensuite cliquer avec le bouton droit et enregistrer l'image haute résolution dans votre ordinateur.
  

J'ai également essayé d'autres outils comme Dall-E et une diffusion stable, mais leurs résultats n'étaient pas assez réalistes (par exemple, les yeux mal alignés et les caractéristiques faciales).

Remarque : MidJourney a interrompu son programme d'essai gratuit en avril 2023. Pour générer des images faciales réalistes, vous pouvez utiliser l'une des éléments suivants:

• Trouvez une image sur Internet comme image de base avec laquelle travailler, ou même utiliser vos propres photos
• Dirigez-vous vers https://this-serson-does-not-exist.com/en (basé sur l'algorithme Stylegan) pour générer un visage réaliste
• D'autres sites Web que vous pouvez essayer comprennent: https://lexica.art et https://playgroundai.com/

(2) Chatgpt - Génération de texte

• Nous avons besoin d'un script de conseil qui peut donner des conseils pertinents sur un ensemble de médicaments. Pour ce faire, nous pouvons utiliser Chatgpt.

• Chatgpt est un chatbot développé par Openai et lancé en novembre 2022. Il est construit au-dessus de la famille GPT-3 d'Openai de modèles de grande langue.

• Installation:

  1. Visitez ce lien pour accéder à Chatgpt (vous devrez vous inscrire et vous connecter en conséquence, ce qui est gratuit)
  2. Dans la section invite, entrez la description pertinente du script de conseil. Par exemple, l'invite que j'ai utilisée est la suivante: "Créez un script qui se présente d'abord en tant que pharmacien appelé Macy, puis parle du conseil à un patient pour la prescription suivante: Metformine 1 Tablet 3 fois par jour, comprimé Amlodipine 1 tous les matins et aspirine 1 tablette chaque matin".
  
  3. À partir de la sortie sur l'écran ChatGPT, copiez et enregistrez le texte généré dans un fichier texte sur votre machine locale.

J'ai dû régénérer la réponse plusieurs fois parce que j'ai trouvé que certaines des résultats étaient trop théoriques et académiques, et n'est pas dans le format profane attendu pour expliquer les médicaments aux patients.

(3) Elevenlabs - Génération de texte à dispection

• Ensuite, nous voulons convertir le texte du script Chatgpt en un clip audio naturel. Nous pouvons le faire avec des outils gratuits comme Prime Voice AI (par ElevenLabs)

• Prime Voice AI est un logiciel de discours d'IA réaliste et polyvalent qui apporte les voix les plus convaincantes, les plus riches et les plus réalistes aux créateurs et aux éditeurs qui recherchent les outils ultimes pour la narration.

• Installation:

  1. Visitez la page ElevenLabs et créez un compte gratuitement.
  2. Sur la page de synthèse de la parole, sélectionnez une voix spécifique dans les paramètres, collez le script texte dans la section texte et cliquez sur Générer. La voix que j'ai choisie était premade/Domi car je l'ai trouvé la plus vivante et la plus naturelle. Les paramètres peuvent également être ajustés en conséquence pour des choses comme la stabilité et la clarté.
  

  J'ai légèrement raccourci le script en supprimant la section sur l'amlodipine médicamenteuse parce que je ne voulais pas que la démo soit trop longue.

  3. Il y a une limite de crédit pour le compte gratuit, alors assurez-vous de les utiliser judicieusement pour l'audio que vous souhaitez générer.

  4. Téléchargez et enregistrez le fichier .mp3 (intitulé 'synthétisé_audio.mp3') sur votre machine locale.

Conseil bonus: ElevenLabs est également livré avec les capacités de clonage vocale (sous la fonction de laboratoire vocale): https://beta.elevenlabs.io/voice-lab. Si vous avez> 1 min d'enregistrement d'une voix particulière, vous pouvez convertir le script en la voix que vous souhaitez clone.

(4) D-ID - génération d'avatar parlant photoréaliste (et synchronisation audio)

• Enfin, il est temps de reconstituer l'image du pharmacien et de conseiller l'audio dans une vidéo photoréaliste. Pour ce faire, nous pouvons utiliser des outils comme D-ID.

• La technologie créative de l'ID de D-ID prend des images de visages et les transforme en vidéos photoréalistes de haute qualité. Au clic sur un bouton, il peut combiner des images avec l'audio ou le texte pour leur donner l'expression et la parole.

• Installation:

  1. Visitez le site Web D-ID et créez un compte d'essai gratuit
  2. Sélectionnez le bouton Créer une vidéo pour commencer à créer une nouvelle vidéo
  3. Ajoutez votre image de pharmacien MidJourney comme image de présentateur
  4. Téléchargez notre audio scripté ChatGPT dans la section Upload your own voice à droite.
  
  5. Cliquez sur le bouton Generate Video en haut à droite et attendez que votre chef-d'œuvre soit prêt à télécharger!

---