Generative AI Pharmacist

Farmacéutico de IA generativo

¡Presentándote, Macy el farmacéutico AI !

Deseoso de poner a prueba las últimas herramientas generativas de IA, creé este avatar animado capaz de entregar asesoramiento de medicamentos de una manera realista y profesional.

️ Descargo de responsabilidad: este video es puramente para fines de demostración como parte de un proyecto de pasatiempo personal y no tiene la intención de proporcionar ninguna forma de asesoramiento médico. Este no es un producto real, y las opiniones expresadas son mías.

Haga clic en la miniatura a continuación (o visite este enlace) para ver el video de demostración para ver a Macy en acción, donde habla brevemente de dos medicamentos comúnmente prescritos.

El resultado es bastante impresionante y solo mejorará con el tiempo, dada la velocidad a la que está mejorando la IA generativa. Para crear esta demostración, me tomó 0 dólares y solo 25 minutos.

Aquí están las herramientas que utilicé:

1. Midjourney para generar una imagen de una farmacéutica
2. Chatgpt de OpenAI para generar guiones para el asesoramiento de medicamentos
3. Elevenlabs 's Prime Video AI para generar audio desde el script de chatgpt
4. Creative Reality Studio de D-ID para generar video de avatar animado realista sincronizado con audio (prueba gratuita)

Este proyecto también ha aparecido con orgullo en un estudio de investigación (videos de información del paciente generado por inteligencia artificial para la nefrectomía parcial por parte de estudiantes de medicina con validación de expertos: un estudio piloto) publicado en JU Open Plus (la revista oficial de la Asociación Americana de Urología): https://journals.lww.com/JUOP/FULLTEXT/2024/07000/ArtiLigence_Generated

---

Guía paso a paso

(1) Midjourney - Generación de imágenes

• Necesitamos una cara para representar a nuestro avatar, y podemos usar herramientas de generación de imágenes como MidJourney para hacer exactamente eso

• MidJourney es un servicio de IA gratuito de OpenAI que crea imágenes de descripciones textuales

• Configuración:

  1. MidJourney funciona completamente en Discord, así que asegúrese de registrarse en una cuenta de Discord (que es gratuita).
  2. Visite este enlace del sitio de MidJourney, que lo lleva automáticamente a una invitación de Discord.
  3. Acepte la invitación de Discord a MidJourney. Elija continuar discordamente.
  4. Haga clic en el botón MidJourney (con el icono del barco) y seleccione cualquiera de las habitaciones de los recién llegados, por ejemplo, newbies-24
  
  5. En la línea de chat, escriba /imagine seguido de su mensaje de descripción. Por ejemplo, el aviso que utilicé fue "foto profesional de alta calidad de la parte superior del cuerpo de una farmacéutica china en una bata de laboratorio blanco con fondo de farmacia". Presione ENTER después de escribirlo y dale a Midjourney algo de tiempo para generar las imágenes.
  
  6. Una vez hecho esto, verá una salida de cuatro imágenes. Debajo del conjunto de imágenes, verá un conjunto de botones U1-U4 y V1-V4.
  
  7. Las cuatro imágenes están numeradas en sentido horario desde la esquina superior izquierda. Para obtener una nueva variación de una imagen en particular que desee, seleccione "V1" (o V2, V3 o V4), y para obtener una copia de alta resolución, seleccione "U1" (o U2, U3 o U4)
  8. Una vez que tenga su variante seleccionada de alta resolución haciendo clic en uno de los botones U, haga clic en la imagen y luego haga clic en el enlace 'Abrir en el navegador' cerca de la parte inferior. Luego puede hacer clic derecho y guardar la imagen de alta resolución en su computadora.
  

También probé otras herramientas como Dall-E y la difusión estable, pero sus resultados no fueron lo suficientemente realistas (por ejemplo, ojos desalineados y características faciales).

Nota : MidJourney ha detenido su programa de prueba gratuito a partir de abril de 2023. Para generar imágenes faciales realistas, puede usar cualquiera de los siguientes:

• Encuentre una imagen en Internet como la imagen base para trabajar, o incluso use sus propias fotos
• Dirígete a https://this-person-does-not-exist.com/en (basado en el algoritmo de Stylegan) para generar una cara realista
• Otros sitios web que puede probar incluyen: https://lexica.art y https://playgroundai.com/

(2) CHATGPT - Generación de texto

• Necesitamos un guión de asesoramiento que pueda dar consejos relevantes sobre un conjunto de medicamentos. Para hacer eso, podemos usar chatgpt.

• ChatGPT es un chatbot desarrollado por OpenAI y se lanzó en noviembre de 2022. Está construido sobre la familia GPT-3 de modelos de idiomas grandes de Openai.

• Configuración:

  1. Visite este enlace para acceder a chatgpt (deberá registrarse e iniciar sesión en consecuencia, lo cual es gratuito)
  2. En la sección de solicitud, ingrese la descripción relevante para el script de asesoramiento. Por ejemplo, el aviso que utilicé es el siguiente: "Cree un script que primero se presente como farmacéutico llamado Macy, y luego habla sobre los puntos de asesoramiento a un paciente para la siguiente prescripción: Metformin 1 Tablet 3 veces al día, tableta de amlodipino 1 cada mañana, y aspirina 1 tableta cada mañana".
  
  3. Desde la salida de la pantalla ChatGPT, copie y guarde el texto generado en un archivo de texto en su máquina local.

Tuve que regenerar la respuesta varias veces porque encontré que parte del resultado era demasiado teórico y académico, y no está en el formato de laico esperado para explicar los medicamentos a los pacientes.

(3) ElevenLabs-Generación de texto a voz

• A continuación, queremos convertir el texto del script ChatGPT en un clip de audio de sonido natural. Podemos hacerlo con herramientas gratuitas como Prime Voice Ai (de Elevenlabs)

• Prime Voice AI es un software de habla AI realista y versátil que brinda las voces más convincentes, ricas y realistas a los creadores y editores que buscan las herramientas finales para la narración de historias.

• Configuración:

  1. Visite la página ElevenLabs y cree una cuenta gratis.
  2. En la página de síntesis de discurso, seleccione una voz específica en la configuración, pegue el script de texto en la sección de texto y haga clic en Generar. La voz que elegí fue premade/Domi ya que me pareció la más animada y natural. La configuración también se puede ajustar en consecuencia para cosas como la estabilidad y la claridad.
  

  Acorté el guión ligeramente quitando la sección sobre la droga de amlodipino porque no quería que la demostración fuera demasiado larga.

  3. Hay un límite de crédito para la cuenta gratuita, así que asegúrese de usarlos sabiamente para el audio que desea generar.

  4. Descargue y guarde el archivo .mp3 (titulado 'Synthesized_audio.mp3') en su máquina local.

Consejo adicional: Elevenlabs también viene con las capacidades de clonación de voz (debajo de la función de laboratorio de voz): https://beta.elevenlabs.io/voice-lab. Si tiene una grabación> 1 min de una voz en particular, puede convertir el script en la voz que desea clonar.

(4) D -ID - Generación de Avatar de Talking PhotoreRealistic (y sincronización de audio)

• Por último, es hora de reunir la imagen farmacéutica y aconsejar audio en un video fotorrealista. Para hacerlo, podemos usar herramientas como D-ID.

• La tecnología AI creativa de D-ID toma imágenes de caras y las convierte en videos fotorrealistas de alta calidad. Con un clic de un botón, puede combinar imágenes con audio o texto para darles expresión y discurso.

• Configuración:

  1. Visite el sitio web de D-ID y cree una cuenta de prueba gratuita
  2. Seleccione el botón Crear video para comenzar a crear un nuevo video
  3. Agregue su imagen farmacéutica de Midjourney como imagen presentadora
  4. Sube nuestro audio con guión de chatgpt en la sección Upload your own voice a la derecha.
  
  5. ¡Haga clic en el botón Generate Video en la parte superior derecha y espere a que su obra maestra esté lista para descargar!

---