Generative AI Pharmacist

Farmacêutico AI generativo

Apresentando a você, Macy, o farmacêutico da IA !

Desenhado em fazer as mais recentes ferramentas generativas de IA à prova, criei esse avatar animado capaz de fornecer aconselhamento de medicamentos de maneira realista e com som profissional.

️ Isenção de responsabilidade: Este vídeo é puramente para fins de demonstração como parte de um projeto de hobby pessoal e não se destina a fornecer nenhuma forma de aconselhamento médico. Este não é um produto real, e as visões expressas são minhas.

Clique na miniatura abaixo (ou visite este link) para assistir ao vídeo de demonstração para ver Macy em ação, onde ela fala brevemente sobre dois medicamentos comumente prescritos.

O resultado é bastante impressionante e só vai melhorar com o tempo, dada a velocidade com que a IA generativa está melhorando. Para criar essa demonstração, levei 0 dólares e apenas 25 minutos.

Aqui estão as ferramentas que usei:

1. Midjourney para gerar uma imagem de uma farmacêutica feminina
2. O Chatgpt da OpenAI para gerar script para aconselhamento de medicamentos
3. O vídeo principal da Elevenlabs para gerar áudio a partir do script chatgpt
4. O Creative Reality Studio do D-ID para gerar vídeo de avatar animado realista sincronizado com áudio (teste gratuito)

Este projeto também foi apresentado orgulhosamente em um estudo de pesquisa (Vídeos de Informações sobre Pacientes Geradas por Inteligência Artificial para nefrectomia parcial por estudantes de medicina com validação de especialistas: um estudo piloto) publicado no Ju Open Plus (The Official Journal of the American Urological Association): https://journals.lww.com/juop/fulltext/2024/07000/artificial_intelligence_generated_patient.1.aspx

---

Guia passo a passo

(1) Midjourney - geração de imagens

• Precisamos de um rosto para representar nosso avatar, e podemos usar ferramentas de geração de imagens como o Midjourney para fazer exatamente isso

• Midjourney é um serviço de IA gratuito do OpenAI que cria imagens de descrições textuais

• Configurar:

  1. O Midjourney trabalha inteiramente na Discord, portanto, não se esqueça de se inscrever em uma conta Discord (que é gratuita).
  2. Visite este link do site Midjourney, que o leva automaticamente a um convite da discórdia.
  3. Aceite o convite de discórdia para Midjourney. Escolha continuar a discórdia.
  4. Clique no botão Midjourney (com o ícone do navio) e selecione qualquer um dos quartos recém-cheios, por exemplo, newbies-24
  
  5. Na linha de bate -papo, digite /imagine seguido pelo seu prompt de descrição. Por exemplo, o prompt que eu usei foi "foto profissional de alta qualidade do corpo de uma farmacêutica chinesa em um casaco de laboratório branco com fundo de farmácia". Pressione Enter depois de digitá -lo e dê a Midjourney algum tempo para gerar as imagens.
  
  6. Uma vez feito, você verá uma saída de quatro imagens. Abaixo do conjunto de imagens, você verá um conjunto de botões U1-U4 e V1-V4.
  
  7. As quatro imagens são numeradas indo no sentido horário do canto superior esquerdo. Para obter uma nova variação de uma imagem específica que você gosta, selecione "V1" (ou V2, V3 ou V4) e obter uma cópia de alta resolução, selecione "U1" (ou U2, U3 ou U4)
  8. Depois de ter sua variante de alta resolução selecionada clicando em um dos botões U, clique na imagem e clique no link 'Abrir no navegador' próximo à parte inferior. Você pode clicar com o botão direito do mouse e salvar a imagem de alta resolução no seu computador.
  

Também tentei outras ferramentas como Dall-E e difusão estável, mas seus resultados não foram realistas o suficiente (por exemplo, olhos desalinhados e características faciais).

NOTA : O Midjourney fez uma pausa no programa de avaliação gratuita em abril de 2023. Para gerar imagens faciais realistas, você pode usar um dos seguintes seguintes:

• Encontre uma foto na internet como a imagem base para trabalhar ou até mesmo use suas próprias fotos
• Vá para https://this-person-does-not-exist.com/en (baseado no algoritmo Stylegan) para gerar um rosto realista
• Outros sites que você pode tentar incluir: https://lexica.art e https://playgroundai.com/

(2) chatgpt - geração de texto

• Precisamos de um script de aconselhamento que possa dar conselhos relevantes sobre um conjunto de medicamentos. Para fazer isso, podemos usar o ChatGPT.

• O ChatGPT é um chatbot desenvolvido pelo OpenAI e lançado em novembro de 2022. Ele é construído no topo da família GPT-3 de grandes modelos de idiomas do OpenAI.

• Configurar:

  1. Visite este link para acessar o ChatGPT (você precisará se inscrever e fazer login de acordo, o que é gratuito)
  2. Na seção Prompt, insira a descrição relevante para o script de aconselhamento. Por exemplo, o prompt que usei é o seguinte: "Crie um script que primeiro se apresente como farmacêutico chamado Macy e depois fala sobre o aconselhamento aponta para um paciente para a seguinte prescrição: metformina 1 comprimido 3 vezes ao dia, amlodipina 1 comprimido todas as manhãs e aspirina 1 comprimido todas as manhãs".
  
  3. A partir da saída na tela ChatGPT, copie e salve o texto gerado em um arquivo de texto em sua máquina local.

Eu tive que regenerar a resposta várias vezes porque achei que parte da produção era excessivamente teórica e acadêmica, e não está no formato leigo esperado para explicar medicamentos aos pacientes.

(3) Elevenlabs-geração de texto em fala

• Em seguida, queremos converter o texto do script chatgpt em um clipe de áudio de som natural. Podemos fazer isso com ferramentas gratuitas como a Voice Prime AI (por Elevenlabs)

• O Prime Voice AI é um software de fala realista e versátil de IA que traz as vozes mais atraentes, ricas e realistas para criadores e editores que buscam as ferramentas finais para contar histórias.

• Configurar:

  1. Visite a página Elevenlabs e crie uma conta gratuitamente.
  2. Na página de síntese de fala, selecione uma voz específica nas configurações, cole o script de texto na seção de texto e clique em gerar. A voz que eu escolhi foi premade/Domi , pois achei a mais animada e natural. As configurações também podem ser ajustadas de acordo para coisas como estabilidade e clareza.
  

  Encurtei levemente o script removendo a seção sobre a amlodipina da droga porque não queria que a demonstração fosse muito longa.

  3. Há um limite de crédito para a conta gratuita, portanto, use -os com sabedoria para o áudio que deseja gerar.

  4. Faça o download e salve o arquivo .mp3 (intitulado 'Synthesized_audio.mp3') em sua máquina local.

Dica de bônus: o Elevenlabs também vem com os recursos de clonagem de voz (sob o recurso Lab Lab): https://beta.elevenlabs.io/voice-lab. Se você tiver> 1 min.

(4) D -ID - Avatar falante fotorrealista (e sincronização de áudio) geração

• Por fim, é hora de juntar a imagem do farmacêutico e aconselhar o áudio em um vídeo fotorrealista. Para fazer isso, podemos usar ferramentas como o D-ID.

• A tecnologia de IA criativa da D-ID pega imagens de rostos e as transforma em vídeos fotorrealistas de alta qualidade. Com o clique de um botão, ele pode combinar imagens com áudio ou texto para dar a eles expressão e fala.

• Configurar:

  1. Visite o site D-ID e crie uma conta de avaliação gratuita
  2. Selecione o botão Criar vídeo para começar a criar um novo vídeo
  3. Adicione sua imagem do farmacêutico Midjourney como uma imagem de apresentador
  4. Carregue nosso áudio com script com chatgpt na seção de Upload your own voice à direita.
  
  5. Clique no botão Generate Video no canto superior direito e aguarde a sua obra -prima pronta para download!

---