Generative AI Pharmacist

Генеративный фармацевт ИИ

Представление вам, Macy The Ai фармацевт !

Стремясь проверить последние генеративные инструменты искусственного интеллекта, я создал этот анимированный аватар, способный обеспечивать консультирование по лекарствам реалистично и профессионально звучал.

️ Отказ от ответственности: это видео предназначено исключительно для демонстрационных целей в рамках личного хобби -проекта и не предназначено для предоставления какой -либо формы медицинских советов. Это не настоящий продукт, и выраженные взгляды - мои собственные.

Нажмите на миниатюру ниже (или посетите эту ссылку), чтобы посмотреть демонстрационное видео, чтобы увидеть Мэйси в действии, где она кратко рассказывает о двух обычно предписанных лекарствах.

Результат довольно впечатляет и со временем будет только лучше, учитывая скорость, с которой генеративный ИИ улучшается. Чтобы создать эту демонстрацию, мне потребовалось 0 долларов и всего 25 минут.

Вот инструменты, которые я использовал:

1. Midjourney , чтобы генерировать изображение женского фармацевта
2. CHATGPT Openai для создания сценария для консультирования по лекарствам
3. Prime Video AI ElevenLabs для создания звука из сценария CHATGPT
4. Студия творческой реальности D-ID для создания реалистичного анимированного видео аватара, синхронизированного с аудио (бесплатная пробная версия)

Этот проект также с гордостью был представлен в исследовательском исследовании (видео -информированные видео с информированием о пациентах для пациентов для частичной нефрэктомии студентами -медиками с экспертной проверкой: пилотное исследование), опубликованное в Jup Open Plus (Официальный журнал Американской урологической ассоциации): https://journals.lww.com/juop/fulltext/2024/07000/artificial_intelligence_generated_patient.1.aspx

---

Пошаговое руководство

(1) Midjourney - генерация изображений

• Нам нужно лицо, чтобы представить наш аватар, и мы можем использовать такие инструменты генерации изображений, как Midyrney, чтобы сделать именно это

• Midjourney - это бесплатная служба искусственного интеллекта от Openai, которая создает изображения из текстовых описаний

• Настраивать:

  1. Midjourney работает полностью на Discord, поэтому убедитесь, что вы зарегистрировались на учетной записи Discord (что бесплатно).
  2. Посетите эту ссылку на сайт Midjourney, которая автоматически доставляет вас к приглашению на Discord.
  3. Примите приглашение на раздор в Мидюрни. Выберите продолжать разногласия.
  4. Нажмите на кнопку Midjourney (со значком корабля) и выберите любую из новичков, например, newbies-24
  
  5. В линии чата введите /imagine за которым следует ваше приглашение на описание. Например, подсказка, которую я использовал, была «высококачественная профессиональная фотография верхней части тела китайского китайского фармацевта в белом лабораторном халате с аптечным фоном». Нажмите Enter после ввода его, и дайте Миджурни некоторое время, чтобы сгенерировать изображения.
  
  6. После этого вы увидите вывод из четырех изображений. Ниже набора изображений вы увидите набор кнопок U1-U4 и V1-V4.
  
  7. Четыре изображения пронумерованы, идущие по часовой стрелке с левого верхнего. Чтобы получить новый вариант конкретного изображения, который вам нравится, выберите «V1» (или V2, V3 или V4), и для получения копии высокого разрешения, выберите «U1» (или U2, U3 или U4)
  8. После того, как вы получите выбранный вариант высокого разрешения, нажав на одну из кнопок U, нажмите на изображение, а затем нажмите ссылку «Открыть в браузере» рядом с нижней. Затем вы можете щелкнуть правой кнопкой мыши и сохранить изображение высокого разрешения на вашем компьютере.
  

Я также пробовал другие инструменты, такие как Dall-E и стабильная диффузия, но их результаты были недостаточно реалистичными (например, смещенные глаза и особенности лица).

Примечание : Midjourney приостановила свою бесплатную пробную программу по состоянию на апрель 2023 года.

• Найдите изображение в Интернете в качестве базового изображения для работы, или даже используйте свои собственные фотографии
• Отправляйтесь на https://this-person-does-not-exist.com/en (на основе алгоритма Stylegan), чтобы создать реалистичное лицо
• Другие веб -сайты, которые вы можете попробовать, включают: https://lexica.art и https://playgroundai.com/

(2) CHATGPT - генерация текста

• Нам нужен сценарий консультирования, который может дать соответствующие советы по набору лекарств. Для этого мы можем использовать Chatgpt.

• CHATGPT-это чат-бот, разработанный OpenAI и запущенный в ноябре 2022 года. Он построен на вершине семейства GPT-3 в GPT-3 в GPT-3.

• Настраивать:

  1. Посетите эту ссылку, чтобы получить доступ к CHATGPT (вам нужно будет зарегистрироваться и войти в систему соответственно, что бесплатно)
  2. В разделе «Приглашение» введите соответствующее описание для сценария консультирования. Например, подсказка, которую я использовал, заключается в следующем: «Создайте сценарий, который сначала представляет себя как фармацевт по имени Мэйси, а затем рассказывает о точках консультирования пациенту для следующего рецепта: таблетка метформина 1 3 раза в день, таблетку амлодипина 1 каждое утро и таблетку Aspirin 1 каждое утро».
  
  3. На выводе на экране CHATGPT скопируйте и сохраните сгенерированный текст в текстовом файле на локальной машине.

Мне пришлось регенерировать ответ несколько раз, потому что я обнаружил, что некоторые из них являются чрезмерно теоретическими и академическими, и не в ожидаемом формате непрофессионала для объяснения лекарств у пациентов.

(3) ElevenLabs-поколение текста в речь

• Затем мы хотим преобразовать текст скрипта CHATGPT в естественный звуковой аудиоклип. Мы можем сделать это с помощью бесплатных инструментов, таких как Prime Voice AI (по Elevenlabs)

• Prime Voice AI - это реалистичное и универсальное программное обеспечение для искусственного интеллекта, которое приносит самые убедительные, богатые и жизненные голоса создателям и издателям, ищущим окончательные инструменты для рассказывания историй.

• Настраивать:

  1. Посетите страницу ElevenLabs и создайте учетную запись бесплатно.
  2. На странице синтеза речи выберите конкретный голос в настройках, вставьте текстовый скрипт в текстовый раздел и нажмите «Создать». Голос, который я выбрал, был premade/Domi так как я обнаружил, что он самый живой и естественный. Настройки также могут быть скорректированы соответственно для таких вещей, как стабильность и ясность.
  

  Я слегка сократил сценарий, удалив раздел на лекарственном амлодипине, потому что я не хотел, чтобы демонстрация была слишком длинной.

  3. Для бесплатной учетной записи существует кредитный лимит, поэтому убедитесь, что вы используете их с умом для звука, который вы хотите генерировать.

  4. Загрузите и сохраните файл .mp3 (под названием «Synthesized_Audio.mp3») на локальной машине.

Бонусный совет: Elevenlabs также поставляется с возможностями голосового клонирования (под функцией голосовой лаборатории): https://beta.elevenlabs.io/voice-lab. Если у вас есть> 1 минута записи определенного голоса, вы можете преобразовать скрипт в голос, который вы хотите клонировать.

(4) D -ID - генерация фотореалистических аватаров (и аудио синхронизации)

• Наконец, пришло время разместить фармацевт и консультировать аудио вместе в фотореалистическое видео. Для этого мы можем использовать такие инструменты, как D-ID.

• Творческая технология ИИ от D-ID делает изображения лиц и превращает их в высококачественные, фотореалистические видео. При нажатии кнопки он может объединить изображения с аудио или текстом, чтобы дать им выражение и речь.

• Настраивать:

  1. Посетите веб-сайт D-ID и создайте бесплатную пробную учетную запись
  2. Выберите кнопку «Создать видео», чтобы начать создание нового видео
  3. Добавьте свое изображение фармацевта Midjourney в качестве изображения ведущего
  4. Загрузите наше сценарий CHATGPT в разделе « Upload your own voice раздел справа».
  
  5. Нажмите кнопку Generate Video в правом верхнем углу и подождите, пока ваш шедевр будет готов к загрузке!

---