Редактор Downcodes узнал, что проект с открытым исходным кодом под названием Ultralight-Digital-Human вызывает бурные дискуссии на GitHub! Этот проект совершил прорыв в решении проблемы внедрения цифровых человеческих технологий на мобильных терминалах, позволяя обычным смартфонам беспрепятственно запускать цифровые человеческие приложения, значительно снижая порог применения цифровых человеческих технологий и открывая беспрецедентные возможности для их популяризации. Это окажет глубокое влияние на разработку мобильных приложений, а также на AR/VR и другие области.
Недавно проект с открытым исходным кодом под названием Ultralight-Digital-Human привлек широкое внимание сообщества разработчиков. Этот проект успешно решил проблему внедрения цифровых человеческих технологий на мобильных терминалах, позволяя обычным смартфонам запускать цифровые человеческие приложения в режиме реального времени, открывая новые возможности для популяризации связанных технологий.
Эта сверхлегкая цифровая модель человека использует инновационную технологию глубокого обучения, а благодаря оптимизации алгоритмов и сжатию модели она успешно уменьшила огромную цифровую систему человека до такой степени, что она может бесперебойно работать на мобильных устройствах. Система поддерживает обработку видео и аудио входов в режиме реального времени и может быстро синтезировать цифровые изображения человека с быстрым откликом и плавностью работы.
С точки зрения технической реализации проект объединяет два решения для извлечения аудио-функций, Wenet и Hubert, и разработчики могут гибко выбирать в соответствии с конкретными сценариями применения. В то же время благодаря внедрению технологии сети синхронизации (syncnet) эффект синхронизации губ цифровых людей значительно улучшается. Чтобы обеспечить бесперебойную работу на мобильных устройствах, команда разработчиков применила технологию сокращения параметров в процессе обучения и развертывания, что эффективно снизило требования к вычислительным ресурсам.
Еще одной изюминкой проекта является полное документирование процесса обучения. Разработчикам нужно всего лишь подготовить 3–5 минут высококачественных видео с лицами и следовать рекомендациям, чтобы начать обучение собственных цифровых моделей людей. Требования к видео системы также очень ясны: для режима Wenet требуется частота кадров 20 кадров в секунду, а для режима Hubert — 25 кадров в секунду.
Для обеспечения эффекта обучения команда проекта особо напоминает разработчикам обратить внимание на следующие ключевые звенья: предпочтительные модели предварительного обучения в качестве основы, обеспечение качества обучающих данных, регулярный мониторинг процесса обучения и корректировка параметров обучения; своевременно. Эти детали напрямую повлияют на конечный цифровой человеческий эффект.
В настоящее время этот проект с открытым исходным кодом показал большой потенциал в таких областях, как социальные приложения, мобильные игры и виртуальная реальность. По сравнению с традиционными цифровыми человеческими технологиями он не только снижает аппаратный порог, но также обеспечивает кроссплатформенную совместимость и может стабильно работать на всех типах смартфонов.
Адрес проекта: https://github.com/anliyuan/Ultralight-Digital-Human
Проект Ultralight-Digital-Human, несомненно, является важной вехой в развитии цифровых человеческих технологий, а его открытый исходный код также предоставляет большему количеству разработчиков возможности для обучения и инноваций. Я верю, что в будущем на основе этого проекта появятся более инновационные приложения, подождем и посмотрим!