Downcodes小编报道：Adobe与密歇根大学合作研发了一款名为MultiFoley的AI音效生成系统，它能通过文字提示、音频或视频示例生成电影和视频中的配音音效，极大提升后期制作效率。这款系统支持多种输入方式，并能将不同声音进行转换，例如将猫叫声转化为狮吼。其高带宽的音频输出质量和精准的视频同步效果，在用户测试中获得了极高的评价。
最近，Adobe 研究团队与密歇根大学的研究人员联合开发了一款名为 MultiFoley 的人工智能系统，这款系统能够生成电影和视频中的配音音效，助力后期制作。
MultiFoley 的创新之处在于它允许用户通过文字提示、参考音频或视频示例来创造音效。在演示中，该系统甚至能将猫的叫声转化为狮子的吼叫，或将打字机的声音转换为钢琴音符，并与视频画面完美同步。
MultiFoley 的音频输出质量达到48kHz 的高带宽，这主要得益于研究人员使用互联网上的视频和专业音效库进行训练。与以往的系统不同，MultiFoley 首次将多种输入方式 —— 文本、音频和视频参考 —— 整合到同一模型中。它通过分析每秒8帧的视觉特征，并将其放大以匹配40Hz 的音频采样率，确保生成的音频与视频保持紧密同步。
在测试中，MultiFoley 在音频与视频的同步和音效与文本描述的匹配方面表现出色，平均同步精度达到了0.8秒，显著优于传统系统通常超过一秒的延迟。用户研究显示，85.8% 的参与者认为 MultiFoley 在语义一致性方面优于第二名，而94.5% 的参与者更喜欢它的同步效果。
尽管 MultiFoley 展现出了强大的潜力，但研究团队也指出目前的一些局限性，例如训练数据相对较小，这限制了它的音效种类。同时，系统在生成多个同时音效时也存在一定困难。研究团队计划不久后发布源代码和模型。
虽然 Adobe 尚未宣布将 MultiFoley 纳入其产品中，但这一技术与 Adobe Premiere Pro 视频编辑软件中现有的人工智能功能非常契合，有望为个人创作者和制作公司在音效设计流程中带来便利。
划重点:
? MultiFoley 是 Adobe 与密歇根大学合作开发的一款 AI 音效生成系统，可通过多种输入方式生成音效。
? 该系统的音频输出质量达到48kHz，平均同步精度为0.8秒，优于传统音效系统。
用户研究显示，MultiFoley 在音效的语义一致性和同步效果方面都获得了高评价。
总而言之，MultiFoley 的出现为音效制作带来了新的可能性，其高效精准的性能和便捷的操作方式有望改变未来的音效制作流程。让我们期待其源代码和模型的发布，以及在Adobe产品中的应用。