¿Todavía te preocupa el doblaje de video corto? ¿Siempre no puedes encontrar la música de fondo adecuada? Ahora, Bytedance ha lanzado una tecnología de IA revolucionaria: el modelo de generación de efectos de sonido Seedfoley, que ha resuelto por completo los problemas de efecto de sonido en la creación de video. Con solo una operación simple, Seedfoley puede combinar inteligentemente los efectos de sonido de grado profesional con sus videos, haciendo sus obras al instante desde películas silenciosas y mudas hasta éxitos de taquilla de audio. Esta tecnología ha lanzado rápidamente la plataforma de creación de video "A Dream", una subsidiaria de Bytedance, que permite a cada usuario experimentar fácilmente la función mágica de generar efectos de sonido con un solo clic.
La tecnología central de Seedfoley se encuentra en su revolucionaria arquitectura de extremo a extremo, que combina inteligentemente las características del espacio en el espacio de video con un poderoso modelo de generación de difusión para lograr una alta sincronización de los efectos de sonido y el contenido de video. Primero, Seedfoley realizará un análisis de extracción de cuadros en el video, extraerá información clave de cada cuadro e interpretará profundamente el contenido de video a través del codificador de video para comprender las acciones y escenas en él. Luego, esta información se proyecta en el espacio condicional, proporcionando dirección para la generación de efectos de sonido. Durante el proceso de generación de efectos de sonido, Seedfoley adopta un marco de modelo de difusión mejorado para generar inteligentemente una solución de efecto de sonido que lo coincida perfectamente en función del contenido de video.
Para permitir que AI comprenda mejor el arte del sonido, Seedfoley aprendió una gran cantidad de etiquetas relacionadas con la voz y la música durante el proceso de entrenamiento, lo que le permite distinguir los efectos de sonido de los efectos no sonoros y lograr una generación de efectos de sonido más precisa. Además, Seedfoley también puede manejar las entradas de video de varias longitudes, ya sea un video corto de unos pocos segundos o un video largo de unos minutos, puede lidiar fácilmente con él, y ha alcanzado un nivel líder de la industria en términos de precisión de sonido, sincronización y coincidencia con contenido de video.
El codificador de video de Seedfoley utiliza una combinación de características rápidas y lentas para capturar acciones sutiles en el video a altas velocidades de cuadro y extraer la información semántica del video a velocidades de cuadros bajas. Esta combinación de rápido y lento no solo conserva las características clave del movimiento, sino que también reduce efectivamente los costos de computación, logrando un equilibrio perfecto entre el bajo consumo de energía y el alto rendimiento. A través de esta tecnología, Seedfoley puede realizar una extracción de características de video a nivel de marco de 8 fps bajo recursos informáticos bajos, posicionando con precisión cada acción en el video.
En términos de modelo de caracterización de audio, Seedfoley utiliza la forma de onda original como entrada y obtiene la caracterización de audio 1D después de la codificación. En comparación con el modelo de espectro Meer tradicional, este método tiene más ventajas en la reconstrucción de audio y el modelado de generación. Para garantizar la retención completa de la información de alta frecuencia, la velocidad de muestreo de audio de Seedfoley es tan alta como 32k, y el audio por segundo puede extraer 32 caracterizaciones de potencial de audio, mejorando efectivamente la resolución de tiempo del audio y haciendo que los efectos de sonido generados sean más delicados y realistas.
El modelo de representación de audio de Seedfoley también adopta una estrategia de entrenamiento conjunto de dos etapas. En la primera etapa, la información de fase en la representación de audio se desprende utilizando una estrategia de máscara, y la representación potencial desaphada se utiliza como el objetivo de optimización del modelo de difusión. En la segunda etapa, la información de fase se reconstruye a partir de la representación defasis utilizando un decodificador de audio para restaurar el sonido a su estado más realista. Esta estrategia paso a paso reduce efectivamente la dificultad de predecir representaciones por el modelo de difusión, y finalmente se da cuenta de la generación y restauración de representaciones potenciales de audio de alta calidad.
En términos de modelo de difusión, Seedfoley eligió el marco de difusión del transformador y logró una coincidencia de probabilidad precisa de la distribución de ruido gaussiano al espacio de representación de audio objetivo al optimizar la relación de mapeo continuo en la ruta de probabilidad. En comparación con el modelo de difusión tradicional que se basa en el muestreo de la cadena de Markov, Seedfoley reduce efectivamente el número de pasos de inferencia al construir una ruta de transformación continua, reduce en gran medida el costo de inferencia y hace que la generación de efectos de sonido sea más rápido y más eficiente.
El nacimiento de Seedfoley marca la profunda integración del contenido de video y la generación de audio. Puede extraer con precisión la información visual a nivel de marco de video e identificar con precisión el tema vocal y las escenas de acción en el video mediante la visión de la información de imágenes de múltiples cuadros. Ya sea que se trate de momentos musicales con una fuerte sensación de ritmo o las tramas tensas en la película, Seedfoley puede identificar con precisión los puntos y crear una experiencia inmersiva y realista. Lo que es aún más sorprendente es que Seedfoley también puede distinguir de manera inteligente entre los efectos de sonido de acción y los efectos de sonido ambiental, mejorando significativamente la tensión narrativa y la eficiencia de la transmisión emocional del video.
Ahora, la función de efecto de sonido de IA se ha lanzado oficialmente en la plataforma Imeng. Los usuarios solo necesitan usar el IMENG para generar videos y seleccionar la función de efecto de sonido AI para generar 3 soluciones de efectos de sonido profesionales de un solo clic. Ya sea que se trate de AI Video Creation, Life Vlog, Production de cortometrajes o producción de juegos, Seedfoley puede ayudarlo a crear fácilmente videos de alta calidad con efectos de sonido profesionales, ¡para que sus obras puedan sonar instantáneamente!