El equipo de investigación de la Universidad de Tsinghua lanzó la plataforma de simulación de fuentes de sonido móviles SonicSim y el conjunto de datos SonicSet, con el objetivo de resolver el problema de la insuficiencia de datos en escenarios de fuentes de sonido móviles en el campo del procesamiento del habla. El editor de Downcodes lo llevará a comprender los resultados de esta innovadora investigación, cómo simula el entorno acústico real y cómo proporciona soporte de datos de alta calidad para el entrenamiento de modelos de mejora y separación del habla.
Un equipo de investigación de la Universidad de Tsinghua lanzó recientemente una plataforma de simulación de fuentes de sonido móviles llamada SonicSim, cuyo objetivo es resolver el problema actual de la falta de datos en el campo del procesamiento del habla en escenarios de fuentes de sonido móviles.
Esta plataforma se basa en la plataforma de simulación Habitat-sim, que puede simular el entorno acústico del mundo real con alta fidelidad y proporcionar un mejor soporte de datos para el entrenamiento y evaluación de modelos de mejora y separación del habla.
La mayoría de los conjuntos de datos de mejora y separación de voz existentes se basan en fuentes de sonido estáticas, que son difíciles de satisfacer las necesidades de escenarios de fuentes de sonido en movimiento.
Aunque también existen algunos conjuntos de datos registrados en el mundo real, su escala es limitada y sus costos de recopilación son altos. Por el contrario, aunque los conjuntos de datos sintéticos son de mayor escala, sus simulaciones acústicas a menudo no son lo suficientemente realistas como para reflejar con precisión las características acústicas en entornos reales.
La aparición de la plataforma SonicSim resuelve eficazmente los problemas anteriores. La plataforma puede simular una variedad de entornos acústicos complejos, incluidas obstrucciones, geometría de la sala y características de absorción, reflexión y dispersión del sonido de diferentes materiales, y admite el diseño de escena definido por el usuario, la fuente de sonido y las posiciones del micrófono, los tipos de micrófono, etc. .
Basado en la plataforma SonicSim, el equipo de investigación también creó un conjunto de datos de fuentes de sonido móviles de múltiples escenas a gran escala llamado SonicSet.
Este conjunto de datos utiliza datos de voz y ruido de LibriSpeech, Freesound Dataset50k y Free Music Archive, así como 90 escenas reales del conjunto de datos Matterport3D, que contiene datos enriquecidos de voz, ruido ambiental y ruido musical.
El proceso de construcción del conjunto de datos SonicSet está altamente automatizado y puede generar aleatoriamente las posiciones de fuentes de sonido y micrófonos, así como las trayectorias de movimiento de las fuentes de sonido, asegurando la autenticidad y diversidad de los datos.
Para verificar la efectividad de la plataforma SonicSim y el conjunto de datos SonicSet, el equipo de investigación realizó una gran cantidad de experimentos sobre tareas de separación y mejora del habla.
Los resultados muestran que el modelo entrenado en el conjunto de datos SonicSet logró un mejor rendimiento en el conjunto de datos grabados del mundo real, lo que demuestra que la plataforma SonicSim puede simular eficazmente el entorno acústico del mundo real y proporcionar una base poderosa para la investigación en el campo del habla. procesamiento.
El lanzamiento de la plataforma SonicSim y el conjunto de datos SonicSet ha aportado nuevos avances a la investigación en el campo del procesamiento del habla. Con la mejora continua de las herramientas de simulación y la optimización de los algoritmos modelo, en el futuro se promoverá aún más la aplicación de la tecnología de procesamiento del habla en entornos complejos.
Sin embargo, el realismo de la plataforma SonicSim todavía está limitado por los detalles del modelado de escenas 3D. Cuando a la escena 3D importada le faltan estructuras o están incompletas, la plataforma no puede simular con precisión el efecto de reverberación en el entorno actual.
Dirección del artículo: https://arxiv.org/pdf/2410.01481
La aparición de SonicSim y SonicSet ha traído nuevas esperanzas al desarrollo de la tecnología de procesamiento del habla, pero aún es necesario mejorarla continuamente. Espere ver aplicaciones de esta tecnología en entornos acústicos más complejos en el futuro. El editor de Downcodes seguirá prestando atención al progreso de la investigación en este campo.