Nuestra competencia de modelos de voces
- ¿Qué estamos buscando?
- Paquetes de participante
- Normas
Acerca de
¡Queremos ver e incentivar! - Gran diversidad, equidad y trabajo consciente de la inclusión que se realiza con el conjunto de datos de voz común. Estamos ejecutando una competencia de modelo y métodos con tres temas amplios, además de una categoría abierta.
Registre su interés
Comience hoy registrando su interés con este formulario, y recibirá un paquete de participantes con orientación, recursos, consejos y más para ayudarlo.
Lea las reglas completas si está considerando aplicar.
Paquetes de participante
Las versiones localizadas de los paquetes de participantes se pueden encontrar en nuestro Google Drive.
¿Qué estamos buscando?
Su entrada debe ser un modelo o método de diversidad, equidad e inclusión consciente de una de las siguientes categorías. Debe utilizar principalmente los datos de voz comunes de Mozilla del 11 ° lanzamiento (septiembre de 2022). Fuera de esto, estamos siendo deliberadamente abiertos. Sin embargo, aquí hay algunos ejemplos ilustrativos;
| Categorías | Acerca de |
|---|
| Género | Un modelo STT para un lenguaje con poco recursos que funciona igualmente bien para las mujeres. |
| Variante, dialecto o acento | 1) Prueba de concepto para una variante de lenguaje subraigada entregada con un pequeño corpus de 'juguete' 2) clasificadores de acento por y para una comunidad |
| Métodos y medidas | 1) Un cuerpo de sesgo de referencia 2) Metodología de auditoría del conjunto de datos |
| Abierto | Ejecución emocionante de DEI utilizando principalmente voz común que no encaja en las categorías anteriores |
El patrocinador o sus designados hará juzgar, que tendrá la sola discreción para determinar los ganadores en función de los siguientes criterios igualmente ponderados:
- Tasa de error de palabras ("Wer"): cuántos errores de reconocimiento de palabras comete su modelo cuando se usa en un nuevo conjunto de datos
- No fue el puntaje cuando se equilibró con la demografía de género o acento (según el tema de la competencia)
- Utilidad: esta es una puntuación de juicio por parte de los panelistas que evalúan cuán efectivos, originales y útiles serían su método o medida
- Valor de necesidad social / ecosistema: si este modelo agrega valor al universo de otros modelos para el mismo idioma. No descalificamos los envíos que no son de código abierto, pero al considerar el valor de valor del ecosistema dentro de la rúbrica más amplia, consideraremos la licencia bajo la cual su trabajo está disponible.
- Calificación de implementación: esta es una puntuación de juicio de los panelistas que evalúan cuán fácil sería instalar esto en una aplicación
- Calificación de impacto ambiental (a través del uso de GPU): esto tiene dos componentes: la calificación de panel de expertos más la provisión requerida de sus estadísticas de procesamiento, también conocido como ¿Qué tan "hambriento" es su modelo? ¿Está escrito para ser eficiente?
¿Cómo te aseguras de que sea fácil para todos los idiomas participar?
- Estamos alentando activamente las presentaciones en la etapa de prueba de concepto que usan un corpus pequeño o 'juguete'
- Nuestra categoría de metodología y métodos permite a los equipos enviar contornos para herramientas que aún no tienen los recursos para construir más
- Hemos permitido un mes de desarrollo para acomodar a los que dependen de la CPU / cómputo más lento
- Los idiomas serán juzgados dentro de 'bandas' - altos recursos, recursos medios y bajos recursos - para garantizar una competencia más justa entre los idiomas que existen en diferentes contextos
- Estamos creando una rúbrica flexible y holística que hace posible que los jueces analicen los factores de valor agregado del ecosistema más allá de las métricas de rendimiento como la tasa de error de palabras
- Para las comunidades marginadas que tienen preocupaciones de gobierno sobre liberar su modelo bajo una licencia de código abierto, pueden presentar una explicación a ese sentido, y esto se considerará en consecuencia
Nuestros jueces
¿Quiénes son el panel de jueces?
- Profesor Francis Tyers - Asesor de Lingüística Computacional, Fundación Mozilla y Académica, Universidad de Indiana Indiana
- Dr. Vitaly Lavrukhin - Científico principal de investigación aplicada, Nvidia
- Wiebke Hutiri - Candidato de doctorado en la Universidad Tecnológica de Delft - Equidad en tecnología de voz
- Dr. Abeba Birhane - Ai compañero Mozilla
- Rebecca Ryakitimbo - Community Fellow, Kiswahili
- Britone Mwasaru - Community Fellow, Kiswahili
- Dr. Josh Meyer: cofundador, Coqui
- Stefania Delprete - Científico de datos y representante de la comunidad de MCV italiano
- Kathy Reid - Candidata de doctorado en la Universidad Nacional de Australia - Bias en tecnología del habla, código abierto
- Gabriel Habayeb - Ingeniero de datos senior, Fundación Mozilla
Proceso de presentación
Para enviar su código para la competencia, debe hacer lo siguiente:
- Bifurca este repositorio en Github.
- Cree un nuevo directorio en un subdirectorio de envío/ que corresponde a la categoría en la que desea enviar.
- Comprometer y empujar su código a ese subdirectorio en su horquilla.
- Abra una solicitud de extracción a este repositorio.
- Luego debe hacer su envío final usando este formulario. No se podrán considerar las presentaciones que no se envían a través de TypeForm no.
