我们的声音模型竞赛
关于
我们想看到 - 激励！ - 通用语音数据集进行的多样性，公平性和包容性工作。我们正在运行具有三个广泛主题的模型和方法竞争以及一个开放类别。
注册您的利息
从今天开始在此表格中注册您的兴趣，您将收到一个参与者包，其中包含指导，资源，建议等，以帮助您。
如果您考虑申请，请阅读完整的规则。
参与者包
可以在我们的Google Drive上找到参与者包的本地化版本。
我们在寻找什么？
您的进入必须是以下类别之一的多样性，公平性和包容性的模型或方法。它必须主要利用Mozilla第11版（2022年9月）中的Mozilla通用语音数据。除此之外，我们是故意开放的。但是，这里有一些说明性的例子；
| 类别 | 关于 |
|---|
| 性别 | 用于水资源不足的语言的STT模型，对女性的表现同样出色 |
| 变体，方言或口音 | 1）用小的“玩具”语料库传递的服务不足语言变体的概念验证2）由社区和为一个社区的强调分类器 |
| 方法和措施 | 1）基准偏置语料库2）数据集审计方法 |
| 打开 | 令人兴奋的dei主要使用不适合上述类别的通用声音 |
评估将由赞助商或其指定人员进行，他们应根据以下同等加权标准全权决定确定获奖者：
- 单词错误率（“ wer”） - 在新的数据集上使用时，模型犯了多少个单词识别错误
- 通过性别或口音人口统计的平衡时得分（根据竞争主题）
- 实用程序 - 这是小组成员评估的判断评分，评估您的方法或措施的有效性，原始和有用
- 社会需求 /生态系统价值 - 该模型是否为同一语言的其他模型的宇宙增加价值。我们不会取消不是开源的提交资格，但是在考虑更广泛的标题内的生态系统增值时，我们将考虑您的工作可用的许可证。
- 可部署性评分 - 这是小组成员评估的判断评分，评估这将在应用程序中安装多么容易
- 环境影响评级（通过GPU使用） - 具有两个组件 - 专家面板等级加上需要提供其处理统计数据 - 又称您的模型是如何“饥饿”的？它是为高效而写的吗？
您如何确保所有语言都很容易参与？
- 我们正在积极鼓励使用小型或“玩具”语料库的概念阶段的提交
- 我们的方法和方法类别使团队能够提交尚无资源进一步建立的工具的大纲
- 我们允许一个月的开发时间来满足依靠CPU /慢速计算的人
- 语言将在“频段”中判断 - 高资源，中等资源和低资源 - 以确保在不同情况下存在的语言之间的更公平的竞争
- 我们正在创建一个灵活的，整体的标语，使法官可以查看生态系统值ADD因子超出绩效指标，例如单词错误率
- 对于对在开源许可下释放其模型的治理关注的边缘化社区，欢迎他们提交以解释这一效果，这将被相应地考虑
我们的法官
谁是评审团？
- 弗朗西斯·泰尔（Francis Tyers）教授 - 印第安纳大学Mozilla基金会和学术学院的计算语言学顾问
- Vitaly Lavrukhin博士 - NVIDIA的主要应用研究科学家
- Wiebke Hutiri-代尔夫特技术大学的博士候选人 - 语音技术公平性
- Abeba Birhane博士-AI同伴Mozilla
- 丽贝卡·里亚基蒂博（Rebecca Ryakitimbo） - 基斯瓦希里人社区研究员
- Britone Mwasaru-基斯瓦希里人社区研究员
- 乔什·迈耶（Josh Meyer）博士联合创始人，科奎（Coqui）
- Stefania delprete-数据科学家和意大利MCV社区代表
- 凯西·里德
- GABRIEL HABAYB- MOZILLA基金会高级数据工程师
提交过程
为了提交比赛代码，您应该执行以下操作：
- 在github中分叉这个存储库。
- 在提交/的子目录中创建一个新目录，该目录与您要提交的类别相对应。
- 提交并将您的代码推向叉子中的该子目录。
- 向此存储库打开拉动请求。
- 然后，您必须使用此表格进行最终提交。未通过TypeForm提交的提交将无法考虑。
