私たちの声モデルの競争
- 私たちが探しているものは何ですか?
- 参加者パック
- ルール
について
私たちは見たい - そしてインセンティブ! - 一般的な音声データセットで行われている優れた多様性、公平性、および包括的意識の仕事。 3つの幅広いテーマとオープンカテゴリを備えたモデルとメソッドの競争を実行しています。
あなたの興味を登録してください
このフォームに興味を登録することから今日から始めれば、あなたを助けるために、ガイダンス、リソース、アドバイスなどの参加者パックを受け取ります。
応募を検討している場合は、完全なルールをお読みください。
参加者パック
参加者パックのローカライズされたバージョンは、Googleドライブにあります。
私たちは何を探していますか?
エントリは、次のカテゴリのいずれかに基づく多様性、公平性、包括的意識モデルまたは方法でなければなりません。主に、第11回リリース(2022年9月)のMozilla Common Voiceデータを利用する必要があります。これ以外では、意図的にオープンエンドです。ただし、ここにいくつかの例があります。
| カテゴリ | について |
|---|
| 性別 | 女性にとっても同様にパフォーマンスを発揮するリソース不足の言語のSTTモデル |
| バリアント、方言またはアクセント | 1)小さな「おもちゃ」コーパスで配信された不足している言語バリアントの概念の証明2)コミュニティによるアクセント分類器 |
| 方法と測定 | 1)ベンチマークバイアスコーパス2)データセット監査方法論 |
| 開ける | エキサイティングなDEIは、主に上記のカテゴリに合わない一般的な声を使用して作業します |
審査は、スポンサーまたはその被指名人によって行われます。彼らは、次の均等に加重された基準に基づいて勝者を決定する際に単独の裁量権を持つものとします。
- 単語エラー率(「WER」) - 新鮮なデータセットで使用したときにモデルが発生させる単語認識ミスの数
- 性別またはアクセントの人口統計によってバランスが取れているときのWERスコア(競争のテーマに従って)
- ユーティリティ - これは、あなたの方法や尺度がどれほど効果的で、独創的で有用なものになるかを評価するパネリストによる判断のスコアリングです
- 社会的ニーズ /エコシステム価値 - このモデルが同じ言語の他のモデルの宇宙に価値を追加するかどうか。オープンソースではない提出物を失格とすることはありませんが、より広いルーブリック内のエコシステムの付加価値を考慮すると、作業が利用可能なライセンスを検討します。
- 展開の評価 - これは、アプリケーションにこれがどれほど簡単であるかを評価するパネリストによる判断のスコアリングです
- 環境への影響評価(GPU使用による) - これには2つのコンポーネントがあります - エキスパートパネルの評価と処理統計の必要な提供 - 別名あなたのモデルはどれほど「空腹」ですか?効率的であると書かれていますか?
すべての言語が参加できることをどのように確認していますか?
- 私たちは、小型または「おもちゃ」コーパスを使用する概念実証段階での提出を積極的に奨励しています
- 私たちの方法論と方法のカテゴリを使用すると、チームはまださらに構築するためのリソースを持っていないツールのアウトラインを提出できます。
- 私たちは、CPU /遅い計算に依存している人々を収容するために1か月の開発時間を許可しました
- 言語は「バンド」 - 高リソース、中程度のリソース、低リソース - 内で審査され、異なるコンテキストで存在する言語間のより公平な競争を確保します
- 私たちは、裁判官が単語エラーレートなどのパフォーマンスメトリックを超えてエコシステムの付加価値要因を審査員が見ることを可能にする柔軟で全体的なルーブリックを作成しています
- オープンソースライセンスの下でモデルをリリースすることについてガバナンスの懸念を持っている疎外されたコミュニティの場合、彼らはその効果の説明とともに提出することを歓迎します、そして、これはそれに応じて考慮されます
私たちの審査員
審査委員会は誰ですか?
- フランシス・タイアーズ教授 - インディアナ大学モジラ財団&アカデミックの計算言語アドバイザー
- Vitaly Lavrukhin博士 - Nvidiaの校長応用研究科学者
- Wiebke Hutiri -Delft Technologyの博士号候補 - Voice Techの公平
- Abeba Birhane博士-AI仲間Mozilla
- Rebecca Ryakitimbo-コミュニティフェロー、キスワヒリ
- Britone Mwasaru-コミュニティフェロー、キスワヒリ
- ジョシュ・マイヤー博士 - 共同設立者、コキ
- Stefania Delprete-データサイエンティストとイタリアのMCVコミュニティ担当者
- キャシー・リード - オーストラリア国立大学の博士号候補 - スピーチテクノロジーのバイアス、オープンソース
- Gabriel Habayeb-モジラ財団のシニアデータエンジニア
提出プロセス
競争のためにコードを送信するには、次のことを行う必要があります。
- Githubのこのリポジトリをフォークします。
- 送信のサブディレクトリ/送信のカテゴリに対応する新しいディレクトリを作成します。
- フォークのサブディレクトリにコードをコミットしてプッシュします。
- このリポジトリにプルリクエストを開きます。
- 次に、このフォームを使用して最終提出を行う必要があります。 Typeformを介して送信されない提出物は考慮できません。