우리의 목소리 모델 경쟁
- 우리가 찾고있는 것은 무엇입니까?
- 참가자 팩
- 규칙
에 대한
우리는보고 인센티브를 원합니다! - 일반적인 음성 데이터 세트로 수행되는 다양한 다양성, 형평성 및 포용 의식 작업. 우리는 세 가지 광범위한 테마와 공개 카테고리로 모델 및 방법 경쟁을 실행하고 있습니다.
관심을 등록하십시오
이 양식에 관심을 등록하여 오늘 시작하면 안내, 자원, 조언 등이있는 참가자 팩을받을 수 있습니다.
신청을 고려중인 경우 전체 규칙을 읽으십시오.
참가자 팩
현지화 된 버전의 참가자 팩은 Google 드라이브에서 찾을 수 있습니다.
우리는 무엇을 찾고 있습니까?
입력은 다음 범주 중 하나에 따라 다양성, 형평성 및 포함 의식 모델 또는 방법이어야합니다. 주로 11 번째 릴리스 (2022 년 9 월)의 Mozilla Common Voice Data를 사용해야합니다. 이 외에도, 우리는 의도적으로 개방형입니다. 그러나 다음은 몇 가지 예를 들어 있습니다.
| 카테고리 | 에 대한 |
|---|
| 성별 | 여성에게 똑같이 잘 수행되는 자원 부족 언어에 대한 STT 모델 |
| 변형, 방언 또는 악센트 | 1) 작은 '장난감'코퍼스와 함께 제공되는 저지 된 언어 변형에 대한 개념 증명 2) Accent Classifiers by and for a Community |
| 방법과 조치 | 1) 벤치 마크 바이어스 코퍼스 2) 데이터 세트 감사 방법론 |
| 열려 있는 | 흥미 진진한 DEI는 주로 위의 범주에 맞지 않는 일반적인 음성을 사용하여 작동합니다. |
판단은 스폰서 또는 그 지명자에 의해 수행되며, 다음은 다음 똑같이 가중 기준을 바탕으로 당첨자를 결정하는 데 단독 재량을 갖습니다.
- 단어 오류율 ( "wer") - 새로운 데이터 세트에서 사용할 때 모델이 저지르는 워드 인식 수
- 성별 또는 악센트 인구 통계에 의해 균형을 잡으면 WER 점수 (경쟁 테마에 따라)
- 유틸리티 - 이것은 패널리스트가 방법이나 측정 값이 얼마나 효과적이고 독창적이며 유용한 지 평가하는 판단 점수입니다.
- 사회적 필요 / 생태계 가치 -이 모델이 동일한 언어에 대해 다른 모델의 우주에 가치를 더하는지 여부. 우리는 오픈 소스가 아닌 제출물을 실격시키지 않지만 더 넓은 루 브릭 내에서 생태계 부가 가치를 고려할 때는 귀하의 작업을 이용할 수있는 라이센스를 고려할 것입니다.
- 배치 성 등급 - 이것은 응용 프로그램에 설치하기 쉬운지 평가하는 패널리스트의 판단 점수입니다.
- 환경 영향 등급 (GPU 사용을 통한) - 전문가가 두 가지 구성 요소가 있습니다. 전문가 패널 등급과 처리 통계의 필수 제공 - 일명 '배고픈'은 어떻게 모델입니까? 효율적으로 작성 되었습니까?
모든 언어가 참여하기 쉬운 방법은 어떻게 되나요?
- 우리는 작거나 '장난감'코퍼스를 사용하는 개념 증명 단계에서 제출을 적극적으로 장려하고 있습니다.
- 당사의 방법론 및 방법 범주는 팀이 아직 더 이상 구축 할 자원이없는 도구에 대한 개요를 제출할 수 있습니다.
- 우리는 한 달의 개발 시간이 CPU / 느린 컴퓨팅에 의존하는 사람들을 수용 할 수 있도록 허용했습니다.
- 언어는 '밴드'내에서 판단됩니다 - 높은 리소스, 중간 자원 및 낮은 리소스 - 다른 맥락에 존재하는 언어 간의 공정한 경쟁을 보장합니다.
- 우리는 판사들이 단어 오류율과 같은 성능 지표를 넘어 생태계 부가 가치 요소를 볼 수 있도록 유연하고 전체적인 루 브릭을 만들고 있습니다.
- 오픈 소스 라이센스에 따라 모델을 공개하는 것에 대한 거버넌스 우려가있는 소외된 커뮤니티의 경우 해당 효과에 대한 설명과 함께 제출할 수 있으며 이에 따라 고려됩니다.
우리의 판사
심사위 원단은 누구입니까?
- 프랜시스 타이어 교수 - 인디애나 대학교의 모질라 재단 및 아카데믹 컴퓨터 언어 고문
- Vitaly Lavrukhin 박사 - 교장 응용 연구 과학자, Nvidia
- Wiebke Hutiri- Delft University of Technology의 박사 후보 - 음성 기술의 공정성
- Abeba Birhane 박사 - AI 동료 모질라
- Rebecca Ryakitimbo- 커뮤니티 동료, Kiswahili
- Britone Mwasaru- 커뮤니티 동료, Kiswahili
- Josh Meyer 박사- 공동 창립자, Coqui
- Stefania Delprete- 데이터 과학자 및 이탈리아 MCV 커뮤니티 담당자
- Kathy Reid -Australian National University의 박사 후보 - Speech Tech의 편견, 오픈 소스
- Gabriel Habayeb- 모질라 재단 선임 데이터 엔지니어
제출 과정
경쟁에 대한 코드를 제출하려면 다음을 수행해야합니다.
- Github 에서이 저장소를 포크하십시오.
- 제출하려는 카테고리에 해당하는 서명/ 서브 디렉토리에서 새 디렉토리를 만듭니다.
- 포크의 하위 디렉토리로 코드를 커밋하고 푸시하십시오.
- 이 저장소에 풀 요청을 엽니 다.
- 그런 다음이 양식을 사용하여 최종 제출을 해야합니다. TypeForm을 통해 제출되지 않은 제출물은 고려할 수 없습니다 .