การแข่งขันโมเดลเสียงของเรา
- สิ่งที่เรากำลังมองหา?
- แพ็คผู้เข้าร่วม
- กฎ
เกี่ยวกับ
เราอยากเห็น - และสร้างแรงจูงใจ! - งานที่หลากหลายความเท่าเทียมและการรวมการใส่ใจที่ทำกับชุดข้อมูลเสียงทั่วไป เรากำลังดำเนินการแข่งขันแบบจำลองและวิธีการที่มีธีมกว้างสามชุดพร้อมหมวดหมู่เปิด
ลงทะเบียนดอกเบี้ยของคุณ
เริ่มต้นวันนี้ด้วยการลงทะเบียนความสนใจของคุณด้วยแบบฟอร์มนี้และคุณจะได้รับแพ็คผู้เข้าร่วมพร้อมคำแนะนำทรัพยากรคำแนะนำและอื่น ๆ เพื่อช่วยเหลือคุณ
โปรดอ่านกฎทั้งหมดหากคุณกำลังพิจารณาสมัคร
แพ็คผู้เข้าร่วม
แพ็คผู้เข้าร่วมเวอร์ชันที่มีการแปลสามารถพบได้ใน Google Drive ของเรา
เรากำลังมองหาอะไร?
รายการของคุณจะต้องเป็นรูปแบบหรือวิธีการที่มีความหลากหลายและรวมอยู่ภายใต้หนึ่งในหมวดหมู่ต่อไปนี้ จะต้องใช้ประโยชน์จากข้อมูลเสียง Mozilla Common เป็นหลักตั้งแต่การเปิดตัวครั้งที่ 11 (กันยายน 2022) นอกเหนือจากนี้เรากำลังเปิดกว้างอย่างจงใจ อย่างไรก็ตามนี่คือตัวอย่างตัวอย่าง;
| หมวดหมู่ | เกี่ยวกับ |
|---|
| เพศ | แบบจำลอง STT สำหรับภาษาที่มีทรัพยากรต่ำซึ่งทำงานได้ดีพอ ๆ กันสำหรับผู้หญิง |
| ตัวแปรภาษาถิ่นหรือสำเนียง | 1) หลักฐานแนวคิดสำหรับตัวแปรภาษาที่ไม่ได้ให้บริการที่ส่งมอบด้วยตัวแยกประเภทสำเนียงของเล่น 'ของเล่นขนาดเล็ก' 2) |
| วิธีการและมาตรการ | 1) Benchmark Bias Corpus 2) วิธีการตรวจสอบชุดข้อมูล |
| เปิด | DEI ที่น่าตื่นเต้นเป็นหลักโดยใช้เสียงทั่วไปที่ไม่เหมาะกับหมวดหมู่ด้านบน |
การตัดสินจะดำเนินการโดยผู้สนับสนุนหรือผู้ได้รับการแต่งตั้งซึ่งจะมีดุลยพินิจ แต่เพียงผู้เดียวในการพิจารณาผู้ชนะตามเกณฑ์ถ่วงน้ำหนักอย่างเท่าเทียมกัน:
- อัตราข้อผิดพลาดของคำ (“ wer”) - การรู้จำคำผิดพลาดจำนวนเท่าใดที่โมเดลของคุณทำเมื่อใช้กับชุดข้อมูลใหม่
- คะแนนเมื่อเทียบกับเพศหรือข้อมูลสำเนียง (ตามธีมการแข่งขัน)
- ยูทิลิตี้ - นี่คือการตัดสินการตัดสินโดยผู้ทดสอบชิมประเมินว่าวิธีการหรือการวัดของคุณมีประสิทธิภาพเป็นต้นฉบับและเป็นประโยชน์เพียงใด
- ค่าความต้องการทางสังคม / ระบบนิเวศ - ไม่ว่าโมเดลนี้จะเพิ่มมูลค่าให้กับจักรวาลของรุ่นอื่น ๆ สำหรับภาษาเดียวกันหรือไม่ เราไม่ตัดสิทธิ์การส่งที่ไม่ใช่โอเพ่นซอร์ส แต่เมื่อพิจารณาถึงการเพิ่มมูลค่าของระบบนิเวศภายในรูบริกที่กว้างขึ้นเราจะพิจารณาใบอนุญาตภายใต้งานของคุณ
- การจัดอันดับความสามารถในการปรับใช้ - นี่คือการให้คะแนนการตัดสินโดยผู้ร่วมอภิปรายประเมินว่าสิ่งนี้จะง่ายแค่ไหนในการติดตั้งในแอปพลิเคชัน
- การจัดอันดับผลกระทบสิ่งแวดล้อม (ผ่านการใช้ GPU) - นี่มีสององค์ประกอบ - การจัดอันดับแผงผู้เชี่ยวชาญและการจัดเตรียมสถิติการประมวลผลที่จำเป็น - หรือที่รู้จักกันว่า 'หิว' ของคุณเป็นแบบจำลองของคุณอย่างไร? มันเขียนว่ามีประสิทธิภาพหรือไม่?
คุณจะแน่ใจได้อย่างไรว่าเป็นเรื่องง่ายสำหรับทุกภาษาที่จะเข้าร่วม?
- เรากำลังสนับสนุนการส่งผลงานที่ Proof of Concept Stage ที่ใช้คลังข้อมูลขนาดเล็กหรือ 'ของเล่น'
- หมวดหมู่วิธีการและวิธีการของเราช่วยให้ทีมสามารถส่งโครงร่างสำหรับเครื่องมือที่พวกเขายังไม่มีทรัพยากรในการสร้างเพิ่มเติม
- เราอนุญาตให้ใช้เวลาหนึ่งเดือนในการพัฒนาเพื่อรองรับผู้ที่อาศัยการคำนวณ CPU / ช้าลง
- ภาษาจะถูกตัดสินภายใน 'วงดนตรี' - ทรัพยากรสูงทรัพยากรขนาดกลางและทรัพยากรต่ำ - เพื่อให้แน่ใจว่าการแข่งขันที่ยุติธรรมระหว่างภาษาที่มีอยู่ในบริบทที่แตกต่างกัน
- เรากำลังสร้างรูบริกแบบองค์รวมที่ยืดหยุ่นซึ่งทำให้ผู้พิพากษาสามารถดูปัจจัยการเพิ่มมูลค่าของระบบนิเวศนอกเหนือจากตัวชี้วัดประสิทธิภาพเช่นอัตราความผิดพลาดของคำ
- สำหรับชุมชนชายขอบที่มีความกังวลด้านการกำกับดูแลเกี่ยวกับการปล่อยโมเดลของพวกเขาภายใต้ใบอนุญาตโอเพ่นซอร์สพวกเขายินดีที่จะส่งด้วยคำอธิบายเกี่ยวกับผลกระทบนั้นและสิ่งนี้จะได้รับการพิจารณาตาม
ผู้พิพากษาของเรา
ใครคือแผงตัดสิน?
- ศาสตราจารย์ฟรานซิส Tyers - ที่ปรึกษาภาษาศาสตร์การคำนวณมูลนิธิ Mozilla และวิชาการมหาวิทยาลัยอินดีแอนา
- Dr Vitaly Lavrukhin - นักวิทยาศาสตร์การวิจัยที่ใช้งานหลัก, Nvidia
- Wiebke Hutiri - ผู้สมัครระดับปริญญาเอกที่ Delft University of Technology - Fairness in Voice Tech
- Dr Abeba Birhane - AI Fellow Mozilla
- Rebecca Ryakitimbo - Community Fellow, Kiswahili
- Britone Mwasaru - Community Fellow, Kiswahili
- Dr Josh Meyer- ผู้ร่วมก่อตั้ง Coqui
- Stefania Delprete - นักวิทยาศาสตร์ด้านข้อมูลและตัวแทนชุมชน MCV ของอิตาลี
- Kathy Reid - ผู้สมัครปริญญาเอกที่มหาวิทยาลัยแห่งชาติออสเตรเลีย - อคติในเทคโนโลยีการพูด, โอเพ่นซอร์ส
- Gabriel Habayeb - วิศวกรข้อมูลอาวุโส Mozilla Foundation
กระบวนการส่ง
ในการส่งรหัสของคุณสำหรับการแข่งขันคุณควรทำสิ่งต่อไปนี้:
- แยกที่เก็บนี้ใน GitHub
- สร้างไดเรกทอรีใหม่ในไดเรกทอรีย่อยของการส่ง/ ที่สอดคล้องกับหมวดหมู่ที่คุณต้องการส่งใน
- กระทำและผลักดันรหัสของคุณไปยังไดเรกทอรีย่อยในส้อมของคุณ
- เปิดคำขอดึงไปยังที่เก็บนี้
- จากนั้นคุณต้อง ส่งการส่งครั้งสุดท้ายของคุณ โดยใช้แบบฟอร์มนี้ การส่งที่ไม่ได้ส่งผ่าน TypeForm จะ ไม่สามารถพิจารณาได้
