3D صوت الشطرنج
لعبة شطرنج ثلاثية الأبعاد ذات الصوتية متعددة اللغات لتعلم وتدريس صوت AI باستخدام Coqui STT باستخدام نماذج لغة المفردات المحدودة.
يرجى ملاحظة: هذا الريبو ليس جاهزًا للإنتاج. إنه في مكان ما بين إصدارات ألفا وبيتا اعتبارًا من 1 أبريل 2022.
القدرات الحالية:
- خادم مستخدم واحد لخادم الكلام لإعادة إرسال استدلال STT (nodejs) (أي أنه يعمل على عقدة حربية واحدة - لكننا ندعم تجمع الخادم)
- الواجهة الأمامية ثلاثية الأبعاد (صوت فقط واجهة متعددة اللغات مع بعض الأزرار ومساحات الإخراج)
- اللغات المدعومة حاليًا: DE (الألمانية) ، EN (الإنجليزية) ، TR (التركية)
- تلعب ضد نفسك :)
لقد فتحنا موقع اختبار مدعوم من تجمع خادم لاختباراتنا.
ملخص المحتوى
- خلق النموذج الصوتي: نموذج مثال دفتر (TODO)
- خلق نموذج اللغة: جميع الملفات لإنشاء نموذج لغة محدد لمجالك
- تفاعل الصوتية: الواجهة الأمامية-React & Three.JS تنفيذ
- خادم الصوتية: الخادم-تطبيق Nodejs اتصال واحد بسيط
كيفية التثبيت
تودو
كيفية المساهمة
- إنشاء نماذج صوتية ولغة جديدة بلغتك
- أفضل صياغة تتعلق بالشطرنج للغات الموجودة إذا لزم الأمر
- ترجمة ملفات الموارد (messages.json)
- اختبار الأفكار ، ردود الفعل في القضايا ؛ يرتكب و PR
كيف يمكنني إضافة لغتي؟
- احصل على معلومات حول مصطلحات الشطرنج بلغتك (إذا كنت لا تعرف بالفعل - ويكيبيديا ويساعد يوتيوب).
- فحص الجمل/البرمجة الحالية في مولدات الجملة الشطرنج.
- انسخ مولد جملة مناسب ، أعد تسميته إلى رمز اللغة الخاص بك وترجمته/التكيف.
- ابحث عن نموذج صوتي Coqui STT متوافق (ملف .tflite) أو تدريب واحد من مجموعات البيانات الصوتية المشتركة Mozilla.
- ترجمة ملفات الموارد (messages.json)
- اختبر نتائجك على خادم/عميل متشعب محليًا وتحسين النماذج الخاصة بك إذا لزم الأمر.
- قم بتقديم طلب سحب (PR) لإضافة نموذجك الصوتي (.tflite) ، نموذج اللغة (.scorer) إلى صوتي-خادم الصوتي/DIR ، إضافة ملف لغة JSON المولدة وملفات الرسائل المترجمة.
إذا لم تتمكن من القيام ببعض هذه ، فيرجى فتح مشكلة حتى نتمكن من المساعدة.
معلومات أخرى
النماذج الصوتية واللغة الحالية
يمكن العثور على معلومات مفصلة هنا.
مشاريع مفتوحة المصدر المستخدمة
- الصوت: Coqui STT ، مثال Coqui ، Kenlm ، Mozilla Common Voice Datasets.
- 3D UI: Three.JS & React-ثلاثة ألياف (مع Drei و Zustand)
- الشطرنج: الشطرنج لبيانات الشطرنج وعناصر التحكم (لا AI أو واجهة المستخدم الرسومية).
يتم تكييف الرمز المرتبط بالعميل والخادم من The Coqui Example Web_Microphone_websocket.
المعلومات التاريخية
يتم إنشاء الإصدار الأول من المشروع خلال Hackathon "Hack the Planet" من Coqui.ai في مهرجان Mozilla 2022 ، بين 8-15 مارس.
كانت الفكرة الرئيسية هي تنفيذ تطبيق تمكين الكلام في أسبوع واحد. صوتت مجموعة من الأشخاص من أجل تنفيذ لعبة صوتية تسيطر عليها (TIC-TAC-TOE) ، لكن الفكرة أصبحت شطرنج ثلاثي الأبعاد مدفوع بصوت متعدد اللغات. تم تشكيل فريق وأصبح تطبيق تطبيق الشطرنج هو الهدف. وكان أعضاء الفريق Bö ، JF ، KM ، MK.
كان هذا تطبيقًا من جزأين في البداية:
- جزء الخادم هو تطبيق Node.js يقوم بـ STT الفعلي
- العميل هو تطبيق React.js الذي يسجل الجمل ويتواصل مع الخادم للنسخ عبر socket.io ، والتحقق منه ، ويظهر على المتصفح مع Three.js وبمساعدة الشطرنج.
نظرًا لقيود الإطار الزمني المحدود وقيود الوقت الفردية ، أبقت المجموعة التوقعات محدودة أيضًا.
- جزء واجهة المستخدم هو الحد الأدنى ، ولكن العمل. على سبيل المثال ، لا يوجد لعب يدوي ، ميزات واجهة المستخدم المحسّنة وما إلى ذلك.
- تم اختيار عينة من اللغات ، ولكن يمكن توسيعها بلغات أخرى.
- هناك العديد من التنسيقات القيادية للشطرنج. لتبسيط سير العمل بأكمله ، يضطر المستخدم إلى استخدام تنسيق واحد في هذا الإصدار:
"Move <piece> from <fromCell> to <targetCell>".
هنا "قطعة" هي اسم قطعة الشطرنج ، مثل King ، Bishop etc ، "Cell" هو تنسيق المجلس Col-Row (الأعمدة: AZ ، الصفوف: 1-8).
- بعد عدة تجارب مع اللغة الإنجليزية والتركية ، اكتشفنا الاعتراف بشخصيات أبجدية واحدة ليست قوية بما فيه الكفاية (شبه مستحيل) ، لذلك استخدمنا أبجدية الناتو: ألفا ، برافو ، ... فندق. باستثناء تسمية الناتو ، تم ترجمة صياغة أخرى إلى لغات ذات صلة.
- قم بتضمين دعم اللغات التالية: - الألمانية والإنجليزية والفرنسية والهندية والروسية والتركية
في نهاية مدة المشروع ، تم تقديم برنامج شبه يعمل للغة الإنجليزية والتركية.
يمكنك مشاهدة فيديو عرض المشروع الأولي هنا.
وكما وعدت في نهاية العرض التقديمي ، نواصل تطوير وجعله مفتوح المصدر هنا.
