الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

الهمس

هذا هو روابط Unity3D لـ Whisper.cpp. إنه يوفر استنتاجًا عالي الأداء لنموذج التعرف على الكلام التلقائي (ASR) من Openai الذي يعمل على جهازك المحلي.

يأتي هذا المستودع مع أوزان نموذج "ggml-tiny.bin". هذا هو أصغر وأسرع إصدار من طراز الهاوية ، ولكن لديه جودة أسوأ مقارنة مع النماذج الأخرى. إذا كنت تريد جودة أفضل ، تحقق من أوزان الطرز الأخرى.

الميزات الرئيسية:

  • متعدد اللغات ، يدعم حوالي 60 لغة
  • يمكن أن تترجم لغة إلى أخرى (على سبيل المثال الخطاب الألماني إلى النص الإنجليزي)
  • أحجام مختلفة من النماذج التي توفر مقايضات السرعة والدقة
  • يعمل على جهاز المستخدمين المحليين دون اتصال بالإنترنت
  • مجاني ومفتوح المصدر ، يمكن استخدامه في المشاريع التجارية

المنصات المدعومة:

  • Windows (x86_64 ، CUDA اختياري)
  • ماكوس (Intel و ARM ، المعدن الاختياري)
  • Linux (x86_64 ، CUDA اختياري)
  • iOS (جهاز ومحاكاة)
  • Android (ARM64)
  • WebGL (انظر هذه المشكلة)
  • Visionos

عينات

multilang.mp4

نموذج "Whisper-Small.bin" تم اختباره باللغة الإنجليزية والألمانية والروسية من الميكروفون

tiny.mp4

نموذج "Whisper-tiny.bin" ، 50x أسرع من الوقت الحقيقي على MacBook مع M1 Pro

ابدء

استنساخ هذا المستودع وفتحه كمشروع وحدة منتظمة. لأنه يأتي مع أمثلة وأوزان نموذجية متعددة اللغة.

بدلاً من ذلك ، يمكنك إضافة هذا المستودع إلى مشروعك كحزمة وحدة . أضفه بواسطة عنوان URL GIT هذا إلى مدير حزمة الوحدة الخاص بك: 

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

دعم CUDA

يتوقع مشروع Unity الذي تم تجميعه باستخدام CUDA الممكّن أن يكون لدى المستخدمين النهائيين مكتبات NVIDIA GPU و CUDA. محاولة تشغيل البناء دون أن يؤدي إلى خطأ.

لتشغيل الاستدلال مع CUDA ، ستحتاج إلى دعم GPU وتثبيت مجموعة أدوات CUDA (تم اختبارها بـ 12.2.0).

بعد ذلك انتقل إلى إعدادات المشروع => Whisper => تمكين CUDA . هذا يجب أن يجبر الحزمة على استخدام المكتبة التي تم تجميعها لـ CUDA.

دعم المعادن

يدعم Whisper.CPP المعادن فقط على عائلة Apple7 GPU أو أحدث (بدءًا من رقائق Apple M1). محاولة التشغيل على الأجهزة الأقدم سوف تتوقف عن الاستدلال على وحدة المعالجة المركزية.

لتفعيل الاستدلال المعدني ، انتقل إلى إعدادات المشروع => Whisper => تمكين المعدن . هذا يجب أن يجبر الحزمة على استخدام المكتبة المترجمة للمعادن.

تنزيل أوزان النموذج الأخرى

يمكنك تجربة أوزان طراز همسة مختلفة. على سبيل المثال ، يمكنك تحسين نسخ اللغة الإنجليزية باستخدام الأوزان الإنجليزية فقط أو عن طريق تجربة نماذج أكبر.

يمكنك تنزيل الأوزان النموذجية من هنا. فقط ضعهم في مجلد StreamingAssets الخاص بك.

لمزيد من المعلومات حول الاختلافات في النماذج ، اقرأ التنسيقات Whisper.cpp readme و Openai ReadMe.

تجميع مكتبات C ++ من المصدر

يأتي هذا المشروع مع مكتبات prebuild من Whisper.cpp لجميع المنصات المدعومة. يمكنك إعادة بنائها من المصدر باستخدام إجراءات github. للقيام بذلك ، اجعل شوكة هذا الريبو وانتقل إلى Actions => Build C++ => Run workflow . بعد الانتهاء من خط الأنابيب ، قم بتنزيل المكتبات المترجمة في علامة تبويب القطع الأثرية.

في حال كنت ترغب في إنشاء مكتبات على جهازك:

  1. استنساخ مستودع Whisper.cpp الأصلي
  2. Checkout Tag V1.5.5. قد لا تعمل الإصدارات الأخرى مع روابط الوحدة هذه.
  3. افتح مجلد Whisper.Unity مع سطر الأوامر
  4. إذا كنت تستخدم Windows Write: 
. b uild_cpp.bat cpu path t o w hisper
  1. إذا كنت تستخدم MacOS اكتب: 
sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake
  1. إذا كنت تستخدم Linux Write 
sh build_cpp_linux.sh path/to/whisper cpu
  1. إذا كانت Build كانت المكتبات التي تم تجميعها ناجحة ، فيجب تحديث مجلد Plugins الحزمة تلقائيًا.

ستنتج Windows مكتبة Windows فقط ، لن تنتج Linux Linux فقط. ستنتج MacOS مكتبات MacOS و iOS و Android.

تم اختبار برنامج MacOS Build Script على MAC مع معالج ARM. بالنسبة لمعالجات Intel ، قد تحتاج إلى تغيير بعض المعلمات.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.

يستخدم المكتبات المترجمة والوزن من Whisper.cpp الذي يخضع لترخيص معهد ماساتشوستس للتكنولوجيا.

رمز الهمس Openai الأصلي والأوزان هي أيضا تحت رخصة معهد ماساتشوستس للتكنولوجيا.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل