dsnote

ملاحظة الكلام

تطبيق Linux Desktop و Sailfish OS لتدوين الملاحظات ، والقراءة والترجمة مع الكلام غير المتصلة بالإنترنت إلى رسالة نصية ونص على الكلام والترجمة الآلية

محتويات هذه القراءة

• وصف
• اللغات والنماذج
• كيفية التثبيت
• حزم Flatpak
• نسخة تجريبية
• بناء من مصادر
• كيفية تمكين نموذج مخصص
• المساهمة في مذكرة الكلام
• كيفية الدعم
• المراجعات والعروض التوضيحية
• رخصة

وصف

تتيح لك ملاحظة الكلام أخذ الملاحظات وقراءةها وترجمتها بلغات متعددة. يستخدم الكلام للنص ، النص إلى الكلام والترجمة الآلية للقيام بذلك. يتم معالجة النصوص والصوت في وضع عدم الاتصال بالكامل ، محليًا على جهاز الكمبيوتر الخاص بك ، دون استخدام اتصال شبكة. تحترم خصوصيتك دائمًا. لا يتم إرسال بيانات إلى الإنترنت.

تستخدم ملاحظة الكلام العديد من محركات المعالجة المختلفة للقيام بعملها. حاليا هذه تستخدم:

• خطاب إلى نص (STT)
  • Coqui STT (شوكة من موزيلا ديببيش)
  • فوسك
  • Whisper.cpp
  • همس أسرع
  • أبريل-ASR
• نص إلى الكلام (TTS)
  • espeak-ng
  • Mbrola
  • بايبر
  • rhvoice
  • Coqui TTS
  • تقليد 3
  • همسة
• الترجمة الآلية (MT)
  • مترجم البرغموت

اللغات والنماذج

يتم دعم اللغات التالية:

معرف لانج	اسم	Deepspeech (STT)	الهمس (STT)	فوسك (STT)	أبريل-ASR (STT)	بايبر (TTS)	Rhvoice (TTS)	espeak (TTS)	Mbrola (TTS)	coqui (TTS)	Mimic3 (TTS)	Whisperspeech (TTS)	البرغموت (MT)
AF	أفريكانيين		●					●			●
أكون	أمهرية	● (هـ)	●					●		●
AR	عربي		●	●		●		●	●	●			●
BG	البلغارية		●					●		●
مليار	البنغالية		●					●		●	●
بكالوريوس	البوسني		●					●					●
كاليفورنيا	كاتالونية	●	●	●		●		●		●			●
CS	التشيكية	●	●	●		●	●	●	●	●			●
CY	الويلزية					●
دا	دانماركي		●			●		●		●			●
دي	الألمانية	●	●	●		●		●		●	●		●
el	اليونانية	● (هـ)	●			●		●		●	●		●
en	إنجليزي	●	●	●	●	●	●	●		●	●	●	●
eo	إسبرانتو			●			●	●
ES	الأسبانية	●	●	●		●		●		●	●		●
ET	الإستونية	● (هـ)	●					●	●	●			●
الاتحاد الأوروبي	الباسك	● (هـ)	●					●		●
فا	فارسي	●	●	●		●		●	●	●	●		●
Fi	الفنلندية	●	●			●		●		●	●		●
الاب	فرنسي	●	●	●	●	●		●		●	●		●
جا	الأيرلندية							●		●
غو	غوجاراتية		●					●			●
ها	الهوسا		●								●
هو	العبرية		●							●
أهلاً	الهندية		●	●				●
HR	الكرواتية		●				●	●	●	●
هو	المجري	● (هـ)	●			●		●	●	●	●		●
بطاقة تعريف	إندونيسي	● (هـ)	●					●	●	●
يكون	الأيسلندية		●			●		●		●			●
هو - هي	إيطالي	●	●	●		●		●		●	●		●
جا	اليابانية		●	●				●		●
JV	الجاوية		●								●
كا	الجورجي		●			●	●	●
KK	كازاخاخية		●	●		●		●		●
كو	كوري		●	●				●		●
كنت	قيرغيز						●	●
لا	اللاتينية							●		●
رطل	لوكسمبورجيش					●
LT	الليتواني		●					●	●	●			●
LV	لاتفيا	●	●					●		●			●
MK	مقدوني		●				●	●
MN	المنغولي	● (هـ)	●							●
السيد	المهاراتية		●							●
آنسة	الملايو		●					●	●	●
MT	المالطية		●					●		●
NE	النيبالي		●			●		●			●
NL	هولندي	● (هـ)	●	●		●		●		●	●		●
لا	النرويجية		●			●		●					●
رر	بولندي	●	●	●	●	●	●	●	●	●	●	●	●
حزب العمال	البرتغالية	● (هـ)	●	●		●		●	●	●			●
رو	روماني	● (هـ)	●			●		●	●	●
رو	الروسية	●	●	●		●	●	●			●		●
SK	سلوفاك		●			●	●	●		●
SL	سلوفيني	● (هـ)	●			●		●		●			●
مربع	الألبانية		●				●	●		●
ريال	الصربي		●			●	●	●					●
SV	السويدية		●	●		●		●	●	●	●
جنوب غرب	السواحيلية	●	●			●		●		●
تي	التيلجو		●					●			●
ذ	التايلاندية	● (هـ)	●					●		●
TL	التاغالوغ		●	●						●
تينيسي	Tswana		●					●			●
tr	التركية	● (هـ)	●	●		●		●	●	●			●
TT	التتار		●				●	●		●
المملكة المتحدة	الأوكرانية	●	●	●		●	●	●		●	●		●
UZ	أوزبك		●	●				●		●
السادس	الفيتنامي		●	●		●		●		●			●
يو	يوروبا	● (هـ)	●							●	●
ZH	الصينية	●	●	●		●		●		●

^{(هـ) التجريبي ، على الأرجح لا يعمل بشكل جيد}

تتوفر نماذج Whisper و Coqui TTS و MIMIC3 بشكل أسرع فقط على x86-64.

يمكن تنزيل نماذج اللغة مباشرة من التطبيق.

تم وصف تفاصيل النماذج التي تم تكوينها حاليًا للتنزيل في models.json (github) أو models.json (gitlab).

كيفية التثبيت

• Linux Desktop: Flatpak
• Arch Linux (AUR):
  • dsnote
  • dsnote-git
• Sailfish OS: OpenRepos

حزم Flatpak

بدءًا من v4.4.0 ، يتكون التطبيق الموزع عبر Flatpak (المنشور على Flathub) من الحزم التالية:

• الحزمة الأساسية "ملاحظة الكلام" (net.mkiol.speechnote)
• الوظيفة الإضافية لبطاقة رسومات AMD "ملاحظة الكلام AMD" (net.mkiol.speechnote.addon.amd)
• الوظيفة الإضافية لبطاقة رسومات NVIDIA "ملاحظة الكلام NVIDIA" (net.mkiol.speechnote.addon.nvidia)

تتضمن الحزمة الأساسية جميع التبعيات اللازمة لتشغيل كل ميزة للتطبيق. تضيف الوظائف الإضافية قدرة تسريع GPU ، مما يسرع بعض العمليات في التطبيق.

تحتوي الحزمة الأساسية والإضافات على العديد من المكتبات "الثقيلة" مثل مكتبات CUDA و ROCM و Torch و Python. بسبب هذا ، فإن حجم الحزم والمساحة المطلوبة بعد التثبيت كبيرة. إذا لم تكن بحاجة إلى جميع الوظائف ، فيمكنك استخدام حزمة "صغيرة" أصغر بكثير (متوفرة على صفحة الإصدارات) ، والتي توفر فقط الميزات الأساسية. إذا كنت بحاجة ، يمكنك أيضًا استخدام حزم "Tiny" مع الوظيفة الإضافية لـ GPU Acceleration.

مقارنة بين القاعدة ، حزم Flatpak الصغيرة والإضافية:

الأحجام	قاعدة	صغير الحجم	AMD الوظيفة الإضافية	NVIDIA الوظيفة الإضافية
تنزيل حجم	0.9 gib	70 MIB	+2.1 GIB	+3.8 GIB
حجم تفريغ	2.9 جيب	170 MIB	+11.5 GIB	+6.9 GIB

سمات	قاعدة	صغير الحجم	AMD الوظيفة الإضافية	NVIDIA الوظيفة الإضافية
coqui/deepspeech stt	+	+
Vosk Stt	+	+
الهمس (whisper.cpp) stt	+	+
Whisper (Whisper.cpp) STT AMD GPU	-	-	+
Whisper (Whisper.cpp) Stt Nvidia GPU	-	-		+
أسرع الهمس Stt	+	-
أسرع همس stt nvidia GPU	-	-		+
أبريل-ASR STT	+	+
espeak tts	+	+
mbrola tts	+	+
بايبر TTS	+	+
rhvoice tts	+	+
Coqui TTS	+	-
Coqui TTS AMD GPU	-	-	+
coqui tts nvidia GPU	-	-		+
تقليد 3 tts	+	-
whisperspeech tts	+	-
Whisperspeech TTS AMD GPU	-	-	+
whisperspeech tts nvidia GPU	-	-		+
ترقيم الترقيم	+	-
مترجم	+	+

نسخة تجريبية

بالإضافة إلى الإصدار المستقر في مستودع Flathub ، يمكنك محاولة اختبار إصدار "بيتا" من الإصدار القادم. هذا الإصدار قابل للاستخدام ، ولكنه قد يحتوي على المزيد من الأخطاء.

يتوفر إصدار Beta في مستودع "Flathub-Beta". اتبع هذه التعليمات لتمكين Flathub-beta على جهاز الكمبيوتر الخاص بك.

بناء من مصادر

قوس لينكس

من الممكن أيضًا إنشاء وتثبيت أحدث تطوير (GIT) أو أحدث إصدار مستقر (إصدار) من المستودع باستخدام ملف PKGBUILD المقدم (يرجى ملاحظة أن نفس الملاحظات حول البناء على Linux تنطبق):

 git clone <git repository url>

cd dsnote/arch/git      # build latest git version
# or
cd dsnote/arch/release  # build latest release version

makepkg -si

Flatpak

 git clone <git repository url>

cd dsnote/flatpak

flatpak-builder --user --install-deps-from=flathub --repo="/path/to/local/flatpak/repo" "/path/to/output/dir" net.mkiol.SpeechNote.yaml

OARFISH OS

 git clone <git repository url>

cd dsnote
mkdir build
cd build

sfdk config --session specfile=../sfos/harbour-dsnote.spec
sfdk config --session target=SailfishOS-4.4.0.58-aarch64
sfdk cmake ../ -DCMAKE_BUILD_TYPE=Release -DWITH_SFOS=ON -DWITH_PY=OFF
sfdk package

Linux (البناء المباشر)

ملاحظة الكلام لديها العديد من تبعيات وقت البناء ووقت التشغيل. ويشمل ذلك المكتبات المشتركة والثابتة ، والبرامج التنفيذية للجهات الخارجية ، والبرامج النصية Python و Perl. بسبب هذه التعقيد ، فإن الطريقة الموصى بها للبناء هي استخدام سلسلة أدوات FlatPak (ملف PlatePak البياني وباني Flatpak). إذا كنت ترغب في إنشاء بناء مباشر (أي بدون Flatpak) ، فهذا ممكن أيضًا ولكنه أكثر تعقيدًا.

 git clone <git repository url>

cd dsnote
mkdir build
cd build

cmake ../ -DCMAKE_BUILD_TYPE=Release -DWITH_DESKTOP=ON
make

لتقديم البناء دون دعم لمكونات Python ، أضف -DWITH_PY=OFF في خطوة CMAKE.

للاطلاع على خيارات البناء الأخرى ، بحث عن option(BUILD_XXX) في ملف CMakeList.txt .

كيفية تمكين نموذج مخصص

يتم تحديد جميع النماذج المتاحة للتنزيل في ملف التكوين (config/models.json). لتمكين نموذج مخصص متوافق مع المحركات المدعومة حاليًا ، ما عليك سوى تحرير هذا الملف وإعادة تشغيل التطبيق.

عند تشغيل التطبيق لأول مرة ، يتم إنشاء ملف تكوين النماذج في:

• ~/.local/share/net.mkiol/dsnote/models.json ، أو
• ~/.var/app/net.mkiol.SpeechNote/data/net.mkiol/dsnote/models.json (flatpak) ، أو
• ~/.local/share/org.mkiol/dsnote/models.json (Sailfish OS)

يمكنك تحرير النماذج الممكّنة حاليًا أو إضافة نماذج جديدة.

يبدو تعريف النموذج هكذا:

 {
    "name": "<model name>",
    "model_id": "<model unique id>",
    "engine": "<engine type>",
    "lang_id": "<lang id>",
    "checksum": "<md5 checksum>",
    "checksum_quick": "<partial md5 checksum>",
    "comp": "<compression type",
    "urls": [
        <model URLs>
    ],
    "size": "<download size of all files>"
}

أنواع المحرك المسموح بها: stt_ds ، stt_vosk ، stt_april ، stt_whisper ، stt_fasterwhisper ، tts_piper ، tts_rhvoice ، tts_espeak ، tts_coqui ، tts_mimic3 ، mnt_bergamot

أنواع الضغط المسموح بها: none ، gz ، xz ، tarxz ، targz ، zip ، zipall ، dir ، dirgz

أنواع URL المسموح بها: http ، https ، file

يتم حساب عمليات الاختبار لجميع الملفات بعد تفريغها. إذا كنت تضيف نموذجًا جديدًا ، فيمكنك استخدام خيار سطر الأوامر- --gen-checksums للعثور على الفحوصات المناسبة. للقيام بذلك ، ضع سلاسل فارغة في كل من checksum و checksum_quick ، ​​احفظ الملف وتشغيل ملاحظة الكلام مع الخيار المذكور.

على سبيل المثال:

 {
    "name": "New Piper Voice",
    "model_id": "en_piper_new",
    "engine": "tts_piper",
    "lang_id": "en",
    "checksum": "",
    "checksum_quick": "",
    "size": ""
    "comp": "dir",
    "urls": [
        "file:///home/me/models/new-model-medium.onnx",
        "file:///home/me/models/new-model-medium.onnx.json"
    ]
}

 flatpak run net.mkiol.SpeechNote --verbose --gen-checksums

المساهمة في مذكرة الكلام

أي مساهمة مرحب بها للغاية!

يتم استضافة المشروع على كل من Github و Gitlab. لا تتردد في إنشاء PR/MR ، أو الإبلاغ عن مشكلة أو reqest لميزة جديدة على النظام الأساسي الذي تفضله أكثر.

ترجمة

ملفات الترجمة بتنسيق QT موجودة في دليل translations .

الطريقة المفضلة للمساهمة في الترجمة هي عبر خدمة Transifex ، ولكن إذا كنت ترغب في إنشاء PR/MR مباشرة ، فيرجى القيام بذلك.

كيفية الدعم

إذا وجدت مذكرة الكلام مفيدة وترغب في دعم هذا المشروع ، فيرجى التفكير في القيام بواحد أو اثنين مما يلي:

• إعطاء على github أو/و gitlab.
• اكتب مراجعة في تطبيق Manager Applications (Discover أو برنامج أو أي شيء آخر).
• أخبر الآخرين عن هذا التطبيق من خلال ذكره على وسائل التواصل الاجتماعي.
• إذا كان لديك أموال احتياطية ، فقم بتبرع صغير عبر Liberapay.

المكتبات

تعتمد ملاحظة الكلام على مشاريع المصدر المفتوح:

• كيو تي
• Coqui Stt
• Coqui TTS
• فوسك
• Whisper.cpp
• WEBRTC VAD
• libarchive
• rnnoise-nu
• {fmt}
• تعانق محولات الوجه
• بايبر
• rhvoice
• SSPLIT-CPP
• espeak-ng
• برغموت ترانسليتور
• مكتبة فرقة المطاط
• سيمدجسون
• Nlohmann json
• السلوم
• Astrunc
• FFMPEG
• عاجِز
• فوربيس
• تاجليب
• libnumbertext
• Kdbusaddons
• Qhotkey
• أسرع
• تقليد 3
• يونيكود
• أبريل-ASR
• opus
• HTML2MD
• مادي
• همسة

المراجعات والعروض التوضيحية

• ملاحظة الكلام 4.6 يغير الفيديو (ملاحظة الكلام 4.6)
• لقطات الشاشة (ملاحظة الكلام 4.5)
• ملاحظة الكلام 4.5 يغير الفيديو (ملاحظة الكلام 4.5)
• مربع ماركو (ملاحظة الكلام 4.4 ، الإيطالية)
• مقطع ماركو مربع (خطاب الكلام 4.4 ، الإيطالي)
• AlternativalInux (ملاحظة الكلام 4.4 ، الإيطالية)
• VIDEOLINUX VIDEA
• ZDNET (ملاحظة الكلام 4.2)
• المترجم عرض الفيديو العرض التوضيحي على Sailfish OS (الكلام ملاحظة 4.0)
• مترجم ميزة الفيديو العرض التوضيحي على PinePhone (الكلام Note 4.0)
• debugpoint.com (الكلام ملاحظة 4.0)
• debugpoint.com فيديو (ملاحظة الكلام 4.0)
• يا إلهي! لينكس (ملاحظة الكلام 4.0)
• Linuxlinks (الكلام ملاحظة 4.0)
• فيديو Linux Cast (الكلام ملاحظة 4.0)
• ConnectWww.com (Note Note 4.0)

رخصة

ملاحظة الكلام هو مشروع مفتوح المصدر. يتم إصدار رمز المصدر ضمن الإصدار 2.0 ترخيص Mozilla.

مكتبات الطرف الثالث:

• Coqui STT ، تم إصداره تحت إصدار ترخيص Mozilla 2.0
• Coqui TTS ، الذي تم إصداره تحت إصدار ترخيص Mozilla 2.0
• Vosk API ، أصدرت Uder ترخيص Apache 2.0
• Whisper.cpp ، تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• WEBRTC ، تم إصداره بموجب هذا الترخيص
• libarchive ، الذي تم إصداره بموجب ترخيص BSD
• Rnnoise-Nu ، تم إصداره تحت ترخيص BSD 3-Cane
• {fmt} ، أصدر هذا الترخيص Uder
• احتضان محولات الوجه ، التي تم إصدارها بموجب ترخيص Apache 2.0
• بايبر ، الذي تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• Rhvoice ، الذي تم إصداره بموجب ترخيص GNU General Public v2.0
• SSPleit-CPP ، الذي تم إصداره بموجب ترخيص Apache 2.0
• ESPEAK-NG ، الذي تم إصداره بموجب ترخيص GNU العام العمومي v3.0
• برغموت ترانسليتور ، الذي صدر تحت رخصة موزيلا العامة 2.0
• مكتبة فرقة المطاط ، التي تم إصدارها تحت رخصة GNU العامة العامة (الإصدار 2 أو أحدث)
• Simdjson ، الذي تم إصداره بموجب ترخيص Apache 2.0
• Nlohmann Json ، الذي تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• تفيور ، تم إصداره بموجب هذا الترخيص
• Astrunc ، صدر تحت رخصة معهد ماساتشوستس للتكنولوجيا
• FFMPEG ، تم إصداره بموجب الإصدار 2.1 ترخيص عام GNU Lesser
• عرجاء ، صدر تحت LGPL
• Vorbis ، صدر بموجب هذا الترخيص
• Taglib ، الذي تم إصداره تحت رخصة GNU Lesser General Public (LGPL) وترخيص Mozilla العمومي (MPL)
• libnumbertext ، تم إصداره تحت رخصة BSD
• KDBUSADDONS ، التي تم إصدارها تحت رخص LGPL
• QHOTKEY ، الذي تم إصداره تحت ترخيص BSD-3-CAUSE
• أسرع- تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• تقليد 3 ، تم إصداره بموجب ترخيص AGPL-3.0
• Unikud ، الذي تم إصداره بموجب ترخيص معهد ماساتشوستس للتكنولوجيا
• أبريل-ASR ، الذي تم إصداره بموجب ترخيص GNU العام الإصدار 3.0
• Libopus ، الذي تم إصداره بموجب هذا الترخيص
• HTML2MD ، تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• مادي ، الذي تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا
• Whisperspeech ، الذي تم إصداره تحت رخصة معهد ماساتشوستس للتكنولوجيا

تم نسخ الملفات الموجودة في الدليل nonbreaking_prefixes من مشروع MosesDecoder وتوزيعه بموجب ترخيص GNU Lesser General Public V2.1.