fatush

مجموعة أدوات الترجمة

مجموعة من البرامج النصية لتبسيط ترجمة ملفات Markdown باستخدام متاجر Vector والتعلم العميق.

ملخص

توفر مجموعة الأدوات هذه مجموعة من البرامج النصية Python المصممة لتبسيط عملية الترجمة للملفات المميزة. تستفيد البرامج النصية من نماذج التضمين لتعزيز دقة استرجاع المستندات وتحسين تدفق الترجمة الكلي.

البرامج النصية

نص تهيئة

Search_word.py

يقوم البرنامج النصي search_word.py بتهيئة محرك بحث لاسترداد المستندات ذات الصلة بناءً على التضمينات. إنه مصمم للعمل مع ملفات Markdown بلغات متعددة. يعتمد تطبيق CLI على Typer.

الاستخدام

1. تثبيت:

   • تثبيت الوحدة نفسها:
     • تثبيت مجموعة الأدوات: pip install fatush
     • ثم قم بتشغيل البرنامج النصي: fatush run
   • تثبيت المشروع بأكمله:
     • استنساخ هذا المستودع: git clone https://github.com/alperiox/fatush.git
     • قم بتغيير الدليل إلى مجلد المشروع: cd fatush
     • تثبيت التبعيات المطلوبة باستخدام PIP أو الشعر: pip install -r requirements.txt أو poetry install

2. إعدادات:

   • قم بتشغيل البرنامج النصي للتهيئة: python fatush/search_word.py run
   • اتبع المطالبات لإعداد التكوين الأولي.
   • إذا لم يتم العثور على ملف config.yaml ، فسيحضر البرنامج النصي المستندات من برنامج Fastapi repo وإنشاء ملف التكوين اللازم.

3. مستندات المعالجة:

   • سيقوم البرنامج النصي بمعالجة المستندات بناءً على التكوين المقدم.
   • ستقسم خط المستندات سطرًا ثم حساب تضميناتها لإعداد متجر Vactor Vector.

4. تحميل نموذج التضمين:

   • نموذج التضمين المستخدم هو All-Minilm-L6-V2 ، وهو أمر شائع إلى حد ما في VectorStores.

5. متجر المتجهات:

   • إذا لم يتم العثور على مسار متجر المتجهات في التكوين ، فسيتم بنائه وتحميله. سيتم تحميله تلقائيًا خلاف ذلك.
   • حاليا ، متجر المتجهات الوحيد الذي تم تنفيذه هو FAISS.

6. تهيئة محرك البحث:

   • تتم تهيئة محرك البحث باستخدام نموذج التضمين المحمّل ومتجر المتجهات.
   • سيبدأ البرنامج النصي عملية الاستدلال لتوفير نتائج البحث ذات الصلة.

7. تودوس:

   • اختبارات التكامل
   • نأمل أن يكون تطبيق الويب يعتمد على fastapi
   • أداة أخرى لاقتراح ترجمات أولية تلقائيًا للنص المحدد
   • حاليًا ، لا تغطي البرامج النصية جميع الاستثناءات. قد يتطلب منك ذلك إعادة تكوين البرنامج النصي عن طريق حذف ملف التكوين والمستودع الذي تم تنزيله إذا لم تقم بتشغيل البرنامج النصي مباشرة دون تكوين أي خيارات.

خيارات التكوين لـ search_word.py

• source_lang : رمز لغة المصدر (على سبيل المثال ، "EN").
• translation_lang : رمز لغة الترجمة (على سبيل المثال ، 'tr').
• docs_path : مسار إلى المستندات (الافتراضي هو دليل العمل الحالي).
• vectorstore_path : Path to the Vector Store (الافتراضي هو دليل العمل الحالي).

ملحوظة

نظرًا لأن المشروع مبني على تجربتي في ترجمة وثائق Fastapi ، فإن التجريد الجميل أمر لا بد منه لمجموعة أدوات قابلة للاستخدام بشكل عام. ذلك لأن هناك العديد من المتغيرات المرمزة في الوقت الحالي ، مثل جلب الوثائق من مستودع Fastapi.