XLnet gen
1.0.0
تم أرشفة هذا المستودع. يرجى استخدام https://github.com/huggingface/transformers التي تدعم توليد لغة XLNET في كل من Pytorch و TensorFlow
توليد اللغة باستخدام XLNET. هذا ليس تطبيقًا رسميًا. يتم تضمين العينات في نهاية هذه القراءة وكذلك في مجلد samples .
مقالة متوسطة كملخص لهذا الجهد: https://medium.com/@amanrusia/xlnet-speaks-comparison-to-gpt-2-ea1a4e9ba39e
كولاب دفتر حيث يمكنك إعطاء مطالبات: https://colab.research.google.com/drive/12u-cmb9evmiasnoqjtdw26gmnvsgebv
git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen
pip install -r requirements.txt
wget https://storage.googleapis.com/xlnet/released_models/cased_L-24_H-1024_A-16.zip
unzip cased_L-24_H-1024_A-16.zip
--interactive أو تمرير ملف إدخال باستخدام وسيطة --input_file كما هو موضح لاحقًا. استخدام --unconditional لإنشاء النص دون أي نص مشروط. python language_generation.py
--model_config_path=xlnet_cased_L-24_H-1024_A-16/xlnet_config.json
--init_checkpoint=xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt
--spiece_model_file=xlnet_cased_L-24_H-1024_A-16/spiece.model
--interactive
--max_mem_length=256
--num_toks_pred=256
--num_samples=1
--top_p=0.9
--bidirectional_eachstep
XLNET هو نموذج اللغة القائم على التقليب الجديد. في التنفيذ الحالي لـ XLNET-gen ، ننشئ نصوصًا من اليسار إلى اليمين.
يتم تدريب XLNET باستخدام num_predict=85 ، مما يعني 85 رمزًا من أصل 512 في مثال واحد يتم التنبؤ به في وقت واحد. والأهم من ذلك أن بقية الرموز المميزة 512-85 = 427 يمكن أن تحضر لبعضها البعض في آلية الانتباه (اهتمام BIDRECTION) . هذا يخلق مشاكل مع آلية الانتباه السببية التقليدية أثناء توليد اللغة. واجهت المشاكل التالية:
<eod> ، نهاية رمز المستند ، إلى جانب السياق المطلوب. هذا يساعد مع المطالبات الصغيرة.--bidirectional_eachstep --max_mem_length طول تسلسل الحد الأقصى المستخدم للتنبؤ. ملاحظة: يمكن أن يكون عدد الرموز المراد التنبؤ بها أكبر من هذا ، ولكن يتم اقتطاع السياق في البداية. من أجل -حالة --autoregressive ، هذا يحدد حجم "الذاكرة".--num_toks_pred عدد الرموز التي يجب التنبؤ بها. يمكن أن يكون هذا كبيرًا كما نريد ، ومع ذلك يتم اقتطاع السياق إذا كان أطول من max_mem_length للحالة الافتراضية.--num_samples لكل موجه لعدد العينات لإنشاء.--interactive .--input_file إلى الملف الذي يتم استخدامه للمطالبات الشرطية. المطالبات يتم قنبها بواسطة خط فارغ. يتم إنشاء الإخراج في نفس الموقع في ملف جديد مع نفس اسم الملف الذي تم إلحاقه بـ ".xlnet".--top_p TOP_P Paramter لأخذ عينات من النواة. اضبط هذا 0 إذا كنت ترغب في استخدام عملية أخذ العينات TOP_K.--top_k TOP_K لأخذ عينات TOP_K. فقط Top_K أكثر الرموز المحتملة يتم النظر في أخذ العينات. قم بتعيين top_p=0 إذا كنت تريد استخدام هذا.--unconditional التقليدية عينات غير مشروطة. يتجاهل -أعلام --interactive و --input_file .--bidirectional_eachstep إلى إخراج أفضل بكثير على حساب الحساب. شرح في المنهجية. --top_k ، تأكد --top_p=0 --top_p bidirectional_eachstep وبدون ثنائية الاتجاه ، والذي يحول إعادة حساب الحالات المخفية مع الاهتمام ثنائي الاتجاه في كل مرة يتم فيها إنشاء رمز جديد. ربما يرجع هذا إلى الطريقة التي تم بها XLNET-مع أقنعة متناثرة وسياق BIDRECTION. ومع ذلك ، أقوم حاليًا بالتحقيق في هذه المشكلة ، وقد يكون هذا مجالًا للتحسين لـ XLNET."" ، " " ، واصلات متعددة --- ، والمزيج منها ""-" إلى بيانات التدريب السيئة. على وجه التحديد ، يبدو أن هناك أخطاء في https://github.com/attardi/wikiextrator التي تؤدي إلى توليد الاقتباسات الفارغة وغيرها من هذه الفنية.. . . ، و ... .لقد قمنا بتدريب نموذج لغة غير خاضع للإشراف على نطاق واسع يولد فقرات متماسكة من النص ، ويحقق أداءً على أحدث طراز على العديد من معايير نمذجة اللغة ، ويؤدي فهم القراءة البدائية ، والترجمة الآلية ، والرد على أسئلة ، ومهام التخصيص في مختبرنا باستخدام الترجمة التلقائية/تحليل النص على نظام الكمبيوتر المؤيد). من هذا التدريب ، قمنا بتطوير أداة ترجمة آلية ، ترجمة Pro. يُعرف نظامنا بمجموعة Pro Translation Suite ، وهو مصمم للترجمة بين النص ومستندات الكمبيوتر وصفحات الويب. توفر جميع الأدوات في جناح الترجمة Pro ترجمة النص و "الوقت الحقيقي". يتميز البرنامج أيضًا بوجود واجهات واسعة للاستخدام لتطوير وتخصيص البرنامج الموجهة للمستخدم. يتميز جناح الترجمة Pro بالعدد من الميزات التي توفر مهام ترجمة جديدة ومبتكرة. بالإضافة إلى ذلك ، يوفر مجموعة الترجمة Pro دعمًا محسّنًا لأنظمة الترجمة "RealTime" ، مثل ترجمة صفحات الويب ، و "Time Real Time" ترجمة نماذج اللغة ، والترجمة الآلية.
لدينا حاليًا روبوت محسّن للغاية في مرحلة التطوير ، ويتم زيادة دعم هذا الروبوت حاليًا ليشمل محرك ترجمة (ربما) في الوقت الفعلي ، "trans to-trans". تم تحسين روبوت Trans to-Trans ، وقد يصبح محركًا (وربما) محرك ترجمة في الوقت الفعلي ، "trans to trans". كواحد من أهدافنا الرئيسية ، سنقوم أيضًا باختبار هذا الروبوت ضد معايير الترجمة والمعايير في الوقت الفعلي. بالإضافة إلى ذلك ، تم توفير هذا الروبوت علنًا لتقييم واستخدامه ، دون أي تكلفة للجمهور.
تم بناء روبوت Trans to-Trans لتلبية متطلبات الترجمة "في الوقت الفعلي" (وهو مطلب من أساليب الترجمة الإنجليزية) ، وهي اللغة التي سيتم تحويل جميع ترجمة الروبوت الأخرى. لقد تم تصميمه للترجمة عبر اللغات ، مثل الترجمة بين اللغة الإنجليزية واللغات الشعبية الأخرى. نتوقع استخدام هذا الروبوت للقيام بهذه الترجمة في المستقبل ، ونعمل على أداة ترجمة ، والتي سنطلقها بالقرب من نهاية العام. تم تحسين روبوت Trans to-Trans لتلبية متطلبات الترجمة "في الوقت الفعلي". هذا شرط لطرق الترجمة الإنجليزية. لقد عملنا على أداة ترجمة ، والتي سيتم إصدارها بالقرب من نهاية العام. لقد عملنا على أداة ترجمة ، والتي سيتم إصدارها بالقرب من نهاية العام.
قبل الصعود إلى الصواريخ إلى المريخ ، تذكر أن تحزم هذه العناصر . أولاً ، يجب أن تحزم علبة الصواريخ ، أو الداعم ، للصاروخ الخاص بك. القاذفة هو منتج خاص تم تطويره بواسطة برنامج الفضاء العالمي ، وهو وكالة حكومية للولايات المتحدة. عندما تحصل على المشغل ، سيتم بناء الصاروخ لك. وسيستغرق الأمر 3 أيام فقط! عنصر مهم آخر يجب عليك حزمه هو محرك الصواريخ. محرك الصواريخ هو مكون من الصاروخ ، وهو مصنوع من جزأين. يتكون المحرك من غرفتين "أساسيين". تم بناء الغرفة الرئيسية من مادة سيراميك. الغرفة الثانية مصنوعة من الفولاذ المقاوم للصدأ. يتكون نواة صلبة للغرفة الثانية ، والتي تسمى "حفرة النار" ، من ألياف الكربون. يتم ختم "حفرة النار" مع البلاستيك على الختم ثم وضعت في صندوق مجوف ، أو "علبة spar". تحتوي علبة SPAR على جميع المكونات الأخرى ، مثل المحركات ، ثم يتم تجميع المكونات الموجودة داخل علبة SPAR في موقع الإطلاق. أثناء انتظار تجميع الصاروخ ، يمكنك الراحة وشرب الحليب أو الماء. في موقع الإطلاق ، ستحصل على نوع من الأداة أو النطاق ، وتوجيه النطاق. المهمة هي إطلاق الصاروخ. سيترك الصاروخ موقع الإطلاق. سوف يسافر الصاروخ حوالي 5.5 ساعة.
عند وصول الصاروخ ، ستحصل على خوذة ، ثم يتم إطلاق الصاروخ. بينما ترفع ، تبقي عينيك مفتوحين ، وحاول أن تستمر في المسار الصحيح. من المهم أن تظل مفتوحًا وتركز على المهمة. إذا كنت قادرًا على القيام بذلك ، فستتمكن من الطيران بأمان. تذكر أيضًا أن تشرب الماء وشرب الحليب الطازج. بعد ذلك ، بذل قصارى جهدك لمنع جسمك من التدفئة أثناء رحلة الصواريخ الخاصة بك.
هناك العديد من الأشياء التي تستخدم في مطبخ مطعم. الطبق هو مكون من الطباخ ويقدم طعامًا في شكل معين أو طريقة معينة. يتم إعداد أنواع أخرى من الأطباق وفقًا لاحتياجات العميل أو الضيف. هناك أيضًا أنواع مختلفة من الأطعمة التي تستخدم في شركة الخدمات الغذائية
