bert_seq2seq

BERT_SEQ2SEQ

إطار صغير خفيف الوزن ، مرحبًا بك في Star إذا كنت تحب ~ شكرًا لك. إذا واجهت أي مشاكل ، فيمكنك أيضًا طرح مشكلة وستكون متأكدًا من الرد.

حاليا ، يتم إعادة إعادة تمهيد نسخة من التدريب الموزع. يمكنك تدريب GPUS مباشرة دون أوامر إضافية أو رمز إضافي ! مرحبًا بك في https://github.com/920232796/bert_seq2seq_ddp لمزيد من المعلومات

مرحبًا بك للانضمام إلى مجموعة الاتصالات ~ يمكنك طرح الأسئلة ، وتقديم الاقتراحات ، والتواصل مع بعضها البعض QQ Group: 975907202

يمكن لهذا الإطار حاليًا القيام بمهام NLP المختلفة ، والنماذج المدعومة هي:

1. بيرت
2. روبرتا
3. روبرتا لارج
4. GPT2
5. T5
6. نموذج Huawei Nezha
7. بارت الصين

المهام المدعومة هي:

1. SEQ2Seq على سبيل المثال ، كتابة القصائد ، والاقابات ، والعناوين التلقائية ، والملخصات التلقائية ، إلخ.
2. يصنف CLS_Classifier عن طريق استخراج متجه CLS في بداية الجملة ، مثل تحليل المشاعر ، وتصنيف النص ، والمطابقة الدلالية ، إلخ.
3. Sequence_labeling مهام وضع العلامات التسلسل ، مثل التعرف على الكيانات ، وشرح جزء من الكلام ، النعت النعت ، كلمة الصينية ، إلخ.
4. sequence_labeling_crf أضف مهمة وضع علامة تسلسل CRF إلى تأثير أفضل.
5. استخراج العلاقة بين العلاقة ، مثل مهمة الاستخراج الثلاثي. (مثال السيد سو جيانلين ليس هو نفسه بالضبط.)
6. يولد نموذج Simbert Simbert جملًا مماثلة ويصدر أحكام التشابه لجمل مماثلة.
7. multi_label_cls تصنيف متعدد العلامات.

يتحقق تحميل نماذج مختلفة عن طريق تعيين المعلمة "model_name" ، ويتم تحقيق مهام مختلفة عن طريق تعيين المعلمة "model_class". للحصول على التفاصيل ، يمكنك رؤية أمثلة مختلفة في أمثلة.

ملخص عنوان تنزيل النموذج الذي تم تدريبه مسبقًا:

1. يجب تنزيل نموذج Roberta Model و Model و Dictionary هنا على https://drive.google.com/file/d/1ineyfhcbjweusilnw_2k6smwxkm4glb_/view. للحصول على التفاصيل ، يمكنك الرجوع إلى مستودع GitHub هذا ~ https://github.com/ymcui/Chinese-bert-wwm ، ويمكن أيضًا تنزيل نموذج Roberta-large فيه.
2. Bert Model (كبير غير مدعوم حاليًا) ، قم بتنزيل وزن Bert Chinese قبل التدريب "Bert-Base-Chinese": "https://s3 "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-chinese-vocab.txt".
3. نموذج NEZHA ، وضع القاموس للوزن (حاليًا يدعم القاعدة فقط): نموذج NEZHA-BASE تنزيل: الرابط: https://pan.baidu.com/S/1Z0SJBISSKZAGS0LT9HFYZQ رمز: 4AWE.
4. نموذج GPT2 ، يمكنك عرض ملف GPT_Test في ملف الاختبار لاختبار إعادة كتابة النص. عنوان تنزيل النموذج والقاموس العام الصيني GPT2: https://pan.baidu.com/s/1vtyc8fjumlqrre5p0jrelw كلمة المرور: f5un
5. يستخدم طراز GPT2 English خصيصًا للإشارة إلى النموذج الذي تم تدريبه مسبقًا https://huggingface.co/pranavpsv/gpt2-genre-story-generator. للحصول على رمز التدريب المحدد ، يمكنك رؤية gpt2_english_story_train.py في المثال
6. وهو يدعم نموذج T5 ، باللغة الإنجليزية والصينية سواء ، ويستخدم حزمة Transformers مباشرة. للحصول على التفاصيل ، يمكنك رؤية الأمثلة ذات الصلة في مجلد الأمثلة. معلمات ما قبل التدريب تنزيل: https://github.com/renmada/t5-pegasus-pytorch
7. يدعم نموذج Simbert توليد جمل مماثلة ، ويمكن استخدام النموذج الذي تم تدريبه مسبقًا مع Bert و Roberta و Nezha.
8. BART الصيني نموذج تنزيل العنوان: https://huggingface.co/fnlp/bart-base-chinese

تتم الرجوع إلى بعض الرموز https://github.com/huggingface/transformers/ و https://github.com/bojone/bert4keras شكرًا جزيلاً! ! !

لقطات من آثار بعض الأمثلة الصغيرة

جيل GPT2

يدخل:

طقس جيد اليوم

الإخراج:

، ذهبت إلى هناك لمشاهدة فيلم مع أطفالي ، كان جيدًا حقًا! البيئة لا شيء ليقول. الفيلم رائع للغاية والمؤثرات الصوتية جيدة جدًا. لا أعرف ما إذا كان هذا المتجر لا يزال مفتوحًا. آمل أن تتمكن من التحقق من ذلك بشكل متكرر إذا كان لديك وقت.

كتابة قصيدة

بيرت+CRF ner

يدخل: الإخراج:

تصنيف نص إخباري (14 فئة)

الإخراج:

ner الطبي

يدخل:

قد تحدث تفاعلات المخدرات إذا تم استخدامها بشكل متزامن مع الأدوية الأخرى. يرجى استشارة طبيبك أو الصيدلي للحصول على التفاصيل. خذها بالماء المغلي ، 14 غراما في وقت واحد ، 3 مرات في اليوم. تغذية الدم ، وتنظيم الحيض ، وتخفيف الألم. يتم استخدامه لتدفق الدورة الشهرية المنخفض ، وآلام البطن الشهرية الخاطئ ، مجموعة Jianmin Group Yekai Thai Medicine (Suizhou) ، Ltd. 2. يجب على الأشخاص الذين يعانون من أمراض أخرى أن يأخذوها تحت إشراف الطبيب. 3. إذا كان لديك الحيض الطبيعي ، فيجب أن تذهب إلى المستشفى لتلقي العلاج بعد انخفاض مفاجئ في الحيض أو لديك فترة حيض خاطئ. 4. لعلاج عسر الطمث ، يُنصح بالدواء من 3 إلى 5 أيام قبل الحيض ويأخذه لمدة أسبوع واحد. إذا كانت هناك متطلبات خصوبة ، فيجب عليك أن تأخذها تحت إشراف الطبيب. 5- يجب على أولئك الذين لا يخففون عسر الطمث بعد تناول الدواء أو الذين يعانون من عسر الطمث الشديد أن يذهبوا إلى المستشفى للتشخيص والعلاج. 6. إذا كانت الأعراض لا تخفف بعد تناول الدواء لمدة أسبوعين ، فيجب أن تذهب إلى المستشفى للعلاج. 7. يحظر على أولئك الذين يعانون من حساسية لهذا المنتج ، ويستخدم بحذر إذا كنت تعاني من حساسية من الجسم. 8. يحظر استخدامها عندما تتغير خصائص هذا المنتج. 9. يرجى وضع هذا المنتج في مكان لا يمكن للأطفال الوصول إليه. 10. إذا كنت تستخدم أدوية أخرى ، فيرجى استشارة طبيبك أو الصيدلي قبل استخدام هذا المنتج. هذا المنتج هو دواء دون وصفة طبية للحيض غير المنتظم في أمراض النساء. تغذية الدم ، وتنظيم الحيض ، وتخفيف الألم. يتم استخدامه لآلام البطن أثناء الحيض. تغذية الدم ، وتنظيم الحيض ، وتخفيف الألم. يتم استخدامه لتدفق الدورة الشهرية المنخفض ، وآلام البطن في الحيض الخاطئ ، و 14 جرام*5 أكياس من الأدوية التي لا تحتاج إلى وصفة طبية (الفئة ب) ، ودليل التأمين الطبي الوطني (الفئة ب) ممنوع للنساء الحوامل. لا يُسمح لمرضى السكر بأخذها.

الإخراج:

اقتران

المطابقة الدلالية

النعت

ثَبَّتَ

1. تثبيت هذا الإطار pip install bert-seq2seq
2. تثبيت Pytorch
3. يمكن استخدام تثبيت TQDM لعرض شريط التقدم pip install tqdm
4. قم بإعداد البيانات الخاصة بك ، ما عليك سوى تعديل وظيفة read_data في رمز المثال ، وقم ببناء الإدخال والإخراج ، ثم ابدأ التدريب.
5. انتقل إلى مجلد المثال وقم بتشغيل ملف *_train.py المقابل. لمهام مختلفة ، قم بتشغيل ملفات Train.py مختلفة. تحتاج إلى تعديل بنية بيانات الإدخال والإخراج ثم إجراء التدريب. للحصول على التفاصيل ، يمكنك رؤية الأمثلة المختلفة في الأمثلة ~

بعض التفسيرات وظائف

def load_bert (word2ix ، model_name = "Roberta" ، model_class = "seq2seq")

تحميل نموذج BERT ، يحدد معلمة Model_Name أي BERT لاستخدامه ، يدعم حاليًا BERT و Roberta و Nezha ؛ يحدد Model_Class المهمة التي يجب استخدامها Bert ، SEQ2Seq يمثل مهمة التوليد ، تمثل CLS مهمة تصنيف النص ...

model.load_pretrain_params (pretrain_model_path)

تحميل معلمات نموذج BERT ، لاحظ أنه يتم تحميل معلمات التشفير فقط ، أي معلمات النموذج الذي تم تدريبه مسبقًا تم تنزيله من الإنترنت ؛ على سبيل المثال ، يتضمن نموذج SEQ2Seq معلمات طراز BERT + طبقة الاتصال الكاملة ، وهذه الوظيفة تقوم فقط بتحميل الجزء الأول من المعلمات.

def model.load_all_params (reght_model_path)

تحميل جميع معلمات النموذج. بعد أن تدربت لبعض الوقت وحفظ النموذج ، يمكنك تحميل نتائج تدريب النموذج الأخيرة من خلال هذه الوظيفة ، أو متابعة التدريب أو الاختبار.

إذا كنت ترغب في قراءة العديد من المقالات ، فيمكنك الانتقال إلى موقع الويب الخاص بي ~ http://www.blog.zhxing.online/#/ البحث عن قصائد أو مقاطع أو NER أو تصنيف النص التجريدي لإيجاد المقالة المقابلة. شكرا لك على دعمك.

تحديث السجلات

2021.11.12: رمز محسّن ، يدعم نموذج روبرتا لارج.

2021.10.12: تم تحسين طريقة فك تشفير NER. كانت هناك أخطاء في طريقة فك تشفير الحبيبات الخشنة السابقة.

2021.08.18: تم تحسين كمية كبيرة من التعليمات البرمجية. يبدو رمز الإطار حاليًا أكثر وضوحًا وتم حذف كمية كبيرة من التعليمات البرمجية الزائدة.

2021.08.17: يدعم نموذج Nezha Huawei. إنه بسيط للغاية. فقط قم بتغيير معلمة model_name. مرحبًا بك لاختبار التأثير.

2021.08.15: أضيفت مثالًا على تجزئة الكلمات ، وأضاف رمز العودة إلى Tokenizer.

2021.07.29: تحسين بعض التعليمات البرمجية أكثر إيجازًا.

2021.07.20: يتم استنساخ نموذج Simbert ، ويمكن تنفيذ إخراج جمل مماثلة ، ولكن بسبب كمية البيانات الصغيرة ، لا يزال يتعين اختباره.

2021.03.19: يدعم تمديد النموذج ، ولا يستخدم النموذج الذي يأتي فقط مع الإطار ، ولكن يمكن أيضًا تحميل النموذج مباشرة على وجه المعانقة للتدريب والتنبؤ.

2021.03.12: أضاف مثالًا على التدريب الصيني GPT2 ، تفسير حلم تشو غونغ.

2021.03.11: تم إضافة مثال GPT2 ، يمكنك متابعة كتابة المقال.

2021.03.11: تمت إضافة طريقة فك تشفير الجيل العشوائي ، وأصبح الجيل أكثر تنوعًا.

2021.03.08: إرجاع البحث عن نتائج N ، مع أخذ واحدة بشكل عشوائي كإخراج.

2021.02.25: أضيفت مثالًا على المطابقة الدلالية.

2021.02.06: تم ضبط طريقة إعداد الجهاز ، وأصبح الآن أكثر ملاءمة.

2021.1.27: تم تعديل بنية الكود للإطار وهناك العديد من التغييرات. إذا كان هناك خطأ ، فلا تتردد في إصدار.

2021.1.21: إضافة مثال جديد ، تصنيف استخراج علاقة الشخصية.

2020.12.02: تم تعديل بعض التعليمات البرمجية وتم إضافة العديد من ملفات الاختبار ، والتي يمكنها بسهولة تحميل النموذج المدرب واختبار المهام المقابلة.

2020.11.20: أضيفت مثالاً ، يمكن للاستخراج الثلاثي F1 الوصول حاليًا إلى 0.7. تمت إضافة رمز الاختبار لتصنيف النص الملخص الإخباري.

2020.11.04: مثال على تشغيل BET-CRF للقيام بمهام NER عادية ، يكون التأثير جيدًا.

2020.10.24: تم تعديل كمية كبيرة من التعليمات البرمجية وتم إضافة مثال ملخص تلقائي لمجموعة بيانات ThucNews. الآن ، كان ينبغي أن يكون التدريب فعالًا للغاية. في الماضي ، قد لا يتم تحميل معلمات ما قبل التدريب ، وقد يكون التأثير ضعيفًا للغاية.

2020.10.23: تم تعديل بعض بنية التعليمات البرمجية ، وقد تمت كتابة بعض المتغيرات في كل مثال كمتغيرات عالمية ، وتم تغيير رمز البحث عن شعاع ، والذي تم تبسيطه أكثر. ومع ذلك ، لا يتم دعم القوافي في كتابة القصائد في الوقت الحالي. تعويضها لاحقًا.

2020.09.29: تمت إضافة مثال تدريبي جديد لمسابقة Tianchi Medical NER (Medical Ner_train.py). للحصول على تفاصيل ، يرجى الاطلاع على واجهة المنافسة: https://tianchi.aliyun.com/competition/entrance/531824/information

2020.08.16: أضيفت مثالًا للتدريب المشترك لاقتصاصي الشعر (Colets Couplets_train.py) ، يمكنك كتابة الشعر وكلمات الأغاني والاقتران في نفس الوقت ؛ بالإضافة إلى ذلك ، تتم إضافة رمز اختبار جديد للشعر ، ويمكنك اختباره بعد تدريب النموذج.

2020.08.08: هناك الكثير من المحتوى في هذا التحديث ، 1. أضاف مثالًا على الملخص التلقائي (Auto_title.py) 2. أضيفت رمزًا لقائمة مفردات مبسطة. تم تخفيض كلمات 3W الأصلية إلى أكثر من 1W (لأن بعض الكلمات لن تظهر أبدًا) 3. تم تعديل بعض رمز البحث عن الشعاع ، وكان التأثير أفضل. 4. لا يمكن استخدام NER الحبيبات الدقيقة في الوقت الحالي ، والبيانات مشكلة بعض الشيء ، لذلك ضعها في مجلد الاختبار مؤقتًا. إذا وجدت البيانات الصحيحة ، فيمكنك استخدامها 5. إضافة مجلد اختبار جديد. يمكن اختبار النموذج المدرب فيه لمعرفة التأثير.

2020.06.22: استكملت مقالة حسب قاعدة الطبقة الشرطية. تم شرح بعض الكود. http://www.blog.zhxing.online/#/readblog؟blogid=347

2020.06.21: تم تحديث الكثير من التعليمات البرمجية وتم استنساخ مثال على الاستخراج الثلاثي (Triple extraction_train.py) ~

2020.06.02: لقد كنت مشغولاً بالتخرج مؤخرًا ، وما زالت هناك منافسة. لن أقوم بتحديثه في الوقت الحالي ، وسأواصل تحديثه في المستقبل.

2020.04.18: بعد تدريب نموذج Bert+CRF ، لا يبدو أن معدل تعلم طبقة CRF مرتفع بما يكفي ويحتاج إلى تحسين (يمكن الآن ضبط معدل تعلم طبقة CRF بشكل منفصل ، بشكل عام على 0.01).

2020.04.13: أضيفت مهمة NER Task + CRF طبقة ، والتي تعمل من خلال أمثلة التدريب ، ولكن لم تتم إضافة خوارزمية Viterbi بعد.

2020.04.11: خطط لإضافة طبقة CRF إلى مهمة NER.

2020.04.07: أضيفت مثالًا على NER.

2020.04.07: تم تحديث PYPI وأضاف نموذجًا لمهام التعليقات التوضيحية للتسلسل مثل NER.

2020.04.04: تم تحديث الرمز أعلاه PYPI. حاليا ، أحدث إصدار هو 0.0.6. يرجى استخدام أحدث إصدار ، سيكون هناك عدد أقل من الأخطاء.

2020.04.04: إصلاح بعض الأخطاء وأضيفت أمثلة على تصنيف نص عنوان الأخبار

2020.04.02: قد تكون درجة العقاب على الكلمات المتكررة والقوافي في البحث عن الشعاع لكتابة قصائد أفضل.

2020.04.02: تمت إضافة مهمة تفسير حلم تشو غونغ

2020.04.02: أضيفت مهمة من الاقتران

2020.04.01: أضاف مهمة لكتابة الشعر

2020.04.01: أعادت إعادة بناء الكود واستغرق وقتًا أقل لبدء تدريب مهمة جديدة.

python setup.py sdist twin upload dist/bert_seq2seq-2.3.5.tar.gz