الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

قم بتنزيل Corpus

2019 مجموعة ويكي الصينية مع شرح جزئي

استنادًا إلى 2019 Wiki Corpus Wiki2019zh.zip ، تم استخدام نموذج Coarse_Electra_small_zh في Hanlp لتجزئة الكلمات.

تم تسلسل نتائج كلمة النعت باستخدام طريقة شرح BMES 4-TAG ، والتنسيق كما يلي:

لنفترض أن مجموعة النعت هي:你好Tom。我喜欢吃羊肉串。 ، نتيجة وضع العلامات هي: 

你 B
好 E
T B
o M
m E
。 S
SENTENCE END
我 S
喜 B
欢 E
吃 S
羊 B
肉 M
串 E
。 S
SENTENCE END
TEXT END

أثناء الاستخدام ، قد تحتاج إلى الانتباه إلى كيفية معالجة التضمينات وعلامات الترقيم ، بالإضافة إلى SENTENCE END TEXT END لنهايات العبارات والجسم.

البرنامج النصي المستخدم من قبل النعت هو process_wiki_data.py.

يستغرق الأمر الكثير من الوقت لتشغيل هذا البرنامج النصي:

  • نموذج وحدة المعالجة المركزية: Intel Xeon (Cascade Lake) Platinum 8269cy
  • وحدة المعالجة المركزية التردد الرئيسي: 2.5 جيجا هرتز/3.2 جيجا هرتز
  • الوقت الذي يقضيه: 7 أيام ، 11 ساعة ، دقيقتين
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل