الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

متعددة المعايير CWS

الرموز والشركات للورق "الحل العصبي الفعال لتجزئة الكلمات متعددة المعايير" (مقبولة والوضع في SCI-2018).

التبعية

  • بيثون 3
  • Dynet

بداية سريعة

قم بتشغيل الأمر التالي لإعداد Corpora ، وتقسيمها إلى مجموعات Train/Dev/Test. 

python3 convert_corpus.py

ثم قم بتحويل $dataset إلى ملف Pickle: 

./script/make.sh $dataset
  • يمكن أن تكون $dataset واحدة من الشركات التالية: pku ، msr ، as ، cityu ، sxu ، ctb ، zx ، cnc ، udc و wtb .
  • يمكن أن تكون $dataset أيضًا مجموعة مشتركة مثل joint-sighan2005 أو joint-10in1 .
  • إذا كان لديك إمكانية الوصول إلى Sighan2008 Corpora ، فيمكنك أيضًا جعل joint-sighan2008 كمجموعة $dataset الخاصة بك.

أخيرًا ، يقوم أمر واحد بتدريب واختبار على الطيران: 

./script/train.sh $dataset

أداء

Sighan2005

Sighan2008

10 في 1

نظرًا لأن مجموعات بيانات Sighan Bakeoff 2008 مملوكة ويصعب الحصول عليها ، فقد قررنا إجراء تجارب إضافية على مجموعات البيانات المتاحة بحرية أكثر ، للجمهور لاختبار والتحقق من كفاءة طريقتنا. قمنا بتطبيق حلنا على 6 مجموعات بيانات إضافية متوفرة بحرية مع مجموعات بيانات 4 Sighan2005.

كوربورا

في هذا القسم ، سنقدم بإيجاز تلك الشركات المستخدمة في هذه الورقة.

10 Corpora في هذا الريبو

هذه الشركات العشرة هي إما من موقع Sighan2005 الرسمي ، أو تم جمعها من مشروع مفتوح المصدر ، أو من الصفحة الرئيسية للباحثين. يتم سرد التراخيص في الجدول التالي.

Sighan2008

نظرًا لأن Sighan2008 Corpora ملكية ، فإننا غير قادرين على توزيعها. إذا كان لديك نسخة قانونية ، فيمكنك تكرار نتائجنا بعد هذه التعليمات.

أولاً ، ربط مجلد Sighan2008 إلى مجلد البيانات في هذا المشروع. 

 ln -s /path/to/your/sighan2008/data data/sighan2008

بعد ذلك ، استخدم HANLP للصينية التقليدية لتبسيط التحويل الصيني ، كما هو موضح في مقتطفات رمز Java التالية: 

        BufferedReader br = new BufferedReader ( new InputStreamReader ( new FileInputStream (
            "data/sighan2008/ckip_seg_truth&resource/ckip_truth_utf16.seg"
        ), "UTF-16" ));
        String line ;
        BufferedWriter bw = IOUtil . newBufferedWriter (
            "data/sighan2008/ckip_seg_truth&resource/ckip_truth_utf8.seg" );
        while (( line = br . readLine ()) != null )
        {
            for ( String word : line . split ( " \ s" ))
            {
                if ( word . length () == 0 ) continue ;
                bw . write ( HanLP . convertToSimplifiedChinese ( word ));
                bw . write ( " " );
            }
            bw . newLine ();
        }
        br . close ();
        bw . close ();

تحتاج إلى تكرار هذا للملفات 4 التالية:

  1. ckip_train_utf16.seg
  2. CKIP_TRUTH_UTF16.SEG
  3. cityu_train_utf16.seg
  4. cityu_truth_utf16.seg

ثم ، عدم الرموز التالية في convert_corpus.py : 

    # For researchers who have access to sighan2008 corpus, use official corpora please.
    print ( 'Converting sighan2008 Simplified Chinese corpus' )
    datasets = 'ctb' , 'ckip' , 'cityu' , 'ncc' , 'sxu'
    convert_all_sighan2008 ( datasets )
    print ( 'Combining those 8 sighan corpora to one joint corpus' )
    datasets = 'pku' , 'msr' , 'as' , 'ctb' , 'ckip' , 'cityu' , 'ncc' , 'sxu'
    make_joint_corpus ( datasets , 'joint-sighan2008' )
    make_bmes ( 'joint-sighan2008' )

أخيرًا ، أنت مستعد للذهاب: 

 python3 convert_corpus.py
./script/make.sh joint-sighan2008
./script/train.sh joint-sighan2008

شكر وتقدير

  • شكرا لأولئك الأصدقاء الذين ساعدونا في التجارب.
  • يجب أيضًا إعطاء الاعتمادات للباحثين السخين الذين شاركوا شركاتهم مع الجمهور ، كما هو مدرج في جدول الترخيص. ساعدت مجموعات البيانات الخاصة بك بالفعل تلك المجموعات الصغيرة (مثلنا) دون أي تمويل.
  • تنفيذ النموذج المعدل من إصدار Dynet-1.x بواسطة Rguthrie3.
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل