Unduh ChineseGLUE - Unduh Kode Sumber ChineseGLUE

Chineseglue

Benchmark Evaluasi Pemahaman Bahasa untuk Cina: Dataset, Baseline, Model Pra-Terlatih, Corpus dan Leaderboard

Tolok ukur penilaian pemahaman bahasa Cina, termasuk set data yang representatif, model benchmark (pretrained), corpus, dan peringkat.

"Diperbarui, 22 November 2019"

1) [Direkomendasikan] Versi Baru, lebih banyak dukungan teknis yang lebih sistematis, komprehensif, dan lebih baik, migrasi alamat baru : https://github.com/cluebenchmark/clue

2) Versi klasik asli, terutama berfokus pada tugas-tugas praktis seperti klasifikasi atau tugas kalimat-ke-kalimat, akan terus dipertahankan dan diperbarui dalam proyek ini

Kami akan memilih serangkaian set data yang sesuai dengan tugas perwakilan tertentu sebagai set data untuk tolok ukur uji kami. Set data ini mencakup berbagai tugas, volume data, dan kesulitan tugas.

Evaluasi Benchmark Tugas Cina (Chineseglue) -eaderboard

Daftar peringkat akan secara teratur memperbarui sumber data: www.cluebenchmarks.com

Tugas Klasifikasi (Versi VO, Versi Pertama)

Model	Skor	parameter	Tnews	LCQMC	Xnli	Inews	Bq	MSRANER	Thucnews	Iflytekdata
Bert-base	84.57	108m	89.78	86.9	77.8	82.7	85.08	95.38	95.35	63.57
BERT-WWM-EXT	84.89	108m	89.81	87.3	78.7	83.46	85.21	95.26	95.57	63.83
ERNIE-BASE	84.63	108m	89.83	87.2	78.6	85.14	84.47	95.17	94.9	61.75
Roberta-Large	85.08	334m	89.91	87.2	79.9	84	85.2	96.07	94.56	63.8
XLNET-MID	81.07	209m	86.26	85.98	78.7	84	77.85	92.11	94.54	60.16
Albert-Xlarge	84.08	59m	88.3	86.76	74.0?	82.4	84.21	89.51	95.45	61.94
Albert-Tiny	78.22	1.8m	87.1	85.4	68	81.4	80.76	84.77	93.54	44.83
Roberta-WWM-EXT	84.55	108m	89.79	86.33	79.28	82.28	84.02	95.06	95.52	64.18
Roberta-WWM-Large	85.13	330m	90.11	86.82	80.04	82.78	84.9	95.32	95.93	65.19

DRCD & CMRC2018: pemahaman bacaan yang diekstraksi (F1, EM); CHID: Idiom Multi-Klasifikasi Bacaan Pemahaman (ACC); BQ: Pencocokan Pertanyaan Layanan Pelanggan Cerdas (ACC); MSRANER: Pengenalan Entitas Penamaan (F1); IFLYTEK: Klasifikasi Teks Panjang (ACC);

Skor diperoleh dengan menghitung skor rata-rata 1-9 dataset;

Membaca tugas pemahaman

Model	Skor	parameter	Drcd	CMRC2018	Chid
Bert-base	79.08	108m	85.49	69.72	82.04
BERT-WWM-EXT	-	108m	87.15	73.23	-
ERNIE-BASE	-	108m	86.03	73.32	-
Roberta-Large	83.32	334m	89.35	76.11	84.5
XLNET-MID	-	209m	83.28	66.51	-
Albert-Xlarge	-	59m	89.78	75.22	-
Albert-xxlarge	-	-	-	-	-
Albert-Tiny	-	1.8m	70.08	53.68	-
Roberta-WWM-EXT	81.88	108m	88.12	73.89	83.62
Roberta-WWM-Large	84.22	330m	90.70	76.58	85.37

Catatan: Ketika F1 dan EM hidup berdampingan di indikator di atas, EM diambil sebagai indikator akhir.

Visi penentuan posisi chineseglue

Untuk lebih melayani pemahaman bahasa Cina, tugas dan industri, sebagai suplemen untuk evaluasi model bahasa umum, mempromosikan pengembangan model bahasa Cina dengan meningkatkan infrastruktur pemahaman bahasa Cina.

*** 2019-10-13: Menambahkan situs web resmi untuk evaluasi; Model Baseline Inews ***

Portal Evaluasi

Mengapa kita membutuhkan tolok ukur untuk evaluasi pemahaman lanague Cina?

Mengapa kita membutuhkan tolok ukur untuk tugas -tugas Cina?

Pertama -tama, bahasa Cina adalah bahasa besar dengan aplikasi spesifik dan luasnya.

如中文使用人数近14亿，是联合国官方语言之一，产业界有大量的的朋友在做中文的任务。
中文是象形文字，有文字图形；字与字之间没有分隔符，不同的分词(分字或词)会影响下游任务。

Kedua, dibandingkan dengan set data bahasa Inggris, ada relatif sedikit set data yang tersedia untuk umum dalam bahasa Cina.

 很多数据集是非公开的或缺失基准测评的；多数的论文描述的模型是在英文数据集上做的测试和评估，那么对于中文效果如何？不得而知。

Sekali lagi, pemahaman bahasa telah berkembang hingga tahap saat ini, dan model pra-terlatih telah sangat mempromosikan pemahaman bahasa alami.

 不同的预训练模型相继产生，但不少最先进(state of the art)的模型，并没有官方的中文的版本，也没有对这些预训练模型在不同任务上的公开测试，
 导致技术的发展和应用还有不少距离，或者说技术应用上的滞后。

Kemudian, jika ada tes benchmark untuk tugas -tugas Cina, termasuk kumpulan set data yang dapat banyak digunakan dan dievaluasi oleh publik, karakteristik tugas -tugas Cina yang berlaku, dan mengikuti perkembangan teknologi dunia saat ini,

 能缓解当前中文任务的一些问题，并促进相关应用的发展。

Tes Benchmark Konten Sistem Konten Tugas Cina

Bahasa Pemahaman Bahasa Benchmark untuk Cina (Chineseglue) mendapat ide dari lem, yang merupakan kumpulan dari

Sumber daya untuk pelatihan, mengevaluasi, dan menganalisis sistem pemahaman bahasa alami. Chineseglue terdiri dari:

1) Tes Benchmark Tugas Cina, mencakup beberapa tugas bahasa dengan berbagai derajat

Benchmark beberapa kalimat atau kalimat yang dipahami bahasa. Saat ini set data yang digunakan dalam tugas -tugas ini berasal dari publik. Kami akan menyertakan kumpulan data dengan tes pribadi yang ditetapkan sebelum akhir 2019.

2) Daftar Peringkat Publik

Papan peringkat publik untuk pelacakan kinerja. Anda akan dapat mengirimkan file prediksi Anda pada tugas -tugas ini, setiap tugas akan dievaluasi dan dinilai, skor akhir juga akan tersedia.

3) Model dasar, termasuk kode awal dan model pra-terlatih

Baseline untuk tugas Chineseglue. Baselines akan tersedia di TensorFlow, Pytorch, Keras dan Paddlepaddle.

4) Corpus untuk pemodelan bahasa, pra-pelatihan atau tugas generatif

Sejumlah besar korpus mentah untuk tujuan penelitian pra-kereta atau pemodelan bahasa. Ini akan berisi sekitar 10g corpus mentah pada tahun 2019;

Pada babak pertama tahun 2020, itu akan mencakup setidaknya 30g corpus mentah; Pada akhir tahun 2020, kami akan memasukkan corpus mentah yang cukup, seperti 100g, cukup besar sehingga Anda tidak perlu lagi korpus mentah untuk pemodelan bahasa tujuan umum. Anda dapat menggunakannya untuk tujuan umum atau adaptasi domain, atau bahkan untuk menghasilkan teks. Saat Anda menggunakan adaptasi domain, Anda akan dapat memilih corpus yang Anda minati.

Pengenalan dataset

1. Tugas kesamaan semantik untuk deskripsi sehari -hari lcqmc tugas kesamaan semantik

Inputnya adalah dua kalimat dan output adalah 0 atau 1. Di mana 0 berarti semantik tidak serupa, dan 1 berarti semantik serupa.

    数据量：训练集(238,766)，验证集(8,802)，测试集(12,500)
    例子： 
     1.聊天室都有哪些好的 [分隔符] 聊天室哪个好 [分隔符] 1
     2.飞行员没钱买房怎么办？ [分隔符] 父母没钱买房子 [分隔符] 0

2. Kesimpulan Bahasa Xnli Tugas Bahasa Alami Inferensi

Kumpulan data untuk pemahaman lintas-bahasa, diberi premis dan asumsi, menentukan apakah asumsi dan premis ini memiliki implikasi, oposisi, dan hubungan netral.

    数据量：训练集(392,703)，验证集(2,491)，测试集(5,011)
    例子： 
     1.从 概念 上 看 , 奶油 收入 有 两 个 基本 方面 产品 和 地理 .[分隔符] 产品 和 地理 是 什么 使 奶油 抹 霜 工作 . [分隔符] neutral
     2.我们 的 一个 号码 会 非常 详细 地 执行 你 的 指示 [分隔符] 我 团队 的 一个 成员 将 非常 精确 地 执行 你 的 命令  [分隔符] entailment
    
    原始的XNLI覆盖15种语言（含低资源语言）。我们选取其中的中文，并将做格式转换，使得非常容易进入训练和测试阶段。

3. Klasifikasi Klasifikasi Teks Pendek Klasifikasi Berita Tioutiao (Teks Pendek)

    数据量：训练集(266,000)，验证集(57,000)，测试集(57,000)
    例子：
    6552431613437805063_!_102_!_news_entertainment_!_谢娜为李浩菲澄清网络谣言，之后她的两个行为给自己加分_!_佟丽娅,网络谣言,快乐大本营,李浩菲,谢娜,观众们
    每行为一条数据，以_!_分割的个字段，从前往后分别是 新闻ID，分类code，分类名称，新闻字符串（仅含标题），新闻关键词

4. Barang Analisis Sentimen Internet Analisis Sentimen Tugas untuk Berita Internet

    数据量：训练集(5,356)，验证集(1,000)，测试集(1,000)     
    例子：
    1_!_00005a3efe934a19adc0b69b05faeae7_!_九江办好人民满意教育_!_近3年来，九江市紧紧围绕“人本教育、公平教育、优质教育、幸福教育”的目标，努力办好人民满意教育，促进了义务教育均衡发展，农村贫困地区办学条件改善。目前，该市特色教育学校有70所 ......
    每行为一条数据，以_!_分割的个字段，从前往后分别是情感类别，数据id，新闻标题，新闻内容

5.DRCD Pemahaman Bacaan Bacaan Bacaan Bacaan Cina Tradisional untuk Cina Tradisional

Delta Reading Comprehension Dataset (DRCD) (https://github.com/drckletgeteam/drcd) adalah dataset pembacaan mesin tradisional Cina umum dan pemahaman. Kumpulan data ini diharapkan menjadi standar membaca dan memahami kumpulan data standar yang cocok untuk pembelajaran relokasi.

数据量：训练集(8,016个段落，26,936个问题)，验证集(1,000个段落，3,524个问题)，测试集(1,000个段落，3,493个问题)  
例子：
{
  "version": "1.3",
  "data": [
    {
      "title": "基督新教",
      "id": "2128",
      "paragraphs": [
        {
          "context": "基督新教與天主教均繼承普世教會歷史上許多傳統教義，如三位一體、聖經作為上帝的啟示、原罪、認罪、最後審判等等，但有別於天主教和東正教，新教在行政上沒有單一組織架構或領導，而且在教義上強調因信稱義、信徒皆祭司， 以聖經作為最高權威，亦因此否定以教宗為首的聖統制、拒絕天主教教條中關於聖傳與聖經具同等地位的教導。新教各宗派間教義不盡相同，但一致認同五個唯獨：唯獨恩典：人的靈魂得拯救唯獨是神的恩典，是上帝送給人的禮物。唯獨信心：人唯獨藉信心接受神的赦罪、拯救。唯獨基督：作為人類的代罪羔羊，耶穌基督是人與上帝之間唯一的調解者。唯獨聖經：唯有聖經是信仰的終極權威。唯獨上帝的榮耀：唯獨上帝配得讚美、榮耀",
          "id": "2128-2",
          "qas": [
            {
              "id": "2128-2-1",
              "question": "新教在教義上強調信徒皆祭司以及什麼樣的理念?",
              "answers": [
                {
                  "id": "1",
                  "text": "因信稱義",
                  "answer_start": 92
                }
              ]
            },
            {
              "id": "2128-2-2",
              "question": "哪本經典為新教的最高權威?",
              "answers": [
                {
                  "id": "1",
                  "text": "聖經",
                  "answer_start": 105
                }
              ]
            }
          ]
        }
      ]
    }
  ]
}

Format data sama dengan skuad. Jika Anda menggunakan model Cina yang disederhanakan untuk evaluasi, Anda dapat mengubahnya menjadi disederhanakan (proyek ini telah disediakan)

6.CMRC2018 Pemahaman Membaca untuk Cina Sederhana

https://hfl-rc.github.io/cmrc2018/

数据量：训练集(短文数2,403，问题数10,142)，试验集(短文数256，问题数1,002)，开发集(短文数848，问题数3,219)  
例子：
{
  "version": "1.0",
  "data": [
    {
        "title": "傻钱策略",
        "context_id": "TRIAL_0",
        "context_text": "工商协进会报告，12月消费者信心上升到78.1，明显高于11月的72。另据《华尔街日报》报道，2013年是1995年以来美国股市表现最好的一年。这一年里，投资美国股市的明智做法是追着“傻钱”跑。所谓的“傻钱”策略，其实就是买入并持有美国股票这样的普通组合。这个策略要比对冲基金和其它专业投资者使用的更为复杂的投资方法效果好得多。",
        "qas":[
                {
                "query_id": "TRIAL_0_QUERY_0",
                "query_text": "什么是傻钱策略？",
                "answers": [
                     "所谓的“傻钱”策略，其实就是买入并持有美国股票这样的普通组合",
                     "其实就是买入并持有美国股票这样的普通组合",
                     "买入并持有美国股票这样的普通组合"
                    ]
                },
                {
                "query_id": "TRIAL_0_QUERY_1",
                "query_text": "12月的消费者信心指数是多少？",
                "answers": [
                    "78.1",
                    "78.1",
                    "78.1"
                    ]
                },
                {
                "query_id": "TRIAL_0_QUERY_2",
                "query_text": "消费者信心指数由什么机构发布？",
                "answers": [
                    "工商协进会",
                    "工商协进会",
                    "工商协进会"
                    ]
                }
            ]
        }
    ]
}

Format data sama dengan skuad

7. BQ Pencocokan Pertanyaan Layanan Pelanggan Cerdas untuk Layanan Pelanggan

Dataset ini adalah korpus sistem tanya jawab otomatis, dengan total 120.000 pasangan kalimat dan ditandai dengan nilai kesamaan pasangan kalimat, dengan nilai 0 atau 1 (0 berarti berbeda, 1 berarti serupa). Ada masalah seperti kesalahan ketik dan tata bahasa tidak teratur dalam data, tetapi lebih dekat dengan skenario industri.

    数据量：训练集(100,000)，验证集(10,000)，测试集(10,000)
    例子： 
     1.我存钱还不扣的 [分隔符] 借了每天都要还利息吗 [分隔符] 0
     2.为什么我的还没有额度 [分隔符] 为啥没有额度！！ [分隔符] 1

8. Pengakuan Entitas Nama Msraner

Ada lebih dari 50.000 data identifikasi dan pelabelan entitas Cina (termasuk nama orang, nama tempat, dan nama organisasi) dalam kumpulan data ini, yang diwakili oleh NR, NS, dan NT masing -masing, dan entitas lain diwakili oleh O.

    数据量：训练集(46,364)，测试集(4,365)
    例子： 
     1.据说/o 应/o 老友/o 之/o 邀/o ，/o 梁实秋/nr 还/o 坐/o 着/o 滑竿/o 来/o 此/o 品/o 过/o 玉峰/ns 茶/o 。/o
     2.他/o 每年/o 还/o 为/o 河北农业大学/nt 扶助/o 多/o 名/o 贫困/o 学生/o 。/o

9. Klasifikasi Teks Panjang ThucNews

Kumpulan data ini memiliki lebih dari 40.000 data label teks panjang berbasis berita Cina, dengan total 14 kategori: "Olahraga": 0, "Hiburan": 1, "Rumah": 2, "Lotere": 3, "Real Estat": 4, "Pendidikan": 5, "Fashion": "Society": 7, "Zodiac": 8, "Game": "9," Society "," Society ": 7," Zodiac ": 8," Game ":" 9, "Society", "Society": "1," "," 1, "",

    数据量：训练集(33,437)，验证集(4,180)，测试集(4,180)
    例子： 
 11_!_科技_!_493337.txt_!_爱国者A-Touch MK3533高清播放器试用　　爱国者MP5简介:　　"爱国者"北京华旗资讯，作为国内知名数码产品制>造商。1993年创立于北京中关村，是一家致力于......
 每行为一条数据，以_!_分割的个字段，从前往后分别是 类别ID，类别名称，文本ID，文本内容。

10.flytek Klasifikasi Teks Panjang

Ada lebih dari 17.000 teks panjang berlabel data tentang deskripsi aplikasi aplikasi dalam kumpulan data ini, termasuk berbagai topik aplikasi yang terkait dengan kehidupan sehari-hari, dengan total 119 kategori: "taksi": 0, "navigasi peta": 1, "wifi gratis": 2, "sewa mobil": 3, ..., "wanita": 115, "bisnis": 116, "masing-masing).

    数据量：训练集(12,133)，验证集(2,599)，测试集(2,600)
    例子： 
17_!_休闲益智_!_玩家需控制一只酷似神龙大侠的熊猫人在科技感十足的未来城市中穿越打拼。感觉很山寨功夫熊猫，自由度非常高，可以做很多你想做的事情......
每行为一条数据，以_!_分割字段，从前往后分别是 类别ID，类别名称，文本内容。

11. Chid Idiom Membaca Pemahaman Isi Dataset Idiom Cina Kosong Untuk Tes Cloze

https://arxiv.org/abs/1906.01265
Idiomnya adalah cloze di bagian kosong, dan banyak idiom dalam teks ditopang, dan kandidat mengandung sinonim.

    数据量：训练集(84,709)，验证集(3,218)，测试集(3,231)
    例子：
    {
      "content": [
        # 文段0
        "……在热火22年的历史中，他们已经100次让对手得分在80以下，他们在这100次中都取得了胜利，今天他们希望能#idiom000378#再进一步。", 
        # 文段1
        "在轻舟发展过程之中，是和业内众多企业那样走相似的发展模式，去#idiom000379#？还是迎难而上，另走一条与众不同之路。诚然，#idiom000380#远比随大流更辛苦，更磨难，更充满风险。但是有一条道理却是显而易见的：那就是水往低处流，随波逐流，永远都只会越走越低。只有创新，只有发展科技，才能强大自己。", 
        # 文段2
        "最近十年间，虚拟货币的发展可谓#idiom000381#。美国著名经济学家林顿·拉鲁什曾预言：到2050年，基于网络的虚拟货币将在某种程度上得到官方承认，成为能够流通的货币。现在看来，这一断言似乎还嫌过于保守……", 
        # 文段3
        "“平时很少能看到这么多老照片，这次图片展把新旧照片对比展示，令人印象深刻。”现场一位参观者对笔者表示，大多数生活在北京的人都能感受到这个城市#idiom000382#的变化，但很少有人能具体说出这些变化，这次的图片展按照区域发展划分，展示了丰富的信息，让人形象感受到了60年来北京的变化和发展。", 
        # 文段4
        "从今天大盘的走势看，市场的热点在反复的炒作之中，概念股的炒作#idiom000383#，权重股走势较为稳健，大盘今日早盘的震荡可以看作是多头关前的蓄势行为。对于后市，大盘今日蓄势震荡后，明日将会在权重和题材股的带领下亮剑冲关。再创反弹新高无悬念。", 
        # 文段5
        "……其中，更有某纸媒借尤小刚之口指出“根据广电总局的这项要求，2009年的荧屏将很难出现#idiom000384#的情况，很多已经制作好的非主旋律题材电视剧想在卫视的黄金时段播出，只能等到2010年了……"],
      "candidates": [
        "百尺竿头", 
        "随波逐流", 
        "方兴未艾", 
        "身体力行", 
        "一日千里", 
        "三十而立", 
        "逆水行舟", 
        "日新月异", 
        "百花齐放", 
        "沧海一粟"
      ]
    }

12.Kmnli Tugas Inferensi Bahasa Multi Genre NLI

Data Chinesemnli mengubah data MNLI asli dalam bahasa Cina dan Inggris. Data berasal dari fiksi, telepon, perjalanan, pemerintah, batu tulis, dll., Dan digunakan untuk menilai hubungan antara dua kalimat yang diberikan yang tersirat, netral dan kontradiktif.

    数据量：train(391,783)，matched(9336)，mismatched(8,870)
    例子：
    {"sentence1": "新的权利已经足够好了", "sentence2": "每个人都很喜欢最新的福利", "gold_label": "neutral"}

13. Lebih banyak set data sedang ditambahkan, segera hadir!

Lebih banyak set data sedang ditambahkan, jika Anda memiliki set data yang terdefinisi dengan baik, silakan hubungi kami.

Dataset unduh unduhan keseluruhan

Atau gunakan perintah:

 wget https://storage.googleapis.com/chineseglue/chineseGLUEdatasets.v0.0.1.zip

Evaluasi Benchmark Tugas Tiongkok (Chineseglue) - Peringkat - Perbandingan Setiap Evaluasi Tugas Dataset Untuk Model yang Berbagai

TNEWS Teks Klasifikiton untuk Berita (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	88.30	88.30	Batch_size = 32, panjang = 128, zaman = 3
Bert-base	89.80	89.78	Batch_size = 32, panjang = 128, zaman = 3
BERT-WWM-Ext-Base	89.88	89.81	Batch_size = 32, panjang = 128, zaman = 3
ERNIE-BASE	89.77	89.83	Batch_size = 32, panjang = 128, zaman = 3
Roberta-Large	90.00	89.91	Batch_size = 16, panjang = 128, zaman = 3
XLNET-MID	86.14	86.26	Batch_size = 32, panjang = 128, zaman = 3
Roberta-WWM-EXT	89.82	89.79	Batch_size = 32, panjang = 128, zaman = 3
Roberta-WWM-Large-EXT	90.05	90.11	Batch_size = 16, panjang = 128, zaman = 3

XNLI Natural Language Inference (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	74.0?	74.0?	Batch_size = 64, panjang = 128, zaman = 2
Bert-base	77.80	77.80	Batch_size = 64, panjang = 128, zaman = 2
BERT-WWM-Ext-Base	79.4	78.7	Batch_size = 64, panjang = 128, zaman = 2
ERNIE-BASE	79.7	78.6	Batch_size = 64, panjang = 128, zaman = 2
Roberta-Large	80.2	79.9	Batch_size = 64, panjang = 128, zaman = 2
XLNET-MID	79.2	78.7	Batch_size = 64, panjang = 128, zaman = 2
Roberta-WWM-EXT	79.56	79.28	Batch_size = 64, panjang = 128, zaman = 2
Roberta-WWM-Large-EXT	80.20	80.04	Batch_size = 16, panjang = 128, zaman = 2

Catatan: Albert-xlarge, masih ada masalah dalam pelatihan tentang tugas XNLI.

Tugas kesamaan semantik (akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	89.00	86.76	Batch_size = 64, panjang = 128, zaman = 3
Bert-base	89.4	86.9	Batch_size = 64, panjang = 128, zaman = 3
BERT-WWM-Ext-Base	89.1	87.3	Batch_size = 64, panjang = 128, zaman = 3
ERNIE-BASE	89.8	87.2	Batch_size = 64, panjang = 128, zaman = 3
Roberta-Large	89.9	87.2	Batch_size = 64, panjang = 128, zaman = 3
XLNET-MID	86.14	85.98	Batch_size = 64, panjang = 128, zaman = 3
Roberta-WWM-EXT	89.08	86.33	Batch_size = 64, panjang = 128, zaman = 3
Roberta-WWM-Large-EXT	89.79	86.82	Batch_size = 16, panjang = 128, zaman = 3

Analisis Sentimen Inews untuk Berita Internet (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	81.80	82.40	Batch_size = 32, panjang = 512, zaman = 8
Bert-base	81.29	82.70	Batch_size = 16, panjang = 512, zaman = 3
BERT-WWM-Ext-Base	81.93	83.46	Batch_size = 16, panjang = 512, zaman = 3
ERNIE-BASE	84.50	85.14	Batch_size = 16, panjang = 512, zaman = 3
Roberta-Large	81.90	84.00	Batch_size = 4, panjang = 512, zaman = 3
XLNET-MID	82.00	84.00	Batch_size = 8, panjang = 512, zaman = 3
Roberta-WWM-EXT	82.98	82.28	Batch_size = 16, panjang = 512, zaman = 3
Roberta-WWM-Large-EXT	83.73	82.78	Batch_size = 4, panjang = 512, zaman = 3

Pemahaman membaca DRCD untuk Cina Tradisional (F1, EM):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Bert-base	F1: 92.30 EM: 86.60	F1: 91.46 EM: 85.49	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
BERT-WWM-Ext-Base	F1: 93.27 EM: 88.00	F1: 92.63 EM: 87.15	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
ERNIE-BASE	F1: 92.78 EM: 86.85	F1: 92.01 EM: 86.03	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
Albert-Large	F1: 93.90 EM: 88.88	F1: 93.06 EM: 87.52	batch = 32, panjang = 512, zaman = 3 lr = 2e-5 pemanasan = 0,05
Albert-Xlarge	F1: 94.63 EM: 89.68	F1: 94.70 EM: 89.78	Batch_size = 32, panjang = 512, zaman = 3 lr = 2.5e-5 pemanasan = 0,06
Albert-Tiny	F1: 81.51 EM: 71.61	F1: 80.67 EM: 70.08	batch = 32, panjang = 512, zaman = 3 lr = 2e-4 pemanasan = 0,1
Roberta-Large	F1: 94.93 EM: 90.11	F1: 94.25 EM: 89.35	batch = 32, panjang = 256, zaman = 2 lr = 3e-5 pemanasan = 0,1
XLNET-MID	F1: 92.08 EM: 84.40	F1: 91.44 EM: 83.28	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
Roberta-WWM-EXT	F1: 94.26 EM: 89.29	F1: 93.53 EM: 88.12	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
Roberta-WWM-Large-EXT	F1: 95.32 EM: 90.54	F1: 95.06 EM: 90.70	batch = 32, panjang = 512, zaman = 2 lr = 2.5e-5 pemanasan = 0.1

CMRC2018 Pemahaman Bacaan Membaca Pemahaman untuk Cina yang disederhanakan (F1, EM):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Bert-base	F1: 85.48 EM: 64.77	F1: 87.17 Em: 69.72	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
BERT-WWM-Ext-Base	F1: 86.68 EM: 66.96	F1: 88.78 EM: 73.23	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
ERNIE-BASE	F1: 87.30 EM: 66.89	F1: 89.62 EM: 73.32	batch = 32, panjang = 512, zaman = 2 lr = 3e-5 pemanasan = 0,1
Albert-Large	F1: 87.86 EM: 67.75	F1: 90.17 EM: 73.66	Epoch3, batch = 32, panjang = 512, lr = 2e-5, pemanasan = 0,05
Albert-Xlarge	F1: 88.66 EM: 68.90	F1: 90.92 EM: 75.22	Epoch3, batch = 32, panjang = 512, lr = 2e-5, pemanasan = 0,1
Albert-Tiny	F1: 73.95 EM: 48.31	F1: 75.73 EM: 53.68	Epoch3, batch = 32, panjang = 512, lr = 2e-4, pemanasan = 0,1
Roberta-Large	F1: 88.61 EM: 69.94	F1: 90.94 EM: 76.11	Epoch2, batch = 32, panjang = 256, lr = 3e-5, pemanasan = 0,1
XLNET-MID	F1: 85.63 EM: 65.31	F1: 86.09 EM: 66.51	Epoch2, batch = 32, panjang = 512, lr = 3e-5, pemanasan = 0,1
Roberta-WWM-EXT	F1: 87.28 EM: 67.89	F1: 89.74 EM: 73.89	Epoch2, batch = 32, panjang = 512, lr = 3e-5, pemanasan = 0,1
Roberta-WWM-Large-EXT	F1: 89.42 EM: 70.59	F1: 91.56 EM: 76.58	Epoch2, batch = 32, panjang = 512, lr = 2.5e-5, pemanasan = 0.1

CHID IDIOM BACA BACAAN ISI Dataset idiom Cina kosong untuk tes cloze (akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Bert-base	82.2	82.04	batch = 24, panjang = 64, zaman = 3 lr = 2e-5
BERT-WWM-Ext-Base	-	-	-
ERNIE-BASE	-	-	-
Albert-Large	-	-	-
Albert-Xlarge	-	-	-
Albert-Tiny	-	-	-
Roberta-Large	85.31	84.5	batch = 24, panjang = 64, zaman = 3 lr = 2e-5
XLNET-MID	-	-	-
Roberta-WWM-EXT	83.78	83.62	batch = 24, panjang = 64, zaman = 3 lr = 2e-5
Roberta-WWM-Large-EXT	85.81	85.37	batch = 24, panjang = 64, zaman = 3 lr = 2e-5

CMNLI Inferensi Bahasa Alam Cina Multi-genre NLI (Akurasi):

Model	cocok	Miscatched	Parameter pelatihan
Bert-base	79.39	79.76	batch = 32, panjang = 128, zaman = 3 lr = 2e-5
BERT-WWM-Ext-Base	81.41	80.67	batch = 32, panjang = 128, zaman = 3 lr = 2e-5
ERNIE-BASE	79.65	80.70	batch = 32, panjang = 128, zaman = 3 lr = 2e-5
Albert-xxlarge	-	-	-
Albert-Tiny	72.71	72.72	batch = 32, panjang = 128, zaman = 3 lr = 2e-5
Roberta-Large	-	-	-
XLNET-MID	78.15	76.93	batch = 16, panjang = 128, zaman = 3 lr = 2e-5
Roberta-WWM-EXT	81.09	81.38	batch = 32, panjang = 128, zaman = 3 lr = 2e-5
Roberta-WWM-Large-EXT	83.4	83.42	batch = 32, panjang = 128, zaman = 3 lr = 2e-5

Pencocokan Pertanyaan Layanan Pelanggan Cerdas BQ untuk Layanan Pelanggan (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Bert-base	85.86	85.08	Batch_size = 64, panjang = 128, zaman = 3
BERT-WWM-Ext-Base	86.05	85.21	Batch_size = 64, panjang = 128, zaman = 3
ERNIE-BASE	85.92	84.47	Batch_size = 64, panjang = 128, zaman = 3
Roberta-Large	85.68	85.20	Batch_size = 8, panjang = 128, zaman = 3
XLNET-MID	79.81	77.85	Batch_size = 32, panjang = 128, zaman = 3
Albert-Xlarge	85.21	84.21	Batch_size = 16, panjang = 128, zaman = 3
Albert-Tiny	82.04	80.76	Batch_size = 64, panjang = 128, zaman = 5
Roberta-WWM-EXT	85.31	84.02	Batch_size = 64, panjang = 128, zaman = 3
Roberta-WWM-Large-EXT	86.34	84.90	Batch_size = 16, panjang = 128, zaman = 3

Msraner Name Entity Recognition (F1):

Model	Set tes (tes)	Parameter pelatihan
Bert-base	95.38	Batch_size = 16, panjang = 256, zaman = 5, lr = 2e-5
BERT-WWM-Ext-Base	95.26	Batch_size = 16, panjang = 256, zaman = 5, lr = 2e-5
ERNIE-BASE	95.17	Batch_size = 16, panjang = 256, zaman = 5, lr = 2e-5
Roberta-Large	96.07	Batch_size = 8, panjang = 256, zaman = 5, lr = 2e-5
XLNET-MID	92.11	Batch_size = 8, panjang = 256, zaman = 5, lr = 2e-5
Albert-Xlarge	89.51	Batch_size = 16, panjang = 256, zaman = 8, lr = 7e-5
Albert-base	92.47	Batch_size = 32, panjang = 256, zaman = 8, lr = 5e-5
Albert-Tiny	84.77	Batch_size = 32, panjang = 256, zaman = 8, lr = 5e-5
Roberta-WWM-EXT	95.06	Batch_size = 16, panjang = 256, zaman = 5, lr = 2e-5
Roberta-WWM-Large-EXT	95.32	Batch_size = 8, panjang = 256, zaman = 5, lr = 2e-5

Klasifikasi Teks Panjang ThucNews (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	95.74	95.45	Batch_size = 32, panjang = 512, zaman = 8
Albert-Tiny	92.63	93.54	Batch_size = 64, panjang = 128, zaman = 5
Bert-base	95.28	95.35	Batch_size = 8, panjang = 128, zaman = 3
BERT-WWM-Ext-Base	95.38	95.57	Batch_size = 8, panjang = 128, zaman = 3
ERNIE-BASE	94.35	94.90	Batch_size = 16, panjang = 256, zaman = 3
Roberta-Large	94.52	94.56	Batch_size = 2, panjang = 256, zaman = 3
XLNET-MID	94.04	94.54	Batch_size = 16, panjang = 128, zaman = 3
Roberta-WWM-EXT	95.59	95.52	Batch_size = 16, panjang = 256, zaman = 3
Roberta-WWM-Large-EXT	96.10	95.93	Batch_size = 32, panjang = 512, zaman = 8

Iflytekdata Klasifikasi Teks Panjang (Akurasi):

Model	Set pengembangan (dev)	Set tes (tes)	Parameter pelatihan
Albert-Xlarge	61.94	61.34	Batch_size = 32, panjang = 128, zaman = 3
Albert-Tiny	44.83	44.62	Batch_size = 32, panjang = 256, zaman = 3
Bert-base	63.57	63.48	Batch_size = 32, panjang = 128, zaman = 3
BERT-WWM-Ext-Base	63.83	63.75	Batch_size = 32, panjang = 128, zaman = 3
ERNIE-BASE	61.75	61.80	Batch_size = 24, panjang = 256, zaman = 3
Roberta-Large	63.80	63.91	Batch_size = 32, panjang = 128, zaman = 3
XLNET-MID	60.16	60.04	Batch_size = 16, panjang = 128, zaman = 3
Roberta-WWM-EXT	64.18	-	Batch_size = 16, panjang = 128, zaman = 3
Roberta-WWM-Large-EXT	65.19	65.10	Batch_size = 32, panjang = 128, zaman = 3

Model Baseline - Kode Mulai Kode untuk Baselines

Kami memberi Anda skrip yang dapat dijalankan "satu klik" untuk membantu Anda menjalankan tugas-tugas tertentu lebih cepat pada model yang ditentukan.

Mengambil contoh menjalankan tugas "BQ Intelligent Customer Layanan Pencocokan" pada model Bert, Anda dapat menjalankan skrip Run_Classifier_ BQ . Langsung di bawah Chineseglue/Baselines/Model/ Bert /.

 cd chineseGLUE/baselines/models/bert/
sh run_classifier_bq.sh

Skrip akan secara otomatis mengunduh dataset "BQ Intelligent Customer Layanan Pencocokan" (Simpan di Chineseglue/Baselines/Glue/Chinesegluedatasets/ BQ /Folder) dan model BerT (Simpan di Chineseglue/Baselines/Model/Bert/Prev_trained_Model/).

Untuk detailnya, silakan merujuk ke: Pelatihan Model Model Benchmark

Portal Pengajuan Evaluasi Buka: Saya ingin mengirimkan

Corpus untuk Pemodelan Langauge, Pra-Pelatihan, Menghasilkan Tugas

Dapat digunakan untuk pemodelan bahasa, tugas pra-pelatihan atau generatif, dll. Volume data melebihi 10g, dan bagian utama berasal dari proyek NLP_CHINESE_CORPUS

Korpus saat ini diproses dalam [format pra-pelatihan] dan berisi beberapa folder; Setiap folder memiliki banyak file kecil dengan ukuran tidak lebih dari 4m, dan format file memenuhi format pra-pelatihan: satu baris per kalimat, dipisahkan oleh garis kosong antara dokumen.

Berisi sub-corpus berikut (total corpus 14G):

1. News Corporate: 8G Corporate, dibagi menjadi dua bagian atas dan bawah, dengan total 2.000 file kecil.

2. Community Interactive Corpus: 3G Corpus, berisi teks 3G, dengan total lebih dari 900 file kecil.

3. Wikipedia: Sekitar 1.1g teks, berisi sekitar 300 file kecil.

4. Data komentar: sekitar 2.3g teks, berisi 811 file kecil, gabungkan beberapa data komentar dari chinesenlpcorpus, bersih, konversi format, dan dibagi menjadi file kecil.

Anda dapat memperoleh korpus ini dengan membersihkan data dan mengonversi format melalui dua item di atas;

Anda juga dapat memperoleh korpus dari satu proyek melalui email (Chineseglue#163.com) dan menginformasikan unit atau sekolah, nama, dan tujuan korpus;

Untuk mendapatkan semua korpus di bawah proyek Chineseglue, Anda harus menjadi anggota organisasi Chineseglue dan menyelesaikan tugas (kecil).

Menjadi anggota pendiri organisasi Chineseglue

Anda akan dapat mendapat manfaat:

1. Anggota pendiri penilaian tolok ukur tugas Tiongkok Tiongkok

2. Dapat berkontribusi bersama dengan profesional lain untuk mempromosikan pengembangan pemrosesan bahasa alami Cina

3. Setelah berpartisipasi dalam beberapa pekerjaan, dapatkan korpus pra-pelatihan skala besar yang telah dibersihkan dan dilatih sebelumnya, yang sama dengan Wiki & Bookcorpus Inggris, untuk tujuan penelitian.

4. Prioritas diberikan pada penggunaan model seni canggih yang terlatih di Tiongkok, termasuk berbagai versi percobaan atau versi yang tidak dipublikasikan

Cara Bergabung dengan Kami:

Kirim email ke Cluebenchmark#163.com untuk memperkenalkan diri Anda secara singkat, latar belakang Anda, pekerjaan atau arah penelitian, organisasi Anda, dan di mana Anda dapat berkontribusi kepada masyarakat. Kami akan menghubungi Anda setelah penilaian.

Daftar Tugas Daftar Tugas

1. Kumpulkan dan tambang 1 set data representatif, umumnya tugas klasifikasi atau kalimat-ke-hukuman (diperlukan 5 set data tambahan)

2. Tugas pemahaman membaca diubah menjadi kalimat-untuk-tugas (seperti petunjuk dan pertanyaan atau jawaban) dan dievaluasi. Data harus dibagi menjadi pelatihan, verifikasi dan set tes.

3. Metode pelatihan dan prediksi dan skrip prediksi untuk model tugas tertentu (mendukung Pytorch dan Kera);

4. Untuk model arus utama saat ini (seperti Bert/Bert_WWM_EXT/Roberta/Albert/Ernie/Ernie2.0, dll.), Dikombinasikan dengan kumpulan data Chineseglue, uji akurasi dilakukan.

Misalnya: Tes XLNET-MID pada dataset LCQMC

5. Apakah ada model yang berpartisipasi dalam evaluasi?