PyCLUE
1.0.0
Python Toolkit untuk Benchmark Evaluasi Pemahaman Bahasa Cina.
Python Toolkit untuk tolok ukur evaluasi pemahaman bahasa Cina dapat dengan cepat mengevaluasi set data yang representatif dan model benchmark (pretrained), dan memilih model benchmark (pretrained) yang sesuai untuk data mereka sendiri untuk aplikasi cepat.
Dataset, garis dasar, model pra-terlatih, corpus dan papan peringkat
Tolok ukur penilaian pemahaman bahasa Cina, termasuk set data yang representatif, model benchmark (pretrained), corpus, dan peringkat.
Kami akan memilih serangkaian set data yang sesuai dengan tugas perwakilan tertentu sebagai set data untuk tolok ukur uji kami. Set data ini mencakup berbagai tugas, volume data, dan kesulitan tugas.
Sekarang, pyclue dapat diinstal melalui PIP:
pip install --upgrade PyCLUEAtau langsung menginstal pyclue dengan git clone:
pip install git+https://www.github.com/CLUEBenchmark/PyCLUE.gitModel bahasa pra-terlatih didukung
Menunggu dukungan
Catatan: Dataset konsisten dengan dataset yang disediakan oleh Cluebenchmark dan hanya dimodifikasi dalam format yang sesuai dengan proyek Pyclue.
数据量：训练集（34334）验证集（4316）测试集（3861）
例子：
{"sentence1": "双十一花呗提额在哪", "sentence2": "里可以提花呗额度", "label": "0"}
每一条数据有三个属性，从前往后分别是 句子1，句子2，句子相似度标签。其中label标签，1 表示sentence1和sentence2的含义类似，0表示两个句子的含义不同。
Tautan: https://pan.baidu.com/s/1it1simjbsrnl1deoboogxg Kode Ekstraksi: KSD1
Model pelatihan Lokasi skrip: pyclue/petunjuk/kalimat_pair/afqmc/train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/afqmc/train.ipynb
Kirim Lokasi Script File: Pyclue/Clue/SENTENCE_PAIR/AFQMC/Predict.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/afqmc/predict.ipynb
Dataset ini berasal dari bagian berita Toutiao, dan total 15 kategori berita diekstraksi, termasuk pariwisata, pendidikan, keuangan, militer, dll.
数据量：训练集(266,000)，验证集(57,000)，测试集(57,000)
例子：
{"label": "102", "label_des": "news_entertainment", "sentence": "江疏影甜甜圈自拍，迷之角度竟这么好看，美吸引一切事物"}
每一条数据有三个属性，从前往后分别是 分类ID，分类名称，新闻字符串（仅含标题）。
Tautan: https://pan.baidu.com/s/1rs9oxolookgwi-rgns_gtqq Kode ekstraksi: S9Go
Model pelatihan Lokasi skrip: pyclue/petunjuk/klasifikasi/tnews/train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/clasification/tnews/train.ipynb
Kirim Lokasi Script File: Pyclue/Clue/Classification/tnews/predict.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/clasification/tnews/predict.ipynb
Ada lebih dari 17.000 teks panjang berlabel data tentang deskripsi aplikasi aplikasi dalam kumpulan data ini, termasuk berbagai topik aplikasi yang terkait dengan kehidupan sehari-hari, dengan total 119 kategori: "taksi": 0, "navigasi peta": 1, "wifi gratis": 2, "sewa mobil": 3, ..., "wanita": 115, "bisnis": 116, "masing-masing).
数据量：训练集(12,133)，验证集(2,599)，测试集(2,600)
例子：
{"label": "110", "label_des": "社区超市", "sentence": "朴朴快送超市创立于2016年，专注于打造移动端30分钟即时配送一站式购物平台，商品品类包含水果、蔬菜、肉禽蛋奶、海鲜水产、粮油调味、酒水饮料、休闲食品、日用品、外卖等。朴朴公司希望能以全新的商业模式，更高效快捷的仓储配送模式，致力于成为更快、更好、更多、更省的在线零售平台，带给消费者更好的消费体验，同时推动中国食品安全进程，成为一家让社会尊敬的互联网公司。,朴朴一下，又好又快,1.配送时间提示更加清晰友好2.保障用户隐私的一些优化3.其他提高使用体验的调整4.修复了一些已知bug"}
每一条数据有三个属性，从前往后分别是 类别ID，类别名称，文本内容。
Tautan: https://pan.baidu.com/s/1ekthxmgt1t038qto9vkr3a Kode ekstraksi: U00V
Lokasi Model Pelatihan Lokasi: Pyclue/Petunjuk/Klasifikasi/Iflytek/Train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/clasification/iflytek/train.ipynb
Kirim Lokasi Script File: Pyclue/Petunjuk/Klasifikasi/IFLYTEK/PROCATION.IPYNB
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/clasification/iflytek/predict.ipynb
Data cmnli terdiri dari dua bagian: xnli dan mnli. The data comes from fiction, telephone, travel, government, slate, etc. The original MNLI data and XNLI data were transformed in Chinese and English, retaining the original training set, combining the dev in XNLI and matched in MNLI as dev of CMNLI, combining the test in XNLI and mismatched in MNLI as CMNLI test, and disrupting the order. Kumpulan data ini dapat digunakan untuk menentukan hubungan antara dua kalimat yang diberikan implikasi, netral, dan kontradiktif.
数据量：train(391,782)，matched(12,426)，mismatched(13,880)
例子：
{"sentence1": "新的权利已经足够好了", "sentence2": "每个人都很喜欢最新的福利", "label": "neutral"}
每一条数据有三个属性，从前往后分别是 句子1，句子2，蕴含关系标签。其中label标签有三种：neutral，entailment，contradiction。
Tautan: https://pan.baidu.com/s/1mft31cbs2g6e69as6h65dq kode ekstraksi: kigh
Lokasi Model Pelatihan Lokasi: Pyclue/Clue/SENTENCE_PAIR/CMNLI/TRAIN.IPYNB
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/cmnli/train.ipynb
Kirim Lokasi Script File: Pyclue/Clue/SENTENCE_PAIR/CMNLI/PROCATION.IPYNB
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/cmnli/predict.ipynb
Set diagnostik digunakan untuk mengevaluasi kinerja model yang berbeda pada fenomena bahasa Cina yang dirangkum oleh 9 ahli bahasa.
Menggunakan model yang dilatih pada CMNLI, hasil pada set diagnostik ini diprediksi secara langsung. Format pengiriman konsisten dengan cmnli. Anda dapat melihat hasilnya di halaman Detail Peringkat. (Catatan: Dataset ini berisi set pelatihan dan set tes CMNLI)
Tautan: https://pan.baidu.com/s/1dydugo6xn_4xat0y4ansi Kode ekstraksi: U194
Model pelatihan Lokasi skrip: pyclue/petunjuk/kalimat_pair/diagnostik/kereta api.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/diagnostics/train.ipynb
Kirim Lokasi Script File: Pyclue/Clue/Sentence_Pair/Diagnostik/Prediktus.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/clue/sentence_pair/diagnostics/predict.ipynb
Tambahan.
Tugas multi-klasifikasi, seperti klasifikasi teks, klasifikasi emosi, dll., Dapat menerima dua bentuk: input kalimat tunggal dan input pasangan kalimat.
Direktori data harus berisi setidaknya file train.txt, dev.txt dan label.txt, dan file test.txt dapat ditambahkan.
Simpan referensi formulir:
Input Kalimat Tunggal (sesuai dengan task_type = 'single' dalam skrip evaluasi): pyclue/contoh/klasifikasi/single_data_templates/, https://github.com/cluebenchmark/pyclue/blob/master/examples/classification/single_data_templees
Input Pasangan Kalimat (sesuai dengan task_type = 'pairs' dalam skrip evaluasi): pyclue/contoh/klasifikasi/pasang_data_templates/, https://github.com/cluebenchmark/pyclue/blob/master/examples/classification/pairs_data_templue/master/examples/clasification/pairs_data_templue
Catatan: T harus digunakan sebagai pemisah.
Model Pelatihan Lokasi Skrip: Pyclue/Contoh/Klasifikasi/Train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/classification/train.ipynb
Prediksi skrip Lokasi: pyclue/contoh/klasifikasi/prediksi.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/clasification/predict.ipynb
Kalimat-ke-tugas (jaringan kembar), seperti kalimat yang serupa, dll. Berbeda dari model kalimat-ke-input dalam tugas multi-klasifikasi: kalimat dalam tugas multi-klasifikasi menggunakan bentuk splicing seperti Bert untuk memasukkan tugas, sementara tugas ini menggunakan bentuk jaringan kembar.
Direktori data harus berisi setidaknya file train.txt, dev.txt dan label.txt, dan file test.txt dapat ditambahkan.
Simpan referensi formulir:
Masukkan: Pyclue/Contoh/kalimat_pair/data_templates/, https://github.com/cluebenchmark/pyclue/blob/master/examples/sentence_pair/data_templates
Catatan: T harus digunakan sebagai pemisah.
Model Pelatihan Lokasi Skrip: Pyclue/Contoh/Kalipe_Pair/train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/sentence_pair/train.ipynb
Predicted Script Lokasi: Pyclue/Contoh/kalimat_pair/predict.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/sentence_pair/predict.ipynb
Tugas pencocokan teks (jaringan kembar), seperti pencarian FAQ, pencarian pencocokan QQ dan tugas -tugas lainnya, gunakan jaringan kembar untuk menghasilkan informasi penyematan untuk kalimat input, dan gunakan HNSWLIB untuk mengambil kalimat yang paling mirip.
Direktori Data harus berisi setidaknya file Cache.txt, Train.txt, Dev.txt dan Labels.txt, dan Anda dapat menambahkan file test.txt.
Simpan referensi formulir:
Input: pyclue/contoh/text_matching/data_templates/, https://github.com/cluebenchmark/pyclue/blob/master/examples/text_matching/data_templates
Catatan: T harus digunakan sebagai pemisah.
Model pelatihan Lokasi skrip: pyclue/contoh/text_matching/train.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/text_matching/train.ipynb
Predicted Script Lokasi: Pyclue/Contoh/Text_Matching/Predict.ipynb
Referensi: https://github.com/cluebenchmark/pyclue/blob/master/examples/text_matching/predict.ipynb
File model berisi 10 file model pos pemeriksaan terbaru dan file model PB (10 file model pemeriksaan yang melakukan terbaik pada test set dev.txt).
File indikator (train_metrics.png) yang dihasilkan oleh proses pelatihan adalah akurasi, total_loss, batch_loss, precision, recall, dan indikator F1.
Jika ada verifikasi file test.txt dan setiap baris file verifikasi dimulai dengan true_label, indikator model terbaik pada file verifikasi dicetak.
Diperbarui.
Alamat resmi: https://github.com/cluebenchmark/pyclue
Alamat debugging: https://github.com/liushaoweihua/pyclue
