AMOS
v0.1.0
Repositori ini berisi skrip untuk menyempurnakan model pretrained AMOS pada tolok ukur lem dan pasukan 2.0.
Kertas: Pengkodean teks pretraining dengan campuran permusuhan generator sinyal pelatihan
Kami menyediakan skrip dalam dua versi, berdasarkan dua basis kode open-source yang banyak digunakan, Perpustakaan Fairseq dan Perpustakaan Huggingface Transformers. Dua versi kode sebagian besar setara dalam fungsionalitas, dan Anda bebas menggunakan keduanya. Namun, kami mencatat bahwa versi Fairseq adalah apa yang kami gunakan dalam percobaan kami, dan itu akan mereproduksi hasil di koran; Versi Huggingface diimplementasikan kemudian untuk memberikan kompatibilitas dengan perpustakaan HuggingFace Transformers, dan dapat menghasilkan hasil yang sedikit berbeda.
Harap ikuti file readme di bawah dua direktori untuk menjalankan kode.
Benchmark evaluasi pemahaman bahasa umum (lem) adalah kumpulan tugas-tugas pemahaman bahasa kalimat atau kalimat untuk mengevaluasi dan menganalisis sistem pemahaman bahasa alami.
Lem Dev Hasil Hasil AMOS Base ++ adalah sebagai berikut (median 5 biji acak yang berbeda):
| Model | Mnli-m/mm | QQP | Qnli | SST-2 | Cola | Rte | Mrpc | STS-B | Rata -rata |
|---|---|---|---|---|---|---|---|---|---|
| AMOS BASE ++ | 90.5/90.4 | 92.4 | 94.4 | 95.5 | 71.8 | 86.6 | 91.7 | 92.0 | 89.4 |
Hasil Hasil Tes Tes Lem dari Model AMOS Base ++ adalah sebagai berikut (tidak ada ansambel, trik khusus tugas, dll.):
| Model | Mnli-m/mm | QQP | Qnli | SST-2 | Cola | Rte | Mrpc | STS-B | Rata -rata |
|---|---|---|---|---|---|---|---|---|---|
| AMOS BASE ++ | 90.4/89.9 | 90.2 | 94.6 | 96.8 | 69.2 | 83.6 | 88.9 | 91.3 | 88.1 |
Stanford Pertanyaan menjawab Dataset (Skuad) adalah dataset pemahaman bacaan, yang terdiri dari pertanyaan yang diajukan oleh pekerja kerumunan pada satu set artikel Wikipedia, di mana jawaban untuk setiap pertanyaan adalah segmen teks, atau rentang, dari bagian bacaan yang sesuai, atau pertanyaannya mungkin tidak dapat dijawab.
Skuad 2.0 Mengatur Hasil Model AMOS Base ++ dan Besar ++ adalah sebagai berikut (median 5 biji acak yang berbeda):
| Model | Em | F1 |
|---|---|---|
| AMOS BASE ++ | 85.0 | 87.9 |
Jika Anda menemukan kode dan model yang berguna untuk penelitian Anda, silakan kutip makalah berikut:
@inproceedings{meng2022amos,
title={Pretraining Text Encoders with Adversarial Mixture of Training Signal Generators},
author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
booktitle={International Conference on Learning Representations},
year={2022}
}
Proyek ini menyambut kontribusi dan saran. Sebagian besar kontribusi mengharuskan Anda untuk menyetujui perjanjian lisensi kontributor (CLA) yang menyatakan bahwa Anda memiliki hak untuk, dan benar -benar melakukannya, beri kami hak untuk menggunakan kontribusi Anda. Untuk detailnya, kunjungi https://cla.opensource.microsoft.com.
Saat Anda mengirimkan permintaan tarik, bot CLA akan secara otomatis menentukan apakah Anda perlu memberikan CLA dan menghiasi PR secara tepat (misalnya, pemeriksaan status, komentar). Cukup ikuti instruksi yang disediakan oleh bot. Anda hanya perlu melakukan ini sekali di semua repo menggunakan CLA kami.
Proyek ini telah mengadopsi kode perilaku open source Microsoft. Untuk informasi lebih lanjut, lihat FAQ Kode Perilaku atau hubungi [email protected] dengan pertanyaan atau komentar tambahan.
