AMOS

เอมัส

พื้นที่เก็บข้อมูลนี้มีสคริปต์สำหรับการปรับแต่งแบบจำลองการปรับแต่งแบบจำลองบนเกณฑ์มาตรฐานกาวและ Squad 2.0

กระดาษ: การเข้ารหัสข้อความก่อนการผสมที่มีส่วนผสมของผู้สร้างสัญญาณการฝึกอบรม

ภาพรวม

เราให้บริการสคริปต์ในสองเวอร์ชันโดยใช้รหัสฐานโอเพนซอร์สที่ใช้กันอย่างแพร่หลายสองรายการคือห้องสมุด Fairseq และห้องสมุด HuggingFace Transformers รหัสสองรุ่นส่วนใหญ่เทียบเท่ากับฟังก์ชั่นและคุณมีอิสระที่จะใช้ทั้งสองอย่าง อย่างไรก็ตามเราทราบว่าเวอร์ชัน Fairseq เป็นสิ่งที่เราใช้ในการทดลองของเราและมันจะทำซ้ำผลลัพธ์ในกระดาษได้ดีที่สุด รุ่น HuggingFace ถูกนำมาใช้ในภายหลังเพื่อให้เข้ากันได้กับห้องสมุด HuggingFace Transformers และอาจให้ผลลัพธ์ที่แตกต่างกันเล็กน้อย

โปรดติดตามไฟล์ readme ภายใต้ไดเรกทอรีสองไดเรกทอรีเพื่อเรียกใช้รหัส

ผลการปรับจูนกาว

เกณฑ์มาตรฐานการประเมินความเข้าใจภาษาทั่วไป (กาว) เป็นการรวบรวมงานการทำความเข้าใจภาษาคู่ประโยคหรือประโยคคู่สำหรับการประเมินและวิเคราะห์ระบบการทำความเข้าใจภาษาธรรมชาติ

กาว Dev Set ผลลัพธ์ของโมเดล AMOS Base ++ มีดังนี้ (ค่ามัธยฐานของ 5 เมล็ดสุ่มที่แตกต่างกัน):

แบบอย่าง	mnli-m/mm	qqp	qnli	SST-2	โคล่า	rte	MRPC	STS-B	AVG
AMOS BASE ++	90.5/90.4	92.4	94.4	95.5	71.8	86.6	91.7	92.0	89.4

ชุดทดสอบกาวผลการทดสอบของโมเดล AMOS Base ++ มีดังนี้ (ไม่มี Ensemble, เทคนิคเฉพาะงาน ฯลฯ ):

แบบอย่าง	mnli-m/mm	qqp	qnli	SST-2	โคล่า	rte	MRPC	STS-B	AVG
AMOS BASE ++	90.4/89.9	90.2	94.6	96.8	69.2	83.6	88.9	91.3	88.1

Squad 2.0 ผลการปรับจูน

ชุดข้อมูลการตอบคำถาม Stanford (Squad) เป็นชุดข้อมูลการอ่านความเข้าใจซึ่งประกอบด้วยคำถามที่วางโดยฝูงชนในชุดของบทความ Wikipedia ซึ่งคำตอบสำหรับคำถามทุกข้อคือส่วนของข้อความหรือช่วงจากข้อความการอ่านที่เกี่ยวข้องหรือคำถามอาจไม่สามารถตอบได้

Squad 2.0 Dev Set ผลลัพธ์ของ AMOS BASE ++ และขนาดใหญ่ ++ มีดังนี้ (ค่ามัธยฐานของ 5 เมล็ดสุ่มที่แตกต่างกัน):

แบบอย่าง	em	F1
AMOS BASE ++	85.0	87.9

การอ้างอิง

หากคุณพบว่ารหัสและโมเดลมีประโยชน์สำหรับการวิจัยของคุณโปรดอ้างอิงบทความต่อไปนี้:

 @inproceedings{meng2022amos,
  title={Pretraining Text Encoders with Adversarial Mixture of Training Signal Generators},
  author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
  booktitle={International Conference on Learning Representations},
  year={2022}
}

การบริจาค

โครงการนี้ยินดีต้อนรับการมีส่วนร่วมและข้อเสนอแนะ การมีส่วนร่วมส่วนใหญ่กำหนดให้คุณต้องยอมรับข้อตกลงใบอนุญาตผู้มีส่วนร่วม (CLA) ประกาศว่าคุณมีสิทธิ์และทำจริงให้สิทธิ์ในการใช้การบริจาคของคุณ สำหรับรายละเอียดเยี่ยมชม https://cla.opensource.microsoft.com

เมื่อคุณส่งคำขอดึง CLA บอทจะพิจารณาโดยอัตโนมัติว่าคุณจำเป็นต้องให้ CLA และตกแต่ง PR อย่างเหมาะสม (เช่นการตรวจสอบสถานะแสดงความคิดเห็น) เพียงทำตามคำแนะนำที่จัดทำโดยบอท คุณจะต้องทำสิ่งนี้เพียงครั้งเดียวใน repos ทั้งหมดโดยใช้ CLA ของเรา

โครงการนี้ได้นำรหัสการดำเนินงานของ Microsoft โอเพ่นซอร์สมาใช้ สำหรับข้อมูลเพิ่มเติมโปรดดูจรรยาบรรณคำถามที่พบบ่อยหรือติดต่อ [email protected] พร้อมคำถามหรือความคิดเห็นเพิ่มเติมใด ๆ