Ali Qwen2-72B ติดอันดับ HELM: ประสิทธิภาพเหนือกว่า Llama3-70B

เมื่อเร็วๆ นี้ มหาวิทยาลัยสแตนฟอร์ดได้เผยแพร่ผลการประเมินแบบจำลองขนาดใหญ่ของ HELM MMLU ซึ่งได้รับความสนใจอย่างกว้างขวางในอุตสาหกรรม ด้วยมาตรฐานการประเมินที่เข้มงวดและกระบวนการประเมินที่โปร่งใส รายการนี้จึงเป็นข้อมูลอ้างอิงที่เชื่อถือได้สำหรับการประเมินประสิทธิภาพของโมเดลขนาดใหญ่ ผลการจัดอันดับแสดงให้เห็นว่าโมเดล Tongyi Qianwen Qwen2-72B ของอาลีบาบามีความโดดเด่นในบรรดารุ่นต่างๆ มากมาย และประสบความสำเร็จอย่างน่าประทับใจ ซึ่งแสดงให้เห็นถึงความก้าวหน้าครั้งสำคัญของเทคโนโลยีโมเดลขนาดใหญ่ของจีน

เมื่อเร็วๆ นี้ รายการประเมินแบบจำลองขนาดใหญ่ของมหาวิทยาลัยสแตนฟอร์ด HELM MMLU ได้เปิดเผยผลลัพธ์ล่าสุด Percy Liang ผู้อำนวยการศูนย์วิจัยโมเดลพื้นฐานที่มหาวิทยาลัยสแตนฟอร์ด ตีพิมพ์บทความที่ชี้ให้เห็นว่าโมเดล Tongyi Qianwen Qwen2-72B ของอาลีบาบาแซงหน้า Llama3-70B ในการจัดอันดับ และกลายเป็นโมเดลโอเพ่นซอร์สขนาดใหญ่ที่มีประสิทธิภาพดีที่สุด MMLU (ความเข้าใจภาษามัลติทาสก์ขนาดใหญ่) เป็นหนึ่งในเกณฑ์มาตรฐานการประเมินโมเดลขนาดใหญ่ที่มีอิทธิพลมากที่สุดในอุตสาหกรรม โดยครอบคลุมงาน 57 งาน รวมถึงคณิตศาสตร์พื้นฐาน วิทยาการคอมพิวเตอร์ กฎหมาย ประวัติศาสตร์ ฯลฯ และออกแบบมาเพื่อทดสอบความรู้ของโลกและความสามารถในการแก้ปัญหาในแบบจำลองขนาดใหญ่ อย่างไรก็ตาม ในการประเมินจริง ผลลัพธ์ของแบบจำลองต่างๆ มักจะขาดความสอดคล้องและไม่สามารถเปรียบเทียบได้ สาเหตุหลักมาจากการใช้เทคโนโลยี prompt word ที่ไม่ได้มาตรฐาน และความล้มเหลวในการนำกรอบการประเมินโอเพ่นซอร์สมาใช้อย่างเท่าเทียมกัน

HELM (กรอบการทำงานแบบองค์รวมสำหรับการประเมินแบบจำลองรากฐาน) ที่เสนอโดยศูนย์วิจัยเกี่ยวกับแบบจำลองพื้นฐาน (CRFM) ที่มหาวิทยาลัยสแตนฟอร์ด มุ่งมั่นที่จะสร้างวิธีการประเมินที่โปร่งใสและทำซ้ำได้ กรอบงาน HELM สร้างมาตรฐานและทำให้ผลการประเมินของโมเดลต่างๆ บน MMLU โปร่งใส แก้ปัญหาที่มีอยู่ในการประเมิน MMLU ที่มีอยู่ ตัวอย่างเช่น ใช้คำพร้อมท์เดียวกันสำหรับโมเดลที่เข้าร่วมทั้งหมด และจัดเตรียมโมเดลที่มี 5 ตัวอย่างเดียวกันในแต่ละหัวข้อการทดสอบสำหรับการเรียนรู้ตามสถานการณ์ Percy Liang ผู้อำนวยการศูนย์วิจัยแบบจำลองพื้นฐานแห่งมหาวิทยาลัยสแตนฟอร์ด เพิ่งเปิดตัวรายชื่อ HELM MMLU ล่าสุดบนแพลตฟอร์มโซเชียล รายชื่อแสดงให้เห็นว่ารุ่นโอเพ่นซอร์ส Tongyi Qianwen ของอาลีบาบา Qwen2-72B อยู่ในอันดับที่ 5 รองจาก Claude3Opus, GPT-4o, Gemini1.5pro และ GPT-4 ซึ่งเป็นรุ่นโอเพ่นซอร์สขนาดใหญ่ที่มีอันดับสูงสุดและมีประสิทธิภาพดีที่สุดอีกด้วย โมเดลจีนขนาดใหญ่ ซีรีส์ Tongyi Qianwen Qwen2 เป็นโอเพ่นซอร์สเมื่อต้นเดือนมิถุนายน 2024 และมีโมเดลการปรับแต่งก่อนการฝึกอบรมและการสอน 5 แบบในขนาดต่างๆ จนถึงขณะนี้ รุ่นซีรีส์ Qwen มียอดดาวน์โหลดมากกว่า 16 ล้านครั้ง ซึ่งแสดงให้เห็นถึงการยอมรับในวงกว้างและประสิทธิภาพอันทรงพลังในอุตสาหกรรม ผลการประเมินล่าสุดของ HELM MMLU ไม่เพียงแต่แสดงให้เห็นถึงประสิทธิภาพที่โดดเด่นของ Qwen2-72B ในการทำความเข้าใจภาษาแบบมัลติทาสก์เท่านั้น แต่ยังแสดงถึงการเพิ่มขึ้นของโมเดลขนาดใหญ่ของจีนในการแข่งขันเทคโนโลยี AI ระดับโลกอีกด้วย ด้วยความก้าวหน้าทางเทคโนโลยีอย่างต่อเนื่อง เราหวังว่าจะได้เห็นโมเดลขนาดใหญ่ที่โดดเด่นมากขึ้นจากประเทศจีนอวดโฉมบนเวทีระดับนานาชาติในอนาคต

ประสิทธิภาพที่โดดเด่นของ Qwen2-72B ไม่เพียงแต่สะท้อนถึงความแข็งแกร่งทางเทคนิคอันแข็งแกร่งของอาลีบาบาในด้าน AI เท่านั้น แต่ยังอัดฉีดแรงผลักดันอันแข็งแกร่งให้กับการพัฒนาโมเดลขนาดใหญ่ในจีนอีกด้วย ฉันเชื่อว่าในอนาคต โมเดลของจีนที่มีขนาดใหญ่มากขึ้นจะแสดงความแข็งแกร่งที่โดดเด่นในเวทีระดับนานาชาติ