Ali Qwen2-72B menduduki puncak daftar HELM: kinerjanya melampaui Llama3-70B

Baru-baru ini, Universitas Stanford merilis hasil terbaru dari daftar evaluasi model besar HELM MMLU, yang telah menarik perhatian luas di industri. Dengan standar evaluasi yang ketat dan proses evaluasi yang transparan, daftar ini memberikan referensi yang dapat diandalkan untuk evaluasi kinerja model besar. Hasil dari daftar tersebut menunjukkan bahwa model Tongyi Qianwen Qwen2-72B milik Alibaba menonjol di antara banyak model dan telah mencapai hasil yang mengesankan, menunjukkan kemajuan signifikan dari teknologi model besar Tiongkok.

Baru-baru ini, daftar evaluasi model besar Universitas Stanford HELM MMLU merilis hasil terbaru. Percy Liang, direktur Pusat Penelitian Model Dasar di Universitas Stanford, menerbitkan sebuah artikel yang menunjukkan bahwa model Tongyi Qianwen Qwen2-72B milik Alibaba melampaui peringkat Llama3-70B dan menjadi model besar sumber terbuka dengan kinerja terbaik. MMLU (Massive Multitask Language Understanding) adalah salah satu tolok ukur evaluasi model besar yang paling berpengaruh di industri. Ini mencakup 57 tugas termasuk matematika dasar, ilmu komputer, hukum, sejarah, dll., dan dirancang untuk menguji pengetahuan dunia dan kemampuan pemecahan masalah dalam model besar. Namun, dalam evaluasi aktual, hasil dari model yang berbeda sering kali kurang konsisten dan tidak dapat dibandingkan. Hal ini terutama disebabkan oleh penggunaan teknologi kata cepat yang tidak standar dan kegagalan untuk mengadopsi kerangka evaluasi sumber terbuka secara seragam.

HELM (Kerangka holistik untuk mengevaluasi model pondasi) yang diusulkan oleh Pusat Penelitian Model Fondasi (CRFM) di Universitas Stanford berkomitmen untuk menciptakan metode evaluasi yang transparan dan dapat direproduksi. Kerangka kerja HELM menstandarkan dan membuat transparan hasil evaluasi berbagai model MMLU, memecahkan masalah yang ada dalam evaluasi MMLU yang ada. Misalnya, gunakan kata-kata cepat yang sama untuk semua model yang berpartisipasi, dan berikan 5 contoh yang sama kepada model pada setiap topik tes untuk pembelajaran situasional. Percy Liang, direktur Pusat Penelitian Model Fundamental di Universitas Stanford, baru-baru ini merilis daftar HELM MMLU terbaru di platform sosial. Daftar tersebut menunjukkan bahwa model open source Tongyi Qianwen milik Alibaba Qwen2-72B berada di peringkat kelima, kedua setelah Claude3Opus, GPT-4o, Gemini1.5pro dan GPT-4. Ini adalah model besar open source dengan peringkat tertinggi dan juga memiliki kinerja terbaik. model besar Cina. Seri Tongyi Qianwen Qwen2 bersumber terbuka pada awal Juni 2024 dan berisi 5 model penyempurnaan pra-pelatihan dan instruksi dengan ukuran berbeda. Hingga saat ini, model seri Qwen telah diunduh lebih dari 16 juta kali, menunjukkan pengakuan luas dan kinerja yang kuat di industri. Hasil evaluasi terbaru HELM MMLU tidak hanya menunjukkan performa luar biasa Qwen2-72B dalam pemahaman bahasa multitugas, namun juga menandai kebangkitan model-model besar Tiongkok dalam persaingan teknologi AI global. Dengan kemajuan teknologi yang berkelanjutan, kami berharap dapat melihat lebih banyak lagi model-model besar terkemuka dari Tiongkok yang tampil di panggung internasional di masa depan.

Kinerja luar biasa dari Qwen2-72B tidak hanya mencerminkan kekuatan teknis Alibaba yang kuat di bidang AI, namun juga memberikan dorongan yang kuat ke dalam pengembangan model-model besar di Tiongkok. Saya percaya bahwa di masa depan, lebih banyak model besar Tiongkok yang akan menunjukkan kekuatan luar biasa mereka di panggung internasional.