Ali Qwen2-72B が HELM リストのトップ: パフォーマンスは Llama3-70B を上回る

最近、スタンフォード大学が HELM MMLU 大型モデル評価リストの最新結果を発表し、業界で広く注目を集めています。このリストは、厳格な評価基準と透明性のある評価プロセスにより、大規模モデルの性能評価の信頼できる参考資料となります。リストの結果によると、アリババのTongyi Qianwen Qwen2-72Bモデルは多くのモデルの中で際立っており、目覚ましい成果を上げており、中国の大型モデル技術の著しい進歩を示しています。

最近、スタンフォード大学の大規模モデル評価リスト HELM MMLU が最新の結果を発表しました。スタンフォード大学基礎モデル研究センター所長のパーシー・リャン氏は、アリババのTongyi Qianwen Qwen2-72BモデルがランキングでLlama3-70Bを上回り、最もパフォーマンスの高いオープンソースの大規模モデルになったと指摘する記事を発表した。 MMLU (Massive Multitask Language Understanding) は、業界で最も影響力のある大規模モデル評価ベンチマークの 1 つです。基本的な数学、コンピューター サイエンス、法律、歴史などを含む 57 のタスクをカバーし、大規模なモデルで世界の知識と問題解決能力をテストするように設計されています。しかし、実際の評価では、さまざまなモデルの結果に一貫性や比較可能性が欠けていることがよくあります。これは主に、非標準のプロンプト ワード テクノロジの使用と、オープンソースの評価フレームワークを統一的に採用できていないことが原因です。

スタンフォード大学の基礎モデル研究センター (CRFM) によって提案された HELM (基礎モデルを評価するための総合的フレームワーク) は、透明性と再現性のある評価方法の作成に取り組んでいます。 HELM フレームワークは、MMLU 上のさまざまなモデルの評価結果を標準化および透明化し、既存の MMLU 評価に存在する問題を解決します。たとえば、参加しているすべてのモデルに同じプロンプト ワードを使用し、状況学習のために各テスト トピックについて同じ 5 つの例をモデルに提供します。 スタンフォード大学基礎モデル研究センター所長のパーシー・リャン氏は最近、最新のHELM MMLUリストをソーシャルプラットフォーム上に公開した。リストによると、Alibaba の Tongyi Qianwen オープン ソース モデル Qwen2-72B が、Claude3Opus、GPT-4o、Gemini1.5pro、GPT-4 に次いで 5 位にランクされており、オープンソースの大型モデルの中で最高位にあり、最高のパフォーマンスを備えています。中国の大型モデルの。 Tongyi Qianwen Qwen2 シリーズは 2024 年 6 月初旬にオープンソース化され、さまざまなサイズの 5 つの事前トレーニングおよび指導微調整モデルが含まれています。 Qwen シリーズは現在までに 1,600 万回以上ダウンロードされており、業界内での幅広い認知と強力なパフォーマンスを示しています。 HELM MMLU の最新の評価結果は、マルチタスク言語理解における Qwen2-72B の卓越したパフォーマンスを実証するだけでなく、世界的な AI 技術競争における中国の大型モデルの台頭も示しています。技術の絶え間ない進歩により、今後、中国の優れた大型モデルが国際舞台で披露されることを期待しています。

Qwen2-72B の卓越したパフォーマンスは、AI 分野におけるアリババの高い技術力を反映しているだけでなく、中国における大型モデルの開発にも大きな推進力を与えています。今後はさらに中国の大型モデルが国際舞台で抜群の強さを発揮すると信じています。