生成 AI、特に GPT シリーズ モデルの急速な発展は、多くの分野に新たな可能性をもたらしました。司法試験のスコアの大幅な向上からビジネス分野での応用まで、GPT-4 はその強力な機能を実証しています。しかし、一部の業界専門家は、現在の生成型 AI の推論能力と世界の理解がまだ不十分であり、今後の開発には依然として多くの課題があると考え、現在の生成 AI の理解能力と信頼性に疑問を抱いています。 Downcodes の編集者は、生成 AI の将来の開発の方向性と、国内の生成 AI 業界が直面する機会と課題を深く探求します。
生成AIの今後の発展方向はどこにあるのでしょうか？
現在の GPT-4 が多くの機能において大幅に改善されていることは否定できません。 GPT-3.5 と比較して、複雑な専門分野における GPT-4 のパフォーマンスは大幅に向上しており、米国の弁護士資格試験では、GPT-4 のスコアは上位 10% に達する可能性がありますが、論理的推論能力も強化されています。 3.5 では下位 10% レベルまでしか到達できません。
画像出典：オープンAI
機能の大幅な向上により、Chat GPT はさらに多くの使用シナリオを開くことができます。現在、Open AI はいくつかの主要なアプリケーション シナリオを正式に提供しています。たとえば、Duolingo に AI を追加してユーザーと日常的にチャットし、ユーザーの言語学習を促進します。モルガン スタンレーは GPT-4 を使用してナレッジ ベースを管理し、従業員が迅速にアクセスできるようにします。欲しいコンテンツ。
しかし、多くの有名企業は GPT の現在の機能に疑問を抱いています。スチュアート・ラッセル氏は講演の中で、チャット GPT と GPT-4 は世界を理解しておらず、現在の大規模な言語モデルは、このパズルに現在何が欠けているのかを解明するパズルの一部にすぎないと指摘しました。最終的には のようになりますが、これらは不確かです。機能には多くの欠点があるため、一般的な人工知能の開発にはまだ長い道のりがあることがわかります。 GPT-4 の機能についてはさまざまな疑問があったため、サム アルトマンの講演中にスチュアート ラッセルも PPT を修正していました。
画像出典：ウィズダムカンファレンス
また、チューリング賞受賞者であり、「深層学習のビッグ 3」の 1 人であり、メタ社の主任人工知能科学者であるヤン・リークン氏も、スチュアート・ラッセル氏と同じ見解を持っています。彼は、現在の GPT の自己回帰モデルには計画性が欠けており、その結果、次のような結果が生じると考えています。確率に基づいた大規模な言語モデルを生成することは現時点では不可能であり、入力テキストが増加すると、エラーの確率も指数関数的に増加します。
実際、GPT に対する 2 人の大物たちの非難は不合理ではありません。 Chat GPT 自体で使用される RLHF アルゴリズムは人間の知覚に依存しているため、モデルが自身の回答の質を判断し、徐々に高品質な回答を提供できるように自身をトレーニングすることができます。モデルの推論能力を向上させたい場合は、データベース内の多数のパラメーターを補足し、アルゴリズムを継続的に反復する必要があります。
出典: サウスウエスト証券
しかし、さまざまなリスクの存在も多くの生成AI企業が容易に挑戦することを妨げています。もし生成AIが小説作家と同じ物語推論能力とキャラクターの感情創造能力を達成できれば、生成AIは人間の制御を完全に制御できなくなるのでしょうか?これが世界的なパニックを引き起こしている一方で、地方政府の強力な監督にも遭い、生成AIへのこれまでの投資が無駄になってしまうのでしょうか?
生成AIの今後の発展方向について、楊力坤氏の答えは世界モデルだ。この世界モデルは、神経レベルで人間の脳を模倣するモデルであるだけでなく、認知モジュールの観点から人間の脳の区画に完全に適合する世界モデルでもあります。大規模言語モデルとの最大の違いは、それができることです。計画および予測機能 (ワールド モデル) と原価計算機能 (コスト モジュール) を備えています。
世界モデルの助けを借りて、単純な需要と組み合わせた原価計算モジュールを通じて、世界をより深く理解し、将来を予測し、計画することができます (アクションコストを最も節約するロジックに従って将来を計画する必要があります)。潜在的な毒や不必要な結果をすべて取り除くことができます。
画像出典：ウィズダムカンファレンス
しかし、問題は、トレーニング中の世界モデルのパラメーター、アルゴリズム、コストなどです。Yang Likun は単にいくつかの戦略的なアイデアを与えました。たとえば、自己教師ありモデルを使用してマルチレベル思考モデルをトレーニングおよび確立するなどですが、Yang Likun 氏はそれを実装する方法についての完全な計画を与えることができませんでした。
他の参加者は、生成 AI の将来の開発方向について意見を共有しませんでした。そのため、その後の生成AIは依然として各社が「独自のことをやる」状況が続き、世界統一の生成AIは実験室段階にとどまる可能性がある。
03.国内生成AI予測
Zhiyuan Research Instituteの所長であるHuang Tiejun教授は会議後のメディアのインタビューで、国内の生成AI大型モデルの現在の問題は、業界が過熱しているにもかかわらず、訓練データが小さすぎ、数百億のデータが存在しないことであると述べた。のモデルは登場したばかりです。業界リソースの分散化が進んでいる一方で、努力の積み重ねにより、彼らの間にはある程度の技術的能力はあるものの、外国の大型生成AIモデルとの知能レベルの間には依然として一定のギャップが存在します。
黄鉄軍教授が述べたように、アリババが所有する「同義前文」大規模モデルを例に挙げると、この大規模モデルのトレーニングに使用されるデータは、アリババのタオバオ、アリペイ、天猫などの業界から抽出された大量の中国語の会話と会話であるためです。テキスト データおよび他のソースからのテキスト データの事前トレーニング データの量は約 2,000 億ワードで、14 TB のテキスト データに相当します。
Chat GPTの学習データ量は約45億ワード、テキストデータ300GBに相当します。トレーニング データが比較的小さいため、Alibaba の「Tongyi Qianwen」もマルチモーダル機能が不足しています。テキストの点では、どちらも GPT-4 に大きく劣っています。
InfoQリサーチセンターが発表した「大規模言語モデル総合能力評価レポート2023」のデータによると、Chat GPTは現在総合スコア77.13%で他の国内大規模モデルメーカーをリードしている。
出典：「大規模言語モデル総合能力評価報告書2023」
同時に、黄鉄軍教授は、今日の大型モデルは技術反復の中間産物であり、その後の国内の大型モデル産業の発展により、将来存続できる大型モデルのエコシステムの妥当な数は約3つであると指摘した。 。
黄鉄軍教授が述べたように、馬化騰氏はテンセント社内のハイレベル会議で、Cエンド市場からの配当は今後10年間で消滅するだろうと指摘した。すべての希望はToBエンド市場と下半期にある。インターネットのインターネットは産業用インターネットに属します。アリ・ビジネス・リサーチ・インスティチュートは以前、今後10年間が伝統的企業の変革にとって絶好の機会になると指摘していた。
しかし、長年発展してきたSaaS市場を参考にToB市場の視点から見ると、大型モデルが真にToB市場を開拓しようとするならば、その核となるのは「コスト削減とコスト削減」という価値をもたらすことでなければならない。特に現在の不確実性の時代においては、「効率の向上」を顧客に提供する必要があります。これは、一部の業界が大型モデルの開発をまだ傍観している場合に特に当てはまります。主に伝統的な製造業を基盤としていますが、現在、中小規模の伝統的な製造業が直面している共通の問題は、受注の減少、価格競争の激化、そして下流の代金回収サイクルの長期化です。業界は現在、自活するのに苦労しています。多くの中小規模の製造業では、高額な試行錯誤コストを避けるため、当然、安易に大型モデルの利用を試みることはできません。
そして、SaaS 業界の発展の歴史から判断すると、国内の SaaS 業界は 2004 年初めから 10 年間の平穏を経て、2015 年に成長のピークを迎えました。 2020年の疫病の発生以来、疫病により企業のデジタルトランスフォーメーションが加速し、国内SaaS市場は重要な成長期に入った。しかしそれでも、現在の国内SaaS業界のエコシステムはまだ完成しておらず、市場はまだ成熟していません。
画像出典：フラッシュクラウド
明らかに、大型モデルの TOB 市場の開設は一夜にして起こるものではなく、非常に時間がかかるプロセスです。さらに、その後のさまざまな機能の起動を含め、モデルの反復中にアルゴリズム、計算能力、データによって発生するコストのため、大規模なモデル企業は継続的に多額の資金を投資する必要があります。
事業化には長い時間がかかり、設備投資も高額となり、短期的に利益を上げることは難しく、将来的には資金繰りが厳しい企業は自社の大型モデルを閉鎖せざるを得ないだろう。 、業界リソースは大型ヘッドモデルのメーカーに集中することはさらに難しくなります。
オンライン配車やフードデリバリーなどの多くの業界の経験から判断すると、新興業界で長年の混乱を経て、今後実際に発展できるのはわずか3社程度で、他の多くの企業は歴史の中に埋もれてしまった。長い川。
全体として、生成 AI は急速な発展段階にあり、機会と課題の両方を伴います。将来的には、ワールド モデルが重要な開発方向になる可能性がありますが、その実装には依然として多くの技術的および商業的問題が残されています。国内の生成AI業界も、熾烈な競争で優位に立つためには、データ規模や商用化などの課題を解決する必要がある。 Downcodes の編集者は、今後もこの分野の動向に注目し、よりエキサイティングなコンテンツを読者にお届けしていきます。