ホーム>プログラミング関連>その他のソースコード
ダウンロード

大規模な言語モデルの実用的なガイド

LLMSの実用的なガイドリソースのキュレーションされた（まだアクティブに更新されている）リスト。それは私たちの調査論文に基づいています：実際にLLMSの力を活用する：@xinyaduのChatGptおよびBeyondの調査と努力。調査は、このブログの後半に部分的に基づいています。また、近年の言語モデルの開発を追跡するために、現代の大手言語モデル（LLMS）の進化ツリーを構築し、最もよく知られているモデルのいくつかを強調しています。

これらの情報源は、開業医が大規模な言語モデル（LLM）の広大な景観と、自然言語処理（NLP）アプリケーションでのアプリケーションをナビゲートするのを支援することを目的としています。また、モデルとデータライセンス情報に基づいた使用制限も含めます。リポジトリ内のリソースが役立つ場合は、お気軽に使用してください（私たちの論文を引用することを忘れないでください！？）。この数字を改良するためのプルリクエストを歓迎します！ 

    @article { yang2023harnessing ,
        title = { Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond } , 
        author = { Jingfeng Yang and Hongye Jin and Ruixiang Tang and Xiaotian Han and Qizhang Feng and Haoming Jiang and Bing Yin and Xia Hu } ,
        year = { 2023 } ,
        eprint = { 2304.13712 } ,
        archivePrefix = { arXiv } ,
        primaryClass = { cs.CL }
    }

最新ニュース？

  • 使用法と制限セクションを追加しました。
  • PowerPointを使用して図をプロットし、GIFフィギュアのソースファイルPPTXをリリースしました。 [4/27/2023]
  • StillバージョンPPTXのソースファイルをリリースし、このレポの数字をStillバージョンに置き換えました。 [4/29/2023]
  • alexatm、unilm、unilmv2を図に追加し、TKのロゴを修正します。 [4/29/2023]
  • 使用法と制限（商業および研究の目的で）セクションを追加します。デュ博士へのクレジット。 [5/8/2023]

LLMSのその他の実用的なガイド

  • GPT-3のすべての公的複製が失敗したのはなぜですか？どのタスクでGPT-3.5/ChatGPTを使用する必要がありますか？ 2023、ブログ
  • 生産用のLLMアプリケーションの構築、2023、ブログ
  • データ中心の人工知能、2023、レポ/ブログ/紙

カタログ

  • 大規模な言語モデルの実用的なガイド
    • モデルの実用ガイド
      • BERTスタイルの言語モデル：エンコーダデコーダーまたはエンコーダのみ
      • GPTスタイルの言語モデル：デコーダーのみ
    • データの実用ガイド
      • 事前削除データ
      • Finetuningデータ
      • データ/ユーザーデータをテストします
    • NLPタスクの実用ガイド
      • 従来のNLUタスク
      • ジェネレーションタスク
      • 知識集約型タスク
      • スケーリングの能力
      • 特定のタスク
      • 現実世界の「タスク」
      • 効率
      • 信頼性
      • ベンチマーク命令チューニング
      • アライメント
        • 安全整合（無害）
        • 真実性の調整（正直）
        • プロンプトのための実用的なガイド（役立つ）
        • オープンソースコミュニティのアライメント努力
    • 使用法と制限（モデルとデータ）

モデルの実用ガイド

BERTスタイルの言語モデル：エンコーダデコーダーまたはエンコーダのみ

  • バート・バート：言語理解のための深い双方向変圧器の事前訓練、2018年、論文
  • Roberta Roberta：堅牢に最適化されたBert Pretraining Approach 、2019、Paper
  • Distilbert Distilbert、Bertの蒸留バージョン：より小さく、より速く、安価で軽い、2019年、紙
  • アルバート・アルバート：言語表現の自己監視学習のためのライト・バート、2019年、論文
  • 自然言語の理解と生成のための事前トレーニング、2019年の統一言語モデル
  • Electra Electra：ジェネレーターではなく判別器としての事前トレーニングテキストエンコーダー、2020、紙
  • T5 「統一されたテキストからテキスト変圧器を使用した転送学習の限界を探る」 。 Colin Raffel et al。 JMLR2019。Paper
  • GLM "GLM-130B：オープンバイリンガルの事前訓練モデル" 。 2022。紙
  • ALEXATM 「ALEXATM 20B：大規模な多言語SIQ2SEQモデルを使用した少数のショット学習」 。 Saleh Soltan et al。 Arxiv2022。Paper
  • St-Moe St-Moe：安定した転送可能なスパースエキスパートモデルの設計。 2022ペーパー

GPTスタイルの言語モデル：デコーダーのみ

  • GPT生成前のトレーニングによる言語理解の改善。 2018。論文
  • GPT-2言語モデルは、教師のないマルチタスク学習者です。 2018。論文
  • GPT-3 「言語モデルは少数の学習者です」 。 Neurips2020。Paper
  • opt "opt：事前に訓練されたトランス語モデルを開く" 。 2022。紙
  • Palm "Palm：Scaling Language Modeling with Pathway」 。 Aakanksha Chowdhery et al。 Arxiv2022。Paper
  • Bloom "Bloom：176B-Parameterオープンアクセス多言語言語モデル」 。 2022。紙
  • MT-NLG 「DeepSpeedとMegatronを使用して、大規模生成言語モデルであるMegatron-Turing NLG 530Bをトレーニングします」 。 2021。論文
  • GLAM 「GLAM：混合物を使用した言語モデルの効率的なスケーリング」 。 ICML2022。Paper
  • Gopher 「スケーリング言語モデル：トレーニングGopherからの方法、分析、洞察」 。 2021。論文
  • Chinchilla 「トレーニングコンピューティング - 最適な大規模言語モデル」 。 2022。紙
  • ラムダ「ラムダ：ダイアログアプリケーションの言語モデル」 。 2021。論文
  • llama "llama：オープンで効率的な基礎言語モデル" 。 2023。論文
  • GPT-4 「GPT-4テクニカルレポート」 。 2023。論文
  • Bloomberggpt Bloomberggpt：金融の大規模な言語モデル、2023年、紙
  • GPT-Neox-20B： 「GPT-Neox-20B：オープンソースの自動脱着言語モデル」 。 2022。紙
  • Palm 2： 「Palm 2テクニカルレポート」 。 2023。Tech.Report
  • Llama 2： 「Llama 2：Open Foundationと微調整されたチャットモデル」 。 2023。論文
  • Claude 2： 「Claude Modelsのモデルカードと評価」 。 2023。モデルカード

データの実用ガイド

事前削除データ

  • Redpajama 、2023。Repo
  • パイル：言語モデリングのための多様なテキストの800GBのデータセット、Arxiv2020。Paper
  • トレーニング前の目標は、言語特性について学習する大規模な言語モデルにどのように影響しますか？ 、ACL2022。Paper
  • 神経言語モデルのスケーリング法則、2020年
  • データ中心の人工知能：調査、2023年。紙
  • GPTはどのようにその能力を獲得しますか？言語モデルの緊急能力をソースに追跡する、2022年。ブログ

Finetuningデータ

  • ベンチマークゼロショットテキスト分類：データセット、評価、およびentainmentアプローチ、EMNLP2019。Paper
  • 言語モデルは、少数のショット学習者、NIPS2020。Paperです
  • LLMの合成データ生成は臨床テキストマイニングに役立ちますか？ Arxiv 2023ペーパー

データ/ユーザーデータをテストします

  • 自然言語理解における大規模な言語モデルのショートカット学習：調査、Arxiv2023。Paper
  • ChatGptの堅牢性について：敵対的で分散していない視点Arxiv、2023。Paper。
  • スーパーグルー：汎用言語理解システムARXIV 2019のためのよりスティッキーベンチマーク。

NLPタスクの実用ガイド

LLMSまたは微調整されたモデルを選択するための決定フローを構築します〜ユーザーのNLPアプリケーション用のfootnotemarkを保護します。決定フローは、ユーザーが手元の下流のNLPアプリケーションが特定の条件を満たしているかどうかを評価するのに役立ち、その評価に基づいて、LLMSまたは微調整されたモデルがアプリケーションに最も適した選択であるかどうかを判断します。

従来のNLUタスク

  • 市民のコメントに関する有毒なコメント分類のためのベンチマークデータセットarxiv 2023ペーパー
  • ChatGptは汎用自然言語処理タスクソルバーですか？ Arxiv 2023ペーパー
  • ニュース要約のための大きな言語モデルのベンチマークarxiv 2022ペーパー

ジェネレーションタスク

  • GPT-3 ARXIV 2022ペーパーの時代におけるニュースの要約と評価
  • ChatGptは良い翻訳者ですか？はい、GPT-4をエンジンARXIV 2023ペーパーとして
  • WMT21共有タスクのためのMicrosoftの多言語機械翻訳システム、WMT2021ペーパー
  • Chatgppも理解できますか？ ChatGptと微調整されたBert、Arxiv 2023、Paperに関する比較研究

知識集約型タスク

  • 大規模なマルチタスク言語の理解の測定、ICLR 2021ペーパー
  • 模倣ゲームを超えて：言語モデルの能力を定量化して推定する、ARXIV 2022 Paper
  • 逆スケーリング賞、2022リンク
  • ATLAS：検索された言語モデルを検索した少数の学習、ARXIV 2022 Paper
  • 大規模な言語モデルは臨床知識をエンコードします、arxiv 2022ペーパー

スケーリングの能力

  • トレーニングコンピューティング - 最適な大規模な言語モデル、ニューリップ2022ペーパー
  • 神経言語モデルのスケーリング法、arxiv 2020ペーパー
  • プロセスおよび結果ベースのフィードバックで数学の単語の問題を解決する、ARXIV 2022ペーパー
  • 促す一連の思考は、大きな言語モデルで推論を引き出す、ニューリップス2022ペーパー
  • 大規模な言語モデルの緊急能力、TMLR 2022ペーパー
  • 逆スケーリングは、U字型、Arxiv 2022紙になる可能性があります
  • 大規模な言語モデルの推論に向けて：調査、Arxiv 2022ペーパー

特定のタスク

  • 外国語としての画像：すべてのビジョンとビジョン言語のタスクのためのBeit Preting 、ARIXV 2022 Paper
  • Pali：共同でスケーリングされた多言語言語イメージモデル、ARXIV 2022 Paper
  • auggpt：テキストデータの増強のためにchatgptを活用する、arxiv 2023ペーパー
  • GPT-3は優れたデータアノテーターですか？ 、Arxiv 2022ペーパー
  • ラベル付けコストを削減したいですか？ GPT-3が役立つ、EMNLP調査結果2021ペーパー
  • GPT3MIX：テキスト増強のための大規模な言語モデルの活用、EMNLP調査結果2021ペーパー
  • 患者の試合マッチングのためのLLM：より良いパフォーマンスと一般化可能性に向けたプライバシー認識データ増強、ARXIV 2023ペーパー
  • ChatGptは、テキスト解決タスクのためにクラウドワーカーを上回る、Arxiv 2023ペーパー
  • G-EVAL：より良い人間のアライメントを備えたGPT-4を使用したNLG評価、ARXIV 2023 Paper
  • GPTSCORE：希望どおりに評価してください、ARXIV 2023ペーパー
  • 大規模な言語モデルは、翻訳品質の最先端の評価者です。ARXIV2023論文
  • ChatGptは良いNLG評価者ですか？予備研究、Arxiv 2023論文

現実世界の「タスク」

  • 人工的な一般情報の火花：GPT-4を使用した初期の実験、ARXIV 2023 Paper

効率

  1. 料金
  • OpenaiのGPT-3言語モデル：技術概要、2020年。ブログ投稿
  • クラウドインスタンスでのAIの炭素強度の測定、段階2022。
  • AIでは、常に大きいですか？ 、Nature Article 2023。記事
  • 言語モデルは、少数のショット学習者、Neurips2020。Paperです
  • 価格設定、Openai。ブログ投稿
  1. 遅延
  • ヘルム：言語モデルの全体的な評価、Arxiv2022。Paper
  1. パラメーター効率の高い微調整
  • Lora：大規模な言語モデルの低ランク適応、Arxiv2021。Paper
  • プレフィックス調整：生成の連続プロンプトの最適化、ACL2021。Paper
  • P-Tuning：迅速なチューニングは、スケールやタスク全体の微調整に匹敵する可能性があります。ACL2022。Paper
  • P調整V2：迅速なチューニングは、スケールやタスク全体で普遍的に微調整することに匹敵する可能性があります。
  1. 事前削除システム
  • ゼロ：トレーニングに向けたメモリの最適化兆モデルモデル、ARXIV2019。Paper
  • Megatron-LM：モデル並列性を使用した数十億パラメーター言語モデルのトレーニング、ARXIV2019。Paper
  • Megatron-LMを使用したGPUクラスターの効率的な大規模な言語モデルトレーニング、Arxiv2021。Paper
  • 大規模な変圧器モデルの活性化再計算の削減、ARXIV2021。Paper

信頼性

  1. 堅牢性とキャリブレーション
  • 使用前にキャリブレーション：言語モデルのいくつかのショットパフォーマンスの改善、ICML2021。Paper
  • 仕様：臨床ノートの要約におけるパフォーマンスの変動を緩和するためのソフトプロンプトベースのキャリブレーション、ARXIV2023。Paper
  1. 偽のバイアス
  • 大規模な言語モデルは怠zyな学習者になる可能性があります：コンテキスト学習のショートカットを分析し、ACL 2023ペーパーの調査結果
  • 自然言語の理解における大規模な言語モデルのショートカット学習：調査、2023ペーパー
  • キャプションシステムでの性別バイアスの緩和、www 2020ペーパー
  • 使用前にキャリブレーション：言語モデルの少数のショットパフォーマンスの改善、ICML 2021ペーパー
  • 深いニューラルネットワークでのショートカット学習、ネイチャーマシンインテリジェンス2020ペーパー
  • プロンプトベースのモデルは、プロンプトの意味を本当に理解していますか？ 、NAACL 2022ペーパー
  1. 安全性の問題
  • GPT-4システムカード、2023ペーパー
  • LLMで生成されたテキストを検出する科学、Arxiv 2023 Paper
  • 言語を通じてステレオタイプがどのように共有されるか：AOCIALカテゴリとステレオタイプコミュニケーション（SCSC）フレームワークのレビューと導入、コミュニケーション研究のレビュー、2019 Paper
  • ジェンダーシェード：商業性の分類における交差精度格差、2018年の段階

ベンチマーク命令チューニング

  • Flan： Finetuned Language Modelsはゼロショット学習者です、Arxiv 2021 Paper
  • T0：マルチタスクプロンプトトレーニングは、ゼロショットタスクの一般化、ARXIV 2021ペーパーを有効にします
  • 自然言語によるクロスタスクの一般化クラウドソーシングの指示、ACL 2022ペーパー
  • TK-Instruct： Super-NaturalInstructions：1600+ NLPタスクに関する宣言的指示による一般化、EMNLP 2022 Paper
  • Flan-T5/Palm：スケーリング命令finetuned言語モデル、arxiv 2022ペーパー
  • FLANコレクション：効果的な指導チューニングのためのデータと方法の設計、ARXIV 2023ペーパー
  • Opt-IML：言語モデルのスケーリングメタ一般化のレンズを通して学習、ARXIV 2023 Paper

アライメント

  • 人間の好みからの深い強化学習、NIPS 2017ペーパー
  • 人間のフィードバックから要約することを学ぶ、arxiv 2020ペーパー
  • アライメントのための研究室としての一般的な言語アシスタント、arxiv 2021ペーパー
  • 人間のフィードバックからの補強学習で役立つ無害なアシスタント、ARXIV 2022ペーパー
  • 検証済みの引用で回答をサポートするための言語モデルを教える、arxiv 2022ペーパー
  • instructgpt：人間のフィードバックで指示に従うための言語モデルのトレーニング、ARXIV 2022ペーパー
  • ターゲットを絞った人間の判断を介した対話エージェントの調整の改善、ARXIV 2022 Paper
  • 報酬モデルの過剰最適化のためのスケーリング法、arxiv 2022ペーパー
  • スケーラブル監視：大規模な言語モデルのスケーラブル監視の進捗状況の測定、ARXIV 2022ペーパー

安全整合（無害）

  • 言語モデルを使用した赤いチーム化言語モデル、ARXIV 2022ペーパー
  • 憲法上のAI：AIフィードバックからの無害性、ARXIV 2022ペーパー
  • 大規模な言語モデルにおける道徳的自己修正の能力、Arxiv 2023論文
  • Openai：AI Safetyへのアプローチ、2023ブログ

真実性の調整（正直）

  • 言語モデルの強化学習、2023ブログ

プロンプトのための実用的なガイド（役立つ）

  • Openai Cookbook 。ブログ
  • 迅速なエンジニアリング。ブログ
  • 開発者向けのChatGptプロンプトエンジニアリング！コース

オープンソースコミュニティのアライメント努力

  • 自己内容：自己生成された指示を備えた言語モデル、arxiv 2022ペーパー
  • アルパカ。レポ
  • Vicuna 。レポ
  • ドリー。ブログ
  • deepspeed-chat 。ブログ
  • gpt4all 。レポ
  • OpenAssitant 。レポ
  • chatglm 。レポ
  • モス。レポ
  • ラミニ。レポ/ブログ

使用法と制限

LLMSの使用制限を要約するテーブルを構築します（たとえば、商業および研究の目的で）。特に、モデルからの情報とその事前販売データの視点を提供します。コミュニティのユーザーに、パブリックモデルとデータのライセンス情報を参照し、責任ある方法で使用するように促します。開発者に、ライセンスに特別な注意を払って、透明で包括的にして、不要で予期せぬ使用を防ぐように促します。

LLMSモデルデータ
ライセンス商業用その他の顕著な制限ライセンスコーパス
エンコーダのみ
モデルのバートシリーズ（一般的なドメイン） Apache 2.0 ✅公共Bookscorpus、英語ウィキペディア
ロベルタMITライセンス✅公共BookCorpus、CC-News、OpenWebtext、Stories
アーニーApache 2.0 ✅公共英語のウィキペディア
Scibert Apache 2.0 ✅公共Bert Corpus、セマンティック・スカラーの1.14mの論文
LegalBert CC by-sa 4.0パブリック（判例法アクセスプロジェクトからのデータを除く） EUの法律、米国の訴訟など
Biobert Apache 2.0 ✅ PubMed PubMed、PMC
エンコーダデコーダー
T5 Apache 2.0 ✅公共C4
flan-t5 Apache 2.0 ✅公共C4、タスクの混合（紙の図2）
バートApache 2.0 ✅公共ロベルタコーパス
GLM Apache 2.0 ✅公共bookscorpusと英語のウィキペディア
chatglm Chatglmライセンス違法な目的や軍事研究には役に立たず、社会の公益に害を及ぼすことはありませんn/a中国語と英語のコーパスの1トークン
デコーダーのみ
GPT2変更されたMITライセンス✅ GPT-2を責任を持って使用し、GPT-2を使用してコンテンツが作成されたことを明確に示します。公共webtext
gpt-neo MITライセンス✅公共パイル
GPT-J Apache 2.0 ✅公共パイル
--->ドリーNC 4.0によるCC NC 4.0によるCC、OpenAIによって生成されたデータの使用条件の対象となります杭、自己インストラクション
---> gpt4all-j Apache 2.0 ✅公共gpt4all-jデータセット
ピティアApache 2.0 ✅公共パイル
---> Dolly V2 MITライセンス✅公共パイル、Databricks-Dolly-15K
Opt OPT-175Bライセンス契約監視研究と軍事に関連する開発はなく、社会の公益に害を及ぼすことはありません公共Roberta Corpus、The Pile、Pushshift.io Reddit
---> opt-iml OPT-175Bライセンス契約オプトと同じです公共Super-NaturalInstructionsの拡張バージョン、Opt Corpus
ヤルムApache 2.0 ✅不特定パイル、チームはロシア語でテキストを収集しました
咲くBigScience Railライセンス✅他の人を傷つける目的で、検証可能な虚偽の情報を生成することはありません。
テキストがマシンで生成されていることを明示的に否認することなくコンテンツ		公共ルーツコーパス（ローレンコンet al。、2022）
---> Bloomz BigScience Railライセンス✅咲くのと同じ公共ルーツコーパス、XP3
ギャラクティカCC BY-NC 4.0 n/a Galactica Corpus
ラマ非営利のオーダーメイドライセンス監視研究と軍事に関連する開発はなく、社会の公益に害を及ぼすことはありません公共CommonCrawl、C4、Github、Wikipediaなど
---> alpaca NC 4.0によるCC NC 4.0によるCC、OpenAIによって生成されたデータの使用条件の対象となりますLlama Corpus、自己内容
---> Vicuna NC 4.0によるCC OpenAIによって生成されたデータの使用条件に従います。
Sharegptのプライバシープラクティス		Llama Corpus、Sharegpt.comからの70Kの会話
---> gpt4all GPLライセンスラマ公共gpt4allデータセット
Openllama Apache 2.0 ✅公共レッドパジャマ
CodeGeex CodeGeexライセンス違法な目的や軍事研究には役に立ちません公共パイル、コードパローなど
スターコダーBigCode OpenRail-M V1ライセンス✅他の人を傷つける目的で、検証可能な虚偽の情報を生成することはありません。
テキストがマシンで生成されていることを明示的に否認することなくコンテンツ		公共スタック
MPT-7B Apache 2.0 ✅公共MC4（英語）、スタック、Redpajama、S2ORC
ファルコンTII Falcon LLMライセンス✅/商用利用を可能にするライセンスの下で利用可能公共洗練された覚醒

星の歴史

拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて