ホーム>プログラミング関連>AI ソースコード
ダウンロード

オープン言語モデルリスト

？導入

これは、MIT、Apache 2.0、またはその他の同様のライセンスを備えた許可されたライセンス言語モデルのリストです。ここでは、言語モデルという用語を広く使用して、自己回帰モデルだけでなく、MLMなどのさまざまな目的でトレーニングされたモデルも含めています。

この作品は、主にStella Bidermanの生成AIのディレクトリと、基礎モデル開発のチートシートに触発されました。しかし、これら2つの非常に包括的なソースとは異なり、この作業は迅速かつ焦点を絞った参照になることを意図しています。

  • ？：モデル +データ +コード
  • ：モデル +データ
  • ⚡：モデル +コード

重要

これはまだ進行中の作業です。貢献、修正、フィードバックは大歓迎です！

？モデル

モデルパラメーター建築エンコーダーデコーダMOE年顔を抱き締めるライセンス
GPT-1 120mトランス - ✅ - 2018年？ mit
Bert-Base-Cased 110mトランス✅ - - 2018年？ Apache 2.0
Bert-Base-Uncased 110mトランス✅ - - 2018年？ Apache 2.0
Bert-Large-Cased 340mトランス✅ - - 2018年？ Apache 2.0
Bert-Large-Uncased 340mトランス✅ - - 2018年？ Apache 2.0
GPT-2-SMALL 124mトランス - ✅ - 2019年？ mit
GPT-2メディアム355mトランス - ✅ - 2019年？ mit
GPT-2-Large 774mトランス - ✅ - 2019年？ mit
GPT-2-XL 1.5bトランス - ✅ - 2019年？ mit
T5-Small？ 60mトランス✅ ✅ - 2019年？ Apache 2.0
T5ベース？ 220mトランス✅ ✅ - 2019年？ Apache 2.0
T5-large？ 770mトランス✅ ✅ - 2019年？ Apache 2.0
T5-3B？ 3bトランス✅ ✅ - 2019年？ Apache 2.0
T5-11B？ 11bトランス✅ ✅ - 2019年？ Apache 2.0
XLM-Roberta-Large 560mトランス✅ - - 2019年？ mit
xlm-roberta-base 250mトランス✅ - - 2019年？ mit
ロベルタベース125mトランス✅ - - 2019年？ mit
ロベルタ・ラージ355mトランス✅ - - 2019年？ mit
Distilbert-Base-Cased 66mトランス✅ - - 2019年？ Apache 2.0
Distilbert-Base-Uncased 66mトランス✅ - - 2019年？ Apache 2.0
アルバートベース12mトランス✅ - - 2019年？ Apache 2.0
アルバート・ラージ18mトランス✅ - - 2019年？ Apache 2.0
Albert-Xlarge 60mトランス✅ - - 2019年？ Apache 2.0
Albert-xxlarge 235mトランス✅ - - 2019年？ Apache 2.0
Deberta-base 134mトランス✅ - - 2020 ？ mit
Deberta-Large 350mトランス✅ - - 2020 ？ mit
deberta-xlarge 750mトランス✅ - - 2020 ？ mit
Electra-Small-Discriminator 14mトランス✅ - - 2020 ？ Apache 2.0
Electra-Base-Discriminator 110mトランス✅ - - 2020 ？ Apache 2.0
Electra-Large-Discriminator 335mトランス✅ - - 2020 ？ Apache 2.0
gpt-neo-125m？ 125mトランス - ✅ - 2021 ？ mit
gpt-neo-1.3b？ 1.3bトランス - ✅ - 2021 ？ mit
gpt-neo-2.7b？ 2.7bトランス - ✅ - 2021 ？ mit
gpt-j？ 6bトランス - ✅ - 2021 ？ Apache 2.0
xlm-roberta-xl 3.5bトランス✅ - - 2021 ？ mit
xlm-roberta-xxl 10.7bトランス✅ - - 2021 ？ mit
deberta-v2-xlarge 900mトランス✅ - - 2021 ？ mit
deberta-v2-xxlarge 1.5mトランス✅ - - 2021 ？ mit
deberta-v3-xsmall 22mトランス✅ - - 2021 ？ mit
deberta-v3-small 44mトランス✅ - - 2021 ？ mit
deberta-v3-base 86mトランス✅ - - 2021 ？ mit
Deberta-V3-Large 304mトランス✅ - - 2021 ？ mit
mdeberta-v3-base 86mトランス✅ - - 2021 ？ mit
gpt-neox？ 20bトランス - ✅ - 2022 ？ Apache 2.0
UL2？ 20bトランス✅ ✅ - 2022 ？ Apache 2.0
ヤルム100bトランス - ✅ - 2022 ？ Apache 2.0
pythia-14m？ 14mトランス - ✅ - 2023 ？ Apache 2.0
pythia-70m？ 70mトランス - ✅ - 2023 ？ Apache 2.0
pythia-160m？ 160mトランス - ✅ - 2023 ？ Apache 2.0
Pythia-410m？ 410mトランス - ✅ - 2023 ？ Apache 2.0
pythia-1b？ 1bトランス - ✅ - 2023 ？ Apache 2.0
pythia-1.4b？ 1.4bトランス - ✅ - 2023 ？ Apache 2.0
Pythia-2.8b？ 2.8bトランス - ✅ - 2023 ？ Apache 2.0
Pythia-6.9b？ 6.9bトランス - ✅ - 2023 ？ Apache 2.0
Pythia-12b？ 12bトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-11mm 111mトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-256M 256mトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-590M 590mトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-1.3B 1.3bトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-2.7B 2.7bトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-6.7B 6.7bトランス - ✅ - 2023 ？ Apache 2.0
セレブラス-GPT-13B 13bトランス - ✅ - 2023 ？ Apache 2.0
btlm？ 3bトランス - ✅ - 2023 ？ Apache 2.0
PHI-1 1.3bトランス - ✅ - 2023 ？ mit
PHI-1.5 1.3bトランス - ✅ - 2023 ？ mit
PHI-2 2.7bトランス - ✅ - 2023 ？ mit
redpajama-incite-3b？ 2.8bトランス - ✅ - 2023 ？ Apache 2.0
redpajama-incite-7b？ 6.9bトランス - ✅ - 2023 ？ Apache 2.0
FLM 101bトランス - ✅ - 2023 ？ Apache 2.0
MPT-1B 1.3bトランス - ✅ - 2023 ？ Apache 2.0
MPT-7B 7bトランス - ✅ - 2023 ？ Apache 2.0
MPT-7B-8K 7bトランス - ✅ - 2023 ？ Apache 2.0
MPT-30B 30bトランス - ✅ - 2023 ？ Apache 2.0
Mistral-7B-V0.1 7bトランス - ✅ - 2023 ？ Apache 2.0
Mistral-7B-V0.2 7bトランス - ✅ - 2023 ？ Apache 2.0
Mistral-7B-V0.3 7bトランス - ✅ - 2023 ？ Apache 2.0
Falcon-1B 1bトランス - ✅ - 2023 ？ Apache 2.0
ファルコン-7b 7bトランス - ✅ - 2023 ？ Apache 2.0
ファルコン-40b 40bトランス - ✅ - 2023 ？ Apache 2.0
Tinyllama 1.1bトランス - ✅ - 2023 ？ Apache 2.0
Openllama-3B-V1？ 3bトランス - ✅ - 2023 ？ Apache 2.0
Openllama-7B-V1？ 7bトランス - ✅ - 2023 ？ Apache 2.0
Openllama-13B-V1？ 13bトランス - ✅ - 2023 ？ Apache 2.0
Openllama-3B-V2？ 3bトランス - ✅ - 2023 ？ Apache 2.0
Openllama-7B-V2？ 7bトランス - ✅ - 2023 ？ Apache 2.0
デシルム-7b 7bトランス - ✅ - 2023 ？ Apache 2.0
アンバー？ 7bトランス - ✅ - 2023 ？ Apache 2.0
太陽10.7bトランス - ✅ - 2023 ？ Apache 2.0
mixtral-8x7b 46.7bトランス - ✅ ✅ 2023 ？ Apache 2.0
Openmoe-base-128b 637mトランス - ✅ ✅ 2023 ？ Apache 2.0
MAMBA-130M 130m SSM - ✅ - 2023 ？ Apache 2.0
マンバ-370m 370m SSM - ✅ - 2023 ？ Apache 2.0
Mamba-790M 790m SSM - ✅ - 2023 ？ Apache 2.0
Mamba-1.4b 1.4m SSM - ✅ - 2023 ？ Apache 2.0
Mamba-2.8b 2.8b SSM - ✅ - 2023 ？ Apache 2.0
mamba-2.8b-slimpj 2.8b SSM - ✅ - 2023 ？ Apache 2.0
Openba 15bトランス✅ ✅ - 2023 ？ Apache 2.0
YI-6B 6bトランス - ✅ - 2023 ？ Apache 2.0
YI-6B-200K 6bトランス - ✅ - 2023 ？ Apache 2.0
YI-9B 9bトランス - ✅ - 2023 ？ Apache 2.0
YI-9B-200K 9bトランス - ✅ - 2023 ？ Apache 2.0
YI-34B-200K 34bトランス - ✅ - 2023 ？ Apache 2.0
perimmon-8b 8bトランス - ✅ - 2023 ？ Apache 2.0
パルミラ-3b 3bトランス - ✅ - 2023 ？ Apache 2.0
パルミラ・スモール-128m 128mトランス - ✅ - 2023 ？ Apache 2.0
パルミラベース-5B 5bトランス - ✅ - 2023 ？ Apache 2.0
パルミラ・ラージ-20b 20bトランス - ✅ - 2023 ？ Apache 2.0
Sea-Lion-3B 3bトランス - ✅ - 2023 ？ mit
Sea-Lion-7B 7bトランス - ✅ - 2023 ？ mit
PLAMO-13B 13bトランス - ✅ - 2023 ？ Apache 2.0
リテラマ460mトランス - ✅ - 2024 ？ mit
H2O-Danube 1.8bトランス - ✅ - 2024 ？ Apache 2.0
H2O-Danube2 1.8bトランス - ✅ - 2024 ？ Apache 2.0
コスモ1.8bトランス - ✅ - 2024 ？ Apache 2.0
Mobillama-0.5b 0.5bトランス - ✅ - 2024 ？ Apache 2.0
Mobillama-0.8b 0.8bトランス - ✅ - 2024 ？ Apache 2.0
Mobillama-1B 1.2bトランス - ✅ - 2024 ？ Apache 2.0
olmo-1B？ 1bトランス - ✅ - 2024 ？ Apache 2.0
olmo-7b？ 7bトランス - ✅ - 2024 ？ Apache 2.0
olmo-7b-twin-2t？ 7bトランス - ✅ - 2024 ？ Apache 2.0
olmo-1.7-7b？ 7bトランス - ✅ - 2024 ？ Apache 2.0
ポロ34bトランス - ✅ - 2024 ？ Apache 2.0
GROK-1 314bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-1.1T 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-1T 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-800B 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-600B 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-400B 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-8B-200B 8bトランス - ✅ ✅ 2024 ？ Apache 2.0
OpenMOE-34B-200B 34bトランス - ✅ ✅ 2024 ？ Apache 2.0
ジャンバ52b SSMトランスフォーマー - ✅ ✅ 2024 ？ Apache 2.0
ジェットメー8bトランス - ✅ ✅ 2024 ？ Apache 2.0
マンバウタイ1.6b SSM - ✅ - 2024 ？ Apache 2.0
Tele-flm 52bトランス - ✅ - 2024 ？ Apache 2.0
北極圏480bトランス - ✅ ✅ 2024 ？ Apache 2.0
Zamba-7B 7b SSMトランスフォーマー - ✅ ✅ 2024 ？ Apache 2.0
mixtral-8x22b-v0.1 141bトランス - ✅ ✅ 2024 ？ Apache 2.0
花崗岩-7bベース7bトランス - ✅ - 2024 ？ Apache 2.0
Chuxin-1.6b-base？ 1.6bトランス - ✅ - 2024 ？ mit
Chuxin-1.6B-1M？ 1.6bトランス - ✅ - 2024 ？ mit
ネオ？ 7bトランス - ✅ - 2024 ？ Apache 2.0
YI-1.5-6B 6bトランス - ✅ - 2024 ？ Apache 2.0
YI-1.5-9B 9bトランス - ✅ - 2024 ？ Apache 2.0
YI-1.5-34B 34bトランス - ✅ - 2024 ？ Apache 2.0
Gecko-7B 7bトランス - ✅ - 2024 ？ Apache 2.0
QWEN2-0.5B 0.5bトランス - ✅ - 2024 ？ Apache 2.0
QWEN2-1.5B 1.5bトランス - ✅ - 2024 ？ Apache 2.0
QWEN2-7B 7bトランス - ✅ - 2024 ？ Apache 2.0
QWEN2-57B-A14B 57bトランス - ✅ ✅ 2024 ？ Apache 2.0
K2？ 65bトランス - ✅ - 2024 ？ Apache 2.0
パイル-T5ベース？ 248mトランス✅ ✅ - 2024 ？ Apache 2.0
パイル-t5-large？ 783mトランス✅ ✅ - 2024 ？ Apache 2.0
PILE-T5-XL？ 2.85bトランス✅ ✅ - 2024 ？ Apache 2.0
Smollm-135m？ 135mトランス - ✅ - 2024 ？ Apache 2.0
Smollm-360m？ 360mトランス - ✅ - 2024 ？ Apache 2.0
Smollm-1.7b？ 1.7bトランス - ✅ - 2024 ？ Apache 2.0
にやにや笑い42bトランス - ✅ ✅ 2024 ？ mit
olmoe-1b-7b？ 7bトランス - ✅ ✅ 2024 ？ Apache 2.0
Zamba2-1.2b 1.2b SSMトランスフォーマー - ✅ - 2024 ？ Apache 2.0
Zamba2-2.7b 2.7b SSMトランスフォーマー - ✅ - 2024 ？ Apache 2.0
FOX-1-1.6B 1.6bトランス - ✅ - 2024 ？ Apache 2.0

リソース

開放性について

  • [ブログ投稿] 「オープン」の意味：ジョン・ショーネシーによる素晴らしいブログ投稿「Open」という言葉の多くの異なる化身がどのように異なるかを議論します。
  • [Paper]財団モデルのオープンネスの枠組みに向けて：この論文では、MozillaとColumbia Institute of Global Politicsは、40人以上の主要な学者と開業医とAIが、オープンソーシングファンデーションモデルの非常に議論された定義と利点について議論するために集まっています。このチームの中には、ビクター・ストーチャン、ヤン・レカン、ジャスティン・タニー、ネイサン・ランバートなどがいます。
  • [Paper]オープンソースの生成AIの再考：このペーパーでは、データセットから科学的および技術的な文書化まで、およびライセンスからアクセス方法まで、14のオープン性の次元を区別する証拠に基づいたフレームワークを使用して、45を超える生成AIモデルを調査します。
  • [紙]オープンソース生成AIのリスクと機会：このペーパーでは、GEN AI開発の3段階のフレームワーク（近く、中期、および長期）を使用して、オープンソース生成AIモデルのリスクと機会を分析し、全体として、オープンソースGEN AIの利点はリスクを上回ると主張しています。

？引用

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて