open language models

La liste des modèles de langue ouverte

? Introduction

Il s'agit d'une liste de modèles de langage autorisés avec permis avec MIT, Apache 2.0 ou d'autres licences similaires. Nous utilisons le terme modèle de langue largement ici pour inclure non seulement des modèles autorégressifs mais également des modèles formés avec différents objectifs tels que MLM.

Ce travail a été principalement inspiré par le répertoire de l'IA génératrice de Stella Biderman et la manche de développement du modèle de fondation. Mais contrairement à ces deux sources très complètes, ce travail est censé être une référence rapide et plus ciblée.

• ?: Modèle + données + code
• : Modèle + données
• ⚡: modèle + code

Important

C'est toujours un travail en cours. Les contributions, les corrections et les commentaires sont les bienvenus!

? Modèles

Modèle	Paramètres	Architecture	Encodeur	Décodeur	Moe	Année	Visage étreint	Licence
Gpt-1	120m	Transformateur	-	✅	-	2018	?	Mit
Bert-base basé	110m	Transformateur	✅	-	-	2018	?	Apache 2.0
Bert-base	110m	Transformateur	✅	-	-	2018	?	Apache 2.0
Bert-grand	340m	Transformateur	✅	-	-	2018	?	Apache 2.0
Bert-gard	340m	Transformateur	✅	-	-	2018	?	Apache 2.0
GPT-2-Small	124m	Transformateur	-	✅	-	2019	?	Mit
GPT-2-Medium	355m	Transformateur	-	✅	-	2019	?	Mit
GPT-2-plus	774m	Transformateur	-	✅	-	2019	?	Mit
GPT-2-XL	1.5b	Transformateur	-	✅	-	2019	?	Mit
T5-Small?	60m	Transformateur	✅	✅	-	2019	?	Apache 2.0
T5-base?	220m	Transformateur	✅	✅	-	2019	?	Apache 2.0
T5-grand?	770m	Transformateur	✅	✅	-	2019	?	Apache 2.0
T5-3B?	3B	Transformateur	✅	✅	-	2019	?	Apache 2.0
T5-11B?	11b	Transformateur	✅	✅	-	2019	?	Apache 2.0
XLM-Roberta-Garg	560m	Transformateur	✅	-	-	2019	?	Mit
XLM-Roberta-base	250m	Transformateur	✅	-	-	2019	?	Mit
Base de Roberta	125m	Transformateur	✅	-	-	2019	?	Mit
Plus grand	355m	Transformateur	✅	-	-	2019	?	Mit
Bas-base à base de distilbert	66m	Transformateur	✅	-	-	2019	?	Apache 2.0
Distilbert-base-basée	66m	Transformateur	✅	-	-	2019	?	Apache 2.0
ALBERT-BASE	12m	Transformateur	✅	-	-	2019	?	Apache 2.0
Albert-grand	18m	Transformateur	✅	-	-	2019	?	Apache 2.0
Albert-xlarge	60m	Transformateur	✅	-	-	2019	?	Apache 2.0
Albert-xxlarge	235m	Transformateur	✅	-	-	2019	?	Apache 2.0
Bas-base	134m	Transformateur	✅	-	-	2020	?	Mit
Large	350m	Transformateur	✅	-	-	2020	?	Mit
Deberta-xlarge	750m	Transformateur	✅	-	-	2020	?	Mit
Discriminateur électra-petit	14m	Transformateur	✅	-	-	2020	?	Apache 2.0
Discriminateur électra-base	110m	Transformateur	✅	-	-	2020	?	Apache 2.0
Discriminateur électra-grand	335m	Transformateur	✅	-	-	2020	?	Apache 2.0
GPT-NEO-125m?	125m	Transformateur	-	✅	-	2021	?	Mit
Gpt-neo-1.3b?	1.3b	Transformateur	-	✅	-	2021	?	Mit
Gpt-neo-2.7b?	2.7b	Transformateur	-	✅	-	2021	?	Mit
Gpt-j?	6B	Transformateur	-	✅	-	2021	?	Apache 2.0
Xlm-roberta-xl	3.5b	Transformateur	✅	-	-	2021	?	Mit
Xlm-Roberta-xxl	10.7b	Transformateur	✅	-	-	2021	?	Mit
Deberta-v2-xlarge	900m	Transformateur	✅	-	-	2021	?	Mit
Deberta-v2-xxlarge	1,5 m	Transformateur	✅	-	-	2021	?	Mit
Deberta-v3-xsmall	22m	Transformateur	✅	-	-	2021	?	Mit
Deberta-v3-small	44m	Transformateur	✅	-	-	2021	?	Mit
Bas-V3	86m	Transformateur	✅	-	-	2021	?	Mit
Deberta-v3-grand	304m	Transformateur	✅	-	-	2021	?	Mit
MDEBERTA-V3-base	86m	Transformateur	✅	-	-	2021	?	Mit
Gpt-neox?	20B	Transformateur	-	✅	-	2022	?	Apache 2.0
UL2?	20B	Transformateur	✅	✅	-	2022	?	Apache 2.0
Yalm⚡	100B	Transformateur	-	✅	-	2022	?	Apache 2.0
Pythia-14m?	14m	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-70m?	70m	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-160m?	160m	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-410m?	410m	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-1b?	1b	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-1.4b?	1.4b	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-2.8b?	2.8b	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-6.9b?	6.9b	Transformateur	-	✅	-	2023	?	Apache 2.0
Pythia-12b?	12b	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-111m	111m	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-256m	256m	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-590m	590m	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-1.3b	1.3b	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-2.7b	2.7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-6.7b	6.7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-13b	13B	Transformateur	-	✅	-	2023	?	Apache 2.0
Btlm?	3B	Transformateur	-	✅	-	2023	?	Apache 2.0
Phi-1	1.3b	Transformateur	-	✅	-	2023	?	Mit
Phi-1,5	1.3b	Transformateur	-	✅	-	2023	?	Mit
Phi-2	2.7b	Transformateur	-	✅	-	2023	?	Mit
Redpajama-incite-3b?	2.8b	Transformateur	-	✅	-	2023	?	Apache 2.0
Redpajama-incite-7b?	6.9b	Transformateur	-	✅	-	2023	?	Apache 2.0
Flm	101b	Transformateur	-	✅	-	2023	?	Apache 2.0
MPT-1B	1.3b	Transformateur	-	✅	-	2023	?	Apache 2.0
MPT-7B	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
MPT-7B-8K	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
MPT-30B	30b	Transformateur	-	✅	-	2023	?	Apache 2.0
Mistral-7B-V0.1	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Mistral-7B-V0.2	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Mistral-7B-V0.3	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Faucon-1b	1b	Transformateur	-	✅	-	2023	?	Apache 2.0
Falcon-7B	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Falcon-40b	40B	Transformateur	-	✅	-	2023	?	Apache 2.0
Minuscule	1.1b	Transformateur	-	✅	-	2023	?	Apache 2.0
OpenLama-3B-V1?	3B	Transformateur	-	✅	-	2023	?	Apache 2.0
OpenLama-7b-V1?	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
OpenLama-13b-V1?	13B	Transformateur	-	✅	-	2023	?	Apache 2.0
OpenLlama-3B-V2?	3B	Transformateur	-	✅	-	2023	?	Apache 2.0
OpenLama-7b-V2?	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Decilm-7b	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Ambre?	7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Solaire	10.7b	Transformateur	-	✅	-	2023	?	Apache 2.0
Mixtral-8x7b	46.7b	Transformateur	-	✅	✅	2023	?	Apache 2.0
Openmoe-Base-128b	637m	Transformateur	-	✅	✅	2023	?	Apache 2.0
Mamba-130m	130m	SSM	-	✅	-	2023	?	Apache 2.0
Mamba-370m	370m	SSM	-	✅	-	2023	?	Apache 2.0
Mamba-790m	790m	SSM	-	✅	-	2023	?	Apache 2.0
Mamba-1.4b	1,4 m	SSM	-	✅	-	2023	?	Apache 2.0
Mamba-2,8b	2.8b	SSM	-	✅	-	2023	?	Apache 2.0
Mamba-2.8b-slimpj	2.8b	SSM	-	✅	-	2023	?	Apache 2.0
Openba	15B	Transformateur	✅	✅	-	2023	?	Apache 2.0
YI-6B	6B	Transformateur	-	✅	-	2023	?	Apache 2.0
YI-6B-200K	6B	Transformateur	-	✅	-	2023	?	Apache 2.0
YI-9B	9b	Transformateur	-	✅	-	2023	?	Apache 2.0
YI-9B-200K	9b	Transformateur	-	✅	-	2023	?	Apache 2.0
YI-34B-200K	34b	Transformateur	-	✅	-	2023	?	Apache 2.0
Persimmon-8b	8b	Transformateur	-	✅	-	2023	?	Apache 2.0
Palmyra-3b	3B	Transformateur	-	✅	-	2023	?	Apache 2.0
Palmyre-Small-128m	128m	Transformateur	-	✅	-	2023	?	Apache 2.0
Palmyre-base-5b	5b	Transformateur	-	✅	-	2023	?	Apache 2.0
Palmyre-Large-20B	20B	Transformateur	-	✅	-	2023	?	Apache 2.0
Mer-3b	3B	Transformateur	-	✅	-	2023	?	Mit
Mer-7b	7b	Transformateur	-	✅	-	2023	?	Mit
Plamo-13b	13B	Transformateur	-	✅	-	2023	?	Apache 2.0
Litellama	460m	Transformateur	-	✅	-	2024	?	Mit
H2O-Danube	1.8b	Transformateur	-	✅	-	2024	?	Apache 2.0
H2O-Danube2	1.8b	Transformateur	-	✅	-	2024	?	Apache 2.0
Cosmo	1.8b	Transformateur	-	✅	-	2024	?	Apache 2.0
Mobillama-0,5b	0,5b	Transformateur	-	✅	-	2024	?	Apache 2.0
Mobillama-0.8b	0,8b	Transformateur	-	✅	-	2024	?	Apache 2.0
Mobillama-1b	1.2b	Transformateur	-	✅	-	2024	?	Apache 2.0
Olmo-1b?	1b	Transformateur	-	✅	-	2024	?	Apache 2.0
Olmo-7b?	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
Olmo-7b-twin-2t?	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
Olmo-1.7-7b?	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
Poro	34b	Transformateur	-	✅	-	2024	?	Apache 2.0
Grok-1	314b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Openmoe-8b-1.1t	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Openmoe-8b-1t	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-800B	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-600B	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-400B	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-200B	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
OpenMOE-34B-200B	34b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Jamba	52b	Transformateur SSM	-	✅	✅	2024	?	Apache 2.0
Jetmoe	8b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Mambaoutai	1.6b	SSM	-	✅	-	2024	?	Apache 2.0
Télé-flm	52b	Transformateur	-	✅	-	2024	?	Apache 2.0
Base de l'Arctique	480b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Zamba-7b	7b	Transformateur SSM	-	✅	✅	2024	?	Apache 2.0
Mixtral-8x22b-v0.1	141b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Granite-7B-base	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
Chuxin-1.6b-base?	1.6b	Transformateur	-	✅	-	2024	?	Mit
Chuxin-1.6b-1m?	1.6b	Transformateur	-	✅	-	2024	?	Mit
Néo?	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
Yi-1.5-6b	6B	Transformateur	-	✅	-	2024	?	Apache 2.0
Yi-1.5-9b	9b	Transformateur	-	✅	-	2024	?	Apache 2.0
Yi-1.5-34b	34b	Transformateur	-	✅	-	2024	?	Apache 2.0
Gecko-7b	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
QWEN2-0.5B	0,5b	Transformateur	-	✅	-	2024	?	Apache 2.0
Qwen2-1.5b	1.5b	Transformateur	-	✅	-	2024	?	Apache 2.0
Qwen2-7b	7b	Transformateur	-	✅	-	2024	?	Apache 2.0
QWEN2-57B-A14B	57b	Transformateur	-	✅	✅	2024	?	Apache 2.0
K2?	65b	Transformateur	-	✅	-	2024	?	Apache 2.0
Pile-T5-base?	248m	Transformateur	✅	✅	-	2024	?	Apache 2.0
Pile-T5-grand?	783m	Transformateur	✅	✅	-	2024	?	Apache 2.0
Pile-T5-XL?	2.85b	Transformateur	✅	✅	-	2024	?	Apache 2.0
Smollm-135m?	135m	Transformateur	-	✅	-	2024	?	Apache 2.0
Smollm-360m?	360m	Transformateur	-	✅	-	2024	?	Apache 2.0
Smollm-1.7b?	1.7b	Transformateur	-	✅	-	2024	?	Apache 2.0
SOURIRE	42b	Transformateur	-	✅	✅	2024	?	Mit
OLMOE-1B-7B?	7b	Transformateur	-	✅	✅	2024	?	Apache 2.0
Zamba2-1.2b	1.2b	Transformateur SSM	-	✅	-	2024	?	Apache 2.0
Zamba2-2.7b	2.7b	Transformateur SSM	-	✅	-	2024	?	Apache 2.0
FOX-1-1.6B	1.6b	Transformateur	-	✅	-	2024	?	Apache 2.0

Ressources

Sur l'ouverture

• [Article de blog] Ce que signifie «ouvert»: un excellent article de blog de John Shaughnessy discutant de la façon dont les nombreuses incarnations différentes du mot «ouvert».
• [Document] Vers un cadre d'ouverture dans les modèles de fondation: dans cet article, le Mozilla et le Columbia Institute of Global Politics ont réuni plus de 40 chercheurs et praticiens de premier plan travaillant sur l'ouverture et l'IA pour discuter des définitions et des avantages très débattus des modèles de fondation sur l'approvisionnement ouvert. Parmi cette équipe figurent Victor Storchan, Yann LeCun, Justine Tunney, Nathan Lambert et bien d'autres.
• [Papier] Repenser une IA génératrice open source: Cet article examine plus de 45 modèles d'IA génératifs utilisant un cadre fondé sur des preuves qui distingue 14 dimensions de l'ouverture, des ensembles de données de formation à la documentation scientifique et technique et de l'octroi de licences aux méthodes d'accès.
• [Document] Risques et opportunités de l'IA génératrice open source: Cet article analyse les risques et les opportunités de modèles d'IA génératifs open source en utilisant un cadre en trois étapes pour le développement de l'IA GEN (à proximité, à mi-parcours), et soutient que, dans l'ensemble, les avantages de la génération ouverte de l'IA de l'Open-Source l'emporte sur ses risques.

? Citation

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}