open language models

开放语言模型列表

？介绍

这是具有MIT，Apache 2.0或其他类似许可的允许许可语言模型的列表。我们在此处广泛使用语言模型，不仅包括自动回归模型，还包括经过不同目标（例如MLM）培训的模型。

这项工作主要是受斯特拉·比德曼（Stella Biderman）的生成AI目录和Foundation Model Development Cootsheet的启发。但是，与这两个非常全面的资源不同，这项工作是快速，更集中的参考。

• ？：模型 +数据 +代码
• ：模型 +数据
• ⚡：模型 +代码

重要的

这仍然是一项正在进行的工作。贡献，更正和反馈非常欢迎！

？型号

模型	参数	建筑学	编码器	解码器	萌	年	拥抱脸	执照
GPT-1	120m	变压器	-	✅	-	2018	？	麻省理工学院
Bert-base cased	110m	变压器	✅	-	-	2018	？	Apache 2.0
Bert-base-uncund	110m	变压器	✅	-	-	2018	？	Apache 2.0
Bert-large casted	340m	变压器	✅	-	-	2018	？	Apache 2.0
Bert-large uncund	340m	变压器	✅	-	-	2018	？	Apache 2.0
GPT-2-SMALL	124m	变压器	-	✅	-	2019	？	麻省理工学院
GPT-2中等	35.5m	变压器	-	✅	-	2019	？	麻省理工学院
GPT-2大	774m	变压器	-	✅	-	2019	？	麻省理工学院
GPT-2-XL	1.5b	变压器	-	✅	-	2019	？	麻省理工学院
t5-small？	60m	变压器	✅	✅	-	2019	？	Apache 2.0
t5键？	220m	变压器	✅	✅	-	2019	？	Apache 2.0
t5 large？	770m	变压器	✅	✅	-	2019	？	Apache 2.0
T5-3B？	3b	变压器	✅	✅	-	2019	？	Apache 2.0
T5-11b？	11b	变压器	✅	✅	-	2019	？	Apache 2.0
XLM-ROBERTA-LARGE	560m	变压器	✅	-	-	2019	？	麻省理工学院
XLM-Roberta-bas	250m	变压器	✅	-	-	2019	？	麻省理工学院
罗伯塔基地	125m	变压器	✅	-	-	2019	？	麻省理工学院
罗伯塔·莱尔格（Roberta-Large）	35.5m	变压器	✅	-	-	2019	？	麻省理工学院
大型培训基础	66m	变压器	✅	-	-	2019	？	Apache 2.0
大型基于基础	66m	变压器	✅	-	-	2019	？	Apache 2.0
阿尔伯特·基斯	12m	变压器	✅	-	-	2019	？	Apache 2.0
阿尔伯特·莱尔格（Albert-Large）	18m	变压器	✅	-	-	2019	？	Apache 2.0
阿尔伯特 - Xlarge	60m	变压器	✅	-	-	2019	？	Apache 2.0
Albert-XXLARGE	235m	变压器	✅	-	-	2019	？	Apache 2.0
Deberta-base	134m	变压器	✅	-	-	2020	？	麻省理工学院
Deberta-large	350m	变压器	✅	-	-	2020	？	麻省理工学院
Deberta-Xlarge	750m	变压器	✅	-	-	2020	？	麻省理工学院
伊莱克斯·萨尔·歧义者	14m	变压器	✅	-	-	2020	？	Apache 2.0
电基 - 歧义者	110m	变压器	✅	-	-	2020	？	Apache 2.0
伊莱克大歧视者	335m	变压器	✅	-	-	2020	？	Apache 2.0
gpt-neo-125m？	125m	变压器	-	✅	-	2021	？	麻省理工学院
gpt-neo-1.3b？	1.3b	变压器	-	✅	-	2021	？	麻省理工学院
gpt-neo-2.7b？	2.7b	变压器	-	✅	-	2021	？	麻省理工学院
gpt-j？	6b	变压器	-	✅	-	2021	？	Apache 2.0
XLM-ROBERTA-XL	3.5b	变压器	✅	-	-	2021	？	麻省理工学院
XLM-ROBERTA-XXL	10.7b	变压器	✅	-	-	2021	？	麻省理工学院
Deberta-V2-Xlarge	900m	变压器	✅	-	-	2021	？	麻省理工学院
DEBERTA-V2-XXLARGE	1.5m	变压器	✅	-	-	2021	？	麻省理工学院
DEBERTA-V3-XSMALL	22m	变压器	✅	-	-	2021	？	麻省理工学院
DEBERTA-V3-SMALL	44m	变压器	✅	-	-	2021	？	麻省理工学院
DEBERTA-V3基础	86m	变压器	✅	-	-	2021	？	麻省理工学院
DEBERTA-V3 LARGE	304m	变压器	✅	-	-	2021	？	麻省理工学院
mdeberta-v3 bas	86m	变压器	✅	-	-	2021	？	麻省理工学院
gpt-neox？	20b	变压器	-	✅	-	2022	？	Apache 2.0
ul2？	20b	变压器	✅	✅	-	2022	？	Apache 2.0
yalm⚡	100B	变压器	-	✅	-	2022	？	Apache 2.0
腓出14m？	14m	变压器	-	✅	-	2023	？	Apache 2.0
腓出70m？	70m	变压器	-	✅	-	2023	？	Apache 2.0
腓出160m？	160m	变压器	-	✅	-	2023	？	Apache 2.0
腓出-410m？	410m	变压器	-	✅	-	2023	？	Apache 2.0
毕曲霉1B？	1B	变压器	-	✅	-	2023	？	Apache 2.0
腓出-1.4b？	1.4b	变压器	-	✅	-	2023	？	Apache 2.0
毕田2.8B？	2.8b	变压器	-	✅	-	2023	？	Apache 2.0
毕曲 - 6.9b？	6.9b	变压器	-	✅	-	2023	？	Apache 2.0
毕曲霉12B？	12b	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-111M	111m	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-256M	256m	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-590m	590m	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-1.3B	1.3b	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-2.7B	2.7b	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-6.7B	6.7b	变压器	-	✅	-	2023	？	Apache 2.0
小脑-GPT-13B	13b	变压器	-	✅	-	2023	？	Apache 2.0
btlm？	3b	变压器	-	✅	-	2023	？	Apache 2.0
PHI-1	1.3b	变压器	-	✅	-	2023	？	麻省理工学院
PHI-1.5	1.3b	变压器	-	✅	-	2023	？	麻省理工学院
PHI-2	2.7b	变压器	-	✅	-	2023	？	麻省理工学院
redpajama-incite-3b？	2.8b	变压器	-	✅	-	2023	？	Apache 2.0
redpajama-incite-7b？	6.9b	变压器	-	✅	-	2023	？	Apache 2.0
flm	101b	变压器	-	✅	-	2023	？	Apache 2.0
MPT-1B	1.3b	变压器	-	✅	-	2023	？	Apache 2.0
MPT-7B	7b	变压器	-	✅	-	2023	？	Apache 2.0
MPT-7B-8K	7b	变压器	-	✅	-	2023	？	Apache 2.0
MPT-30B	30b	变压器	-	✅	-	2023	？	Apache 2.0
MISTRAL-7B-V0.1	7b	变压器	-	✅	-	2023	？	Apache 2.0
Mistral-7b-V0.2	7b	变压器	-	✅	-	2023	？	Apache 2.0
MISTRAL-7B-V0.3	7b	变压器	-	✅	-	2023	？	Apache 2.0
Falcon-1b	1B	变压器	-	✅	-	2023	？	Apache 2.0
Falcon-7b	7b	变压器	-	✅	-	2023	？	Apache 2.0
Falcon-40B	40b	变压器	-	✅	-	2023	？	Apache 2.0
Tinyllama	1.1b	变压器	-	✅	-	2023	？	Apache 2.0
Otterllama-3b-v1？	3b	变压器	-	✅	-	2023	？	Apache 2.0
Otterllama-7b-v1？	7b	变压器	-	✅	-	2023	？	Apache 2.0
Otterllama-13b-v1？	13b	变压器	-	✅	-	2023	？	Apache 2.0
Otterllama-3b-v2？	3b	变压器	-	✅	-	2023	？	Apache 2.0
Otterllama-7b-v2？	7b	变压器	-	✅	-	2023	？	Apache 2.0
DECILM-7B	7b	变压器	-	✅	-	2023	？	Apache 2.0
琥珀色？	7b	变压器	-	✅	-	2023	？	Apache 2.0
太阳的	10.7b	变压器	-	✅	-	2023	？	Apache 2.0
混音8x7b	46.7b	变压器	-	✅	✅	2023	？	Apache 2.0
OpenMoe-Base-128b	637m	变压器	-	✅	✅	2023	？	Apache 2.0
Mamba-130m	130m	SSM	-	✅	-	2023	？	Apache 2.0
Mamba-370m	370m	SSM	-	✅	-	2023	？	Apache 2.0
Mamba-790m	790m	SSM	-	✅	-	2023	？	Apache 2.0
MAMBA-1.4B	14m	SSM	-	✅	-	2023	？	Apache 2.0
MAMBA-2.8B	2.8b	SSM	-	✅	-	2023	？	Apache 2.0
mamba-2.8b-slimpj	2.8b	SSM	-	✅	-	2023	？	Apache 2.0
OpenBA	15B	变压器	✅	✅	-	2023	？	Apache 2.0
Yi-6b	6b	变压器	-	✅	-	2023	？	Apache 2.0
YI-6B-200K	6b	变压器	-	✅	-	2023	？	Apache 2.0
Yi-9b	9b	变压器	-	✅	-	2023	？	Apache 2.0
YI-9B-200K	9b	变压器	-	✅	-	2023	？	Apache 2.0
YI-34B-200K	34B	变压器	-	✅	-	2023	？	Apache 2.0
柿子8B	8b	变压器	-	✅	-	2023	？	Apache 2.0
Palmyra-3B	3b	变压器	-	✅	-	2023	？	Apache 2.0
Palmyra-Small-128m	128m	变压器	-	✅	-	2023	？	Apache 2.0
Palmyra-Base-5b	5b	变压器	-	✅	-	2023	？	Apache 2.0
Palmyra-large-20b	20b	变压器	-	✅	-	2023	？	Apache 2.0
海狮3B	3b	变压器	-	✅	-	2023	？	麻省理工学院
海狮7b	7b	变压器	-	✅	-	2023	？	麻省理工学院
PLAMO-13B	13b	变压器	-	✅	-	2023	？	Apache 2.0
Litellama	460m	变压器	-	✅	-	2024	？	麻省理工学院
H2O-Danube	1.8b	变压器	-	✅	-	2024	？	Apache 2.0
H2O-Danube2	1.8b	变压器	-	✅	-	2024	？	Apache 2.0
宇宙	1.8b	变压器	-	✅	-	2024	？	Apache 2.0
MOBILLAMA-0.5B	0.5B	变压器	-	✅	-	2024	？	Apache 2.0
Mobillama-0.8B	0.8B	变压器	-	✅	-	2024	？	Apache 2.0
Mobillama-1b	1.2b	变压器	-	✅	-	2024	？	Apache 2.0
Olmo-1b？	1B	变压器	-	✅	-	2024	？	Apache 2.0
Olmo-7b？	7b	变压器	-	✅	-	2024	？	Apache 2.0
Olmo-7b-twin-2t？	7b	变压器	-	✅	-	2024	？	Apache 2.0
Olmo-1.7-7b？	7b	变压器	-	✅	-	2024	？	Apache 2.0
波罗	34B	变压器	-	✅	-	2024	？	Apache 2.0
grok-1	314b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-1.1T	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-1T	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-800B	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-600B	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-400B	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-8B-200B	8b	变压器	-	✅	✅	2024	？	Apache 2.0
OpenMoe-34B-200B	34B	变压器	-	✅	✅	2024	？	Apache 2.0
詹巴	52B	SSM转换器	-	✅	✅	2024	？	Apache 2.0
Jetmoe	8b	变压器	-	✅	✅	2024	？	Apache 2.0
Mambaoutai	1.6b	SSM	-	✅	-	2024	？	Apache 2.0
tele-flm	52B	变压器	-	✅	-	2024	？	Apache 2.0
北极基	480B	变压器	-	✅	✅	2024	？	Apache 2.0
Zamba-7b	7b	SSM转换器	-	✅	✅	2024	？	Apache 2.0
Mixtral-8x22b-v0.1	141b	变压器	-	✅	✅	2024	？	Apache 2.0
Granite-7b碱基	7b	变压器	-	✅	-	2024	？	Apache 2.0
chuxin-1.6b基础？	1.6b	变压器	-	✅	-	2024	？	麻省理工学院
chuxin-1.6b-1m？	1.6b	变压器	-	✅	-	2024	？	麻省理工学院
neo？	7b	变压器	-	✅	-	2024	？	Apache 2.0
yi-1.5-6b	6b	变压器	-	✅	-	2024	？	Apache 2.0
yi-1.5-9b	9b	变压器	-	✅	-	2024	？	Apache 2.0
yi-1.5-34b	34B	变压器	-	✅	-	2024	？	Apache 2.0
壁虎7B	7b	变压器	-	✅	-	2024	？	Apache 2.0
QWEN2-0.5B	0.5B	变压器	-	✅	-	2024	？	Apache 2.0
qwen2-1.5b	1.5b	变压器	-	✅	-	2024	？	Apache 2.0
QWEN2-7B	7b	变压器	-	✅	-	2024	？	Apache 2.0
QWEN2-57B-A14B	57b	变压器	-	✅	✅	2024	？	Apache 2.0
K2？	65B	变压器	-	✅	-	2024	？	Apache 2.0
桩 - t5基？	248m	变压器	✅	✅	-	2024	？	Apache 2.0
桩 - T5大？	783m	变压器	✅	✅	-	2024	？	Apache 2.0
桩T5-XL？	2.85b	变压器	✅	✅	-	2024	？	Apache 2.0
Smollm-135m？	135m	变压器	-	✅	-	2024	？	Apache 2.0
Smollm-360m？	360m	变压器	-	✅	-	2024	？	Apache 2.0
smollm-1.7b？	1.7b	变压器	-	✅	-	2024	？	Apache 2.0
笑	42B	变压器	-	✅	✅	2024	？	麻省理工学院
Olmoe-1b-7b？	7b	变压器	-	✅	✅	2024	？	Apache 2.0
Zamba2-1.2b	1.2b	SSM转换器	-	✅	-	2024	？	Apache 2.0
Zamba2-2.7b	2.7b	SSM转换器	-	✅	-	2024	？	Apache 2.0
FOX-1-1.6B	1.6b	变压器	-	✅	-	2024	？	Apache 2.0

资源

关于开放性

• [博客文章] “开放”的意思是什么：约翰·肖尼西（John Shaughnessy）的一篇很棒的博客文章，讨论了“ Open”一词的许多不同化身。
• [论文]在基础模型中建立开放式的框架：在本文中，莫齐拉和哥伦比亚全球政治学院汇集了40多名领先的学者和从业人员开放和AI，讨论开放式采购基金会模型的高度争议的定义和好处。在这支球队中包括Victor Storchan，Yann Lecun，Justine Tunney，Nathan Lambert等。
• [论文]重新思考开源生成AI：本文使用基于证据的框架来调查超过45个生成的AI模型，该框架区分了14个开放度，从培训数据集到科学和技术文档，从许可到访问方法。
• [纸]开源生成AI的风险和机会：本文使用三阶段的AI发展（近期，中期和长期）分析了开源生成AI模型的风险和机会，并认为总体而言，开源AI的好处超过了其风险。

？引用

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}