open language models

Die Liste der offenen Sprachmodelle

? Einführung

Dies ist eine Liste von zulässigen lizenzierten Sprachmodellen mit MIT, Apache 2.0 oder anderen ähnlichen Lizenzen. Wir verwenden den Begriff Sprachmodell hier im Großen und Ganzen nicht nur autoregressive Modelle, sondern auch Modelle, die mit unterschiedlichen Zielen wie MLM trainiert wurden.

Diese Arbeit wurde größtenteils von Stella Bidermans Verzeichnis der generativen KI und des Cheatsblatts der Foundation Model Development inspiriert. Aber im Gegensatz zu diesen beiden sehr umfassenden Quellen soll diese Arbeit eine schnelle und fokussiertere Referenz sein.

• ?: Modell + Daten + Code
• : Modell + Daten
• ⚡: Modell + Code

Wichtig

Dies ist noch in Arbeit. Beiträge, Korrekturen und Feedback sind sehr willkommen!

? Modelle

Modell	Parameter	Architektur	Encoder	Decoder	Moe	Jahr	Umarmtes Gesicht	Lizenz
GPT-1	120 m	Transformator	- -	✅	- -	2018	?	MIT
Bert-Base-Cased	110 m	Transformator	✅	- -	- -	2018	?	Apache 2.0
Bert-Base-Unbekannt	110 m	Transformator	✅	- -	- -	2018	?	Apache 2.0
Bert-Large-Cased	340 m	Transformator	✅	- -	- -	2018	?	Apache 2.0
Bert-large-unbekannt	340 m	Transformator	✅	- -	- -	2018	?	Apache 2.0
GPT-2-Small	124 m	Transformator	- -	✅	- -	2019	?	MIT
GPT-2-Medium	355 m	Transformator	- -	✅	- -	2019	?	MIT
GPT-2-Large	774 m	Transformator	- -	✅	- -	2019	?	MIT
GPT-2-XL	1,5b	Transformator	- -	✅	- -	2019	?	MIT
T5-Small?	60 m	Transformator	✅	✅	- -	2019	?	Apache 2.0
T5-Base?	220 m	Transformator	✅	✅	- -	2019	?	Apache 2.0
T5-Large?	770 m	Transformator	✅	✅	- -	2019	?	Apache 2.0
T5-3b?	3b	Transformator	✅	✅	- -	2019	?	Apache 2.0
T5-11b?	11b	Transformator	✅	✅	- -	2019	?	Apache 2.0
XLM-Roberta-Large	560 m	Transformator	✅	- -	- -	2019	?	MIT
XLM-Roberta-Base	250 m	Transformator	✅	- -	- -	2019	?	MIT
Roberta-Base	125 m	Transformator	✅	- -	- -	2019	?	MIT
Roberta-Large	355 m	Transformator	✅	- -	- -	2019	?	MIT
Distilbert-Base-Cased	66 m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Distilbert-Base-Unbekannt	66 m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Albert-Base	12 m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Albert-Large	18m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Albert-Xlarge	60 m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Albert-Xxlarge	235 m	Transformator	✅	- -	- -	2019	?	Apache 2.0
Deberta-Base	134 m	Transformator	✅	- -	- -	2020	?	MIT
Deberta-Large	350 m	Transformator	✅	- -	- -	2020	?	MIT
Deberta-Xlarge	750 m	Transformator	✅	- -	- -	2020	?	MIT
Electra-Small-Discriminator	14m	Transformator	✅	- -	- -	2020	?	Apache 2.0
Elektrafasisdiskriminator	110 m	Transformator	✅	- -	- -	2020	?	Apache 2.0
Elektrik-Large-Discriminator	335 m	Transformator	✅	- -	- -	2020	?	Apache 2.0
GPT-NEO-125M?	125 m	Transformator	- -	✅	- -	2021	?	MIT
Gpt-neo-1.3b?	1.3b	Transformator	- -	✅	- -	2021	?	MIT
Gpt-neo-2.7b?	2.7b	Transformator	- -	✅	- -	2021	?	MIT
GPT-J?	6b	Transformator	- -	✅	- -	2021	?	Apache 2.0
XLM-Roberta-XL	3.5b	Transformator	✅	- -	- -	2021	?	MIT
XLM-Roberta-XXL	10.7b	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V2-Xlarge	900 m	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V2-Xxlarge	1,5 m	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V3-XSmall	22m	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V3-Small	44 m	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V3-Base	86 m	Transformator	✅	- -	- -	2021	?	MIT
Deberta-V3-Large	304 m	Transformator	✅	- -	- -	2021	?	MIT
Mdeberta-V3-Base	86 m	Transformator	✅	- -	- -	2021	?	MIT
GPT-Neox?	20b	Transformator	- -	✅	- -	2022	?	Apache 2.0
Ul2?	20b	Transformator	✅	✅	- -	2022	?	Apache 2.0
Yalm⚡	100b	Transformator	- -	✅	- -	2022	?	Apache 2.0
Pythia-14m?	14m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-70m?	70 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-160m?	160 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-410m?	410 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-1b?	1b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-1.4b?	1.4b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-2.8b?	2.8b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-6.9b?	6.9b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Pythia-12b?	12b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-111M	111m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-256m	256 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-590m	590 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-1.3b	1.3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-2.7b	2.7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-6.7b	6.7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Cerebras-GPT-13b	13b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Btlm?	3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
PHI-1	1.3b	Transformator	- -	✅	- -	2023	?	MIT
PHI-1.5	1.3b	Transformator	- -	✅	- -	2023	?	MIT
Phi-2	2.7b	Transformator	- -	✅	- -	2023	?	MIT
Redpajama-Incite-3b?	2.8b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Redpajama-Incite-7b?	6.9b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Flm	101b	Transformator	- -	✅	- -	2023	?	Apache 2.0
MPT-1B	1.3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
MPT-7B	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
MPT-7B-8K	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
MPT-30B	30b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Mistral-7b-V0.1	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Mistral-7b-V0.2	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Mistral-7b-V0.3	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Falcon-1b	1b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Falcon-7b	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Falcon-40b	40b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Tinyllama	1.1b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Openllama-3B-V1?	3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Openllama-7b-V1?	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Openllama-13b-V1?	13b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Openllama-3B-V2?	3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Openllama-7b-V2?	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Decilm-7b	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Bernstein?	7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Solar	10.7b	Transformator	- -	✅	- -	2023	?	Apache 2.0
MIXTRAL-8X7B	46,7b	Transformator	- -	✅	✅	2023	?	Apache 2.0
Openmoe-Base-128b	637 m	Transformator	- -	✅	✅	2023	?	Apache 2.0
Mamba-130m	130 m	SSM	- -	✅	- -	2023	?	Apache 2.0
Mamba-370m	370 m	SSM	- -	✅	- -	2023	?	Apache 2.0
Mamba-790m	790 m	SSM	- -	✅	- -	2023	?	Apache 2.0
Mamba-1.4b	1,4 m	SSM	- -	✅	- -	2023	?	Apache 2.0
Mamba-2.8b	2.8b	SSM	- -	✅	- -	2023	?	Apache 2.0
Mamba-2.8b-Slimpj	2.8b	SSM	- -	✅	- -	2023	?	Apache 2.0
OpenBA	15b	Transformator	✅	✅	- -	2023	?	Apache 2.0
Yi-6b	6b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Yi-6b-200k	6b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Yi-9b	9b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Yi-9b-200k	9b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Yi-34b-200k	34b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Persimmon-8b	8b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Palmyra-3b	3b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Palmyra-Small-128m	128 m	Transformator	- -	✅	- -	2023	?	Apache 2.0
Palmyra-Base-5b	5b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Palmyra-Large-20b	20b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Sea-Lion-3b	3b	Transformator	- -	✅	- -	2023	?	MIT
Sea-Lion-7b	7b	Transformator	- -	✅	- -	2023	?	MIT
Plamo-13b	13b	Transformator	- -	✅	- -	2023	?	Apache 2.0
Litellama	460 m	Transformator	- -	✅	- -	2024	?	MIT
H2O-Danube	1,8b	Transformator	- -	✅	- -	2024	?	Apache 2.0
H2O-Danube2	1,8b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Cosmo	1,8b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Mobillama-0,5b	0,5b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Mobillama-0,8b	0,8b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Mobillama-1b	1.2b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Olmo-1b?	1b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Olmo-7b?	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Olmo-7b-twin-2t?	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Olmo-1.7-7b?	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Poro	34b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Grok-1	314b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-1.1t	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-1t	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-800b	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-600b	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-400b	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-8b-200b	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Openmoe-34B-200b	34b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Jamba	52b	SSM-Transformator	- -	✅	✅	2024	?	Apache 2.0
Jetmoe	8b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Mambaoutai	1,6b	SSM	- -	✅	- -	2024	?	Apache 2.0
Tele-FLM	52b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Arktische Basis	480b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Samba-7b	7b	SSM-Transformator	- -	✅	✅	2024	?	Apache 2.0
MIMTRAL-8X22B-V0.1	141b	Transformator	- -	✅	✅	2024	?	Apache 2.0
Granit-7b-Base	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Chuxin-1.6b-Base?	1,6b	Transformator	- -	✅	- -	2024	?	MIT
Chuxin-1.6b-1m?	1,6b	Transformator	- -	✅	- -	2024	?	MIT
Neo?	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Yi-1.5-6b	6b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Yi-1.5-9b	9b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Yi-1.5-34b	34b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Gecko-7b	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Qwen2-0.5b	0,5b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Qwen2-1.5b	1,5b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Qwen2-7b	7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
QWEN2-57B-A14B	57b	Transformator	- -	✅	✅	2024	?	Apache 2.0
K2?	65b	Transformator	- -	✅	- -	2024	?	Apache 2.0
Stapel-T5-Base?	248m	Transformator	✅	✅	- -	2024	?	Apache 2.0
Stapel-T5-Large?	783 m	Transformator	✅	✅	- -	2024	?	Apache 2.0
Stapel-T5-XL?	2.85b	Transformator	✅	✅	- -	2024	?	Apache 2.0
Smollm-135m?	135 m	Transformator	- -	✅	- -	2024	?	Apache 2.0
Smollm-360m?	360 m	Transformator	- -	✅	- -	2024	?	Apache 2.0
Smollm-1.7b?	1.7b	Transformator	- -	✅	- -	2024	?	Apache 2.0
GRINSEN	42b	Transformator	- -	✅	✅	2024	?	MIT
Olmoe-1b-7b?	7b	Transformator	- -	✅	✅	2024	?	Apache 2.0
ZAMBA2-1.2B	1.2b	SSM-Transformator	- -	✅	- -	2024	?	Apache 2.0
Samba2-2.7b	2.7b	SSM-Transformator	- -	✅	- -	2024	?	Apache 2.0
Fox-1-1.6b	1,6b	Transformator	- -	✅	- -	2024	?	Apache 2.0

Ressourcen

Über Offenheit

• [Blog -Beitrag] Was "offen" bedeutet: Ein großartiger Blog -Beitrag von John Shaughnessy, in dem die vielen verschiedenen Inkarnationen des Wortes "offen" diskutiert werden.
• [Papier] Auf dem Weg zu einem Rahmen für Offenheit in den Fundamentmodellen: In diesem Artikel haben das Mozilla und das Columbia Institute of Global Politics über 40 führende Wissenschaftler und Praktiker, die an Offenheit und KI arbeiteten, zusammengebracht, um die hochdiskutierten Definitionen und Vorteile von Open Sourcing Foundation -Modellen zu diskutieren. Unter diesem Team befinden sich Victor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert und viele andere.
• [Papier] Open Source Generative KI überdenken: In diesem Artikel wird über 45 generative KI-Modelle unter Verwendung eines evidenzbasierten Frameworks untersucht, das 14 Dimensionen der Offenheit unterscheidet, von Schulungsdatensätzen bis hin zu wissenschaftlichen und technischen Dokumentationen und von der Lizenzierung für Zugriffsmethoden.
• [Papier] Risiken und Möglichkeiten der Open-Source-Generativ-KI: Dieses Papier analysiert die Risiken und Möglichkeiten von Generativmodellen für Open-Source-AI-Modelle mit einem dreistufigen Rahmen für die Gen-AI-Entwicklung (in der Nähe, mittlerer und langfristiger) und argumentiert, dass die Vorteile von Open-Source-Gen-AI-Risiken insgesamt die Vorteile von Open-Source-Gen-AI überholen.

? Zitat

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}