open language models

รายการโมเดลภาษาแบบเปิด

- การแนะนำ

นี่คือรายการของแบบจำลองภาษาที่ได้รับอนุญาตอย่างมีใบอนุญาตด้วย MIT, Apache 2.0 หรือใบอนุญาตอื่น ๆ ที่คล้ายกัน เรากำลังใช้โมเดลภาษาคำกว้างที่นี่เพื่อรวมโมเดลอัตโนมัติไม่เพียง แต่ยังมีโมเดลที่ได้รับการฝึกฝนด้วยวัตถุประสงค์ที่แตกต่างกันเช่น MLM

งานนี้ส่วนใหญ่ได้รับแรงบันดาลใจจากไดเรกทอรีของ Stella Biderman เกี่ยวกับ Generative AI และ Cheatsheet การพัฒนาแบบจำลองมูลนิธิ แต่แตกต่างจากแหล่งข้อมูลที่ครอบคลุมทั้งสองนี้งานนี้หมายถึงการอ้างอิงที่รวดเร็วและมุ่งเน้นมากขึ้น

• ?: Model + Data + Code
• : โมเดล + ข้อมูล
• ⚡: รุ่น + รหัส

สำคัญ

นี่ยังคงเป็นงานที่กำลังดำเนินอยู่ การมีส่วนร่วมการแก้ไขและข้อเสนอแนะยินดีต้อนรับอย่างมาก!

- แบบจำลอง

แบบอย่าง	พารามิเตอร์	สถาปัตยกรรม	เครื่องเข้ารหัส	ตัวถอดรหัส	โม	ปี	กอดใบหน้า	ใบอนุญาต
GPT-1	120m	หม้อแปลงไฟฟ้า	-		-	2018	-	มิกซ์
เบิร์ตเบส	110m	หม้อแปลงไฟฟ้า		-	-	2018	-	Apache 2.0
เบิร์ตเบส	110m	หม้อแปลงไฟฟ้า		-	-	2018	-	Apache 2.0
เบิร์ตขนาดใหญ่	340m	หม้อแปลงไฟฟ้า		-	-	2018	-	Apache 2.0
เบิร์ต-ไม่มีขนาดใหญ่	340m	หม้อแปลงไฟฟ้า		-	-	2018	-	Apache 2.0
GPT-2-SMALL	124m	หม้อแปลงไฟฟ้า	-		-	2019	-	มิกซ์
GPT-2-Medium	355m	หม้อแปลงไฟฟ้า	-		-	2019	-	มิกซ์
GPT-2 ขนาดใหญ่	774m	หม้อแปลงไฟฟ้า	-		-	2019	-	มิกซ์
GPT-2-XL	1.5B	หม้อแปลงไฟฟ้า	-		-	2019	-	มิกซ์
t5-small?	60m	หม้อแปลงไฟฟ้า			-	2019	-	Apache 2.0
T5-base?	220 เมตร	หม้อแปลงไฟฟ้า			-	2019	-	Apache 2.0
T5 ขนาดใหญ่?	770m	หม้อแปลงไฟฟ้า			-	2019	-	Apache 2.0
t5-3b?	3B	หม้อแปลงไฟฟ้า			-	2019	-	Apache 2.0
t5-11b?	11b	หม้อแปลงไฟฟ้า			-	2019	-	Apache 2.0
XLM-Roberta-large	560m	หม้อแปลงไฟฟ้า		-	-	2019	-	มิกซ์
XLM-Roberta-base	250m	หม้อแปลงไฟฟ้า		-	-	2019	-	มิกซ์
เบสโรเบอร์ต้า	125m	หม้อแปลงไฟฟ้า		-	-	2019	-	มิกซ์
Roberta-large	355m	หม้อแปลงไฟฟ้า		-	-	2019	-	มิกซ์
distilbert-base	66m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
distilbert-base	66m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
แอลเบิร์ตเบส	12m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
อัลเบิร์ตขนาดใหญ่	18m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
อัลเบิร์ต-xlarge	60m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
อัลเบิร์ต-xxlarge	235m	หม้อแปลงไฟฟ้า		-	-	2019	-	Apache 2.0
เบสเดอร์ตา	134m	หม้อแปลงไฟฟ้า		-	-	2020	-	มิกซ์
ใหญ่เดเบอร์ตา	350m	หม้อแปลงไฟฟ้า		-	-	2020	-	มิกซ์
Deberta-xlarge	750m	หม้อแปลงไฟฟ้า		-	-	2020	-	มิกซ์
Electra-small-discriminator	14m	หม้อแปลงไฟฟ้า		-	-	2020	-	Apache 2.0
Electra-base-discriminator	110m	หม้อแปลงไฟฟ้า		-	-	2020	-	Apache 2.0
Electra-large-discriminator	335m	หม้อแปลงไฟฟ้า		-	-	2020	-	Apache 2.0
GPT-NEO-125M?	125m	หม้อแปลงไฟฟ้า	-		-	2021	-	มิกซ์
gpt-neo-1.3b?	1.3b	หม้อแปลงไฟฟ้า	-		-	2021	-	มิกซ์
GPT-NEO-2.7B?	2.7B	หม้อแปลงไฟฟ้า	-		-	2021	-	มิกซ์
gpt-j?	6B	หม้อแปลงไฟฟ้า	-		-	2021	-	Apache 2.0
XLM-Roberta-xl	3.5B	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
XLM-ROBERTA-XXL	10.7b	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
deberta-v2-xlarge	900m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
deberta-v2-xxlarge	1.5m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
deberta-v3-xsmall	22m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
deberta-v3-small	44m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
เบสดีเบอร์ต้า-วี3	86m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
Deberta-V3 ขนาดใหญ่	304m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
mdeberta-v3-base	86m	หม้อแปลงไฟฟ้า		-	-	2021	-	มิกซ์
gpt-neox?	20b	หม้อแปลงไฟฟ้า	-		-	2022	-	Apache 2.0
UL2?	20b	หม้อแปลงไฟฟ้า			-	2022	-	Apache 2.0
Yalm⚡	100b	หม้อแปลงไฟฟ้า	-		-	2022	-	Apache 2.0
Pythia-14m?	14m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-70m?	70m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-160m?	160m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-410m?	410m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-1b?	1B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-1.4b?	1.4B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-2.8b?	2.8b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-6.9b?	6.9b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Pythia-12b?	12b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
cerebras-gpt-1111m	111m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Cerebras-GPT-256M	256m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Cerebras-GPT-590M	590m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
cerebras-gpt-1.3b	1.3b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
cerebras-gpt-2.7b	2.7B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Cerebras-GPT-6.7B	6.7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Cerebras-GPT-13B	13B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
btlm?	3B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
PHI-1	1.3b	หม้อแปลงไฟฟ้า	-		-	2023	-	มิกซ์
phi-1.5	1.3b	หม้อแปลงไฟฟ้า	-		-	2023	-	มิกซ์
Phi-2	2.7B	หม้อแปลงไฟฟ้า	-		-	2023	-	มิกซ์
Redpajama-incite-3b?	2.8b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Redpajama-incite-7b?	6.9b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
ฟริน	101b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MPT-1B	1.3b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MPT-7B	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MPT-7B-8K	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MPT-30B	30B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MISTRAL-7B-V0.1	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MISTRAL-7B-V0.2	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
MISTRAL-7B-V0.3	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
เหยี่ยว 1b	1B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Falcon-7b	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Falcon-40b	40b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
tinyllama	1.1b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Openllama-3B-V1?	3B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Openllama-7b-V1?	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Openllama-13b-v1?	13B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Openllama-3b-v2?	3B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Openllama-7b-v2?	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Decilm-7b	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
อำพัน?	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
แสงอาทิตย์	10.7b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Mixtral-8x7b	46.7b	หม้อแปลงไฟฟ้า	-			2023	-	Apache 2.0
OpenMoe-Base-128b	637m	หม้อแปลงไฟฟ้า	-			2023	-	Apache 2.0
Mamba-130m	130m	SSM	-		-	2023	-	Apache 2.0
Mamba-370m	370m	SSM	-		-	2023	-	Apache 2.0
Mamba-790m	790m	SSM	-		-	2023	-	Apache 2.0
Mamba-1.4b	1.4m	SSM	-		-	2023	-	Apache 2.0
Mamba-2.8b	2.8b	SSM	-		-	2023	-	Apache 2.0
Mamba-2.8b-slimpj	2.8b	SSM	-		-	2023	-	Apache 2.0
Openba	15b	หม้อแปลงไฟฟ้า			-	2023	-	Apache 2.0
Yi-6b	6B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
yi-6b-200k	6B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
yi-9b	9b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
yi-9b-200k	9b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
yi-34b-200k	34B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
ลูกพลับ -8B	8B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Palmyra-3b	3B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Palmyra-Small-128m	128m	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Palmyra-Base-5B	5B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Palmyra-large-20b	20b	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
ทะเลสิงโต -3B	3B	หม้อแปลงไฟฟ้า	-		-	2023	-	มิกซ์
ทะเลสิงโต-7B	7b	หม้อแปลงไฟฟ้า	-		-	2023	-	มิกซ์
plamo-13b	13B	หม้อแปลงไฟฟ้า	-		-	2023	-	Apache 2.0
Litellama	460m	หม้อแปลงไฟฟ้า	-		-	2024	-	มิกซ์
H2O-Danube	1.8b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
H2O-Danube2	1.8b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
คอสโม	1.8b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
mobillama-0.5b	0.5b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
mobillama-0.8b	0.8b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
mobillama-1b	1.2b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
olmo-1b?	1B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
Olmo-7b?	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
olmo-7b-twin-2t?	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
Olmo-1.7-7B?	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
รูพรุน	34B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
Grok-1	314B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-1.1T	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-1T	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-800B	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-600B	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-400B	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-8B-200B	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
OpenMOE-34B-200B	34B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
กระวนกระวายใจ	52b	SSM-transformer	-			2024	-	Apache 2.0
เจ็ตมอ	8B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
Mambaoutai	1.6b	SSM	-		-	2024	-	Apache 2.0
Tele-flm	52b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
ฐานอาร์กติก	480B	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
Zamba-7b	7b	SSM-transformer	-			2024	-	Apache 2.0
Mixtral-8x22b-v0.1	141b	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
หินแกรนิต -7b	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
Chuxin-1.6b-base?	1.6b	หม้อแปลงไฟฟ้า	-		-	2024	-	มิกซ์
chuxin-1.6b-1m?	1.6b	หม้อแปลงไฟฟ้า	-		-	2024	-	มิกซ์
นีโอ?	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
yi-1.5-6b	6B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
yi-1.5-9b	9b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
yi-1.5-34b	34B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
ตุ๊กแก -7b	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
QWEN2-0.5B	0.5b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
QWEN2-1.5B	1.5B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
QWEN2-7B	7b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
QWEN2-57B-A14B	57b	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
K2?	65B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
Pile-T5-base?	248m	หม้อแปลงไฟฟ้า			-	2024	-	Apache 2.0
Pile-T5 ขนาดใหญ่?	783m	หม้อแปลงไฟฟ้า			-	2024	-	Apache 2.0
Pile-T5-XL?	2.85b	หม้อแปลงไฟฟ้า			-	2024	-	Apache 2.0
smollm-135m?	135m	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
smollm-360m?	360m	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
smollm-1.7b?	1.7B	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0
รอยยิ้ม	42b	หม้อแปลงไฟฟ้า	-			2024	-	มิกซ์
olmoe-1b-7b?	7b	หม้อแปลงไฟฟ้า	-			2024	-	Apache 2.0
Zamba2-1.2b	1.2b	SSM-transformer	-		-	2024	-	Apache 2.0
Zamba2-2.7b	2.7B	SSM-transformer	-		-	2024	-	Apache 2.0
FOX-1-1-1.6B	1.6b	หม้อแปลงไฟฟ้า	-		-	2024	-	Apache 2.0

ทรัพยากร

เกี่ยวกับการเปิดกว้าง

• [บล็อกโพสต์] อะไร "เปิด" หมายถึง: โพสต์บล็อกที่ยอดเยี่ยมโดย John Shaughnessy พูดคุยเกี่ยวกับวิธีการที่แตกต่างกันมากมายของคำว่า "เปิด"
• [กระดาษ] สู่กรอบการเปิดกว้างในรูปแบบพื้นฐาน: ในบทความนี้สถาบันการเมืองโลก Mozilla และโคลัมเบียได้รวบรวมนักวิชาการและผู้ปฏิบัติงานชั้นนำกว่า 40 คนที่ทำงานเกี่ยวกับการเปิดกว้างและ AI เพื่อหารือเกี่ยวกับคำจำกัดความที่ถกเถียงกันอย่างสูงและประโยชน์ของแบบจำลองการจัดหาแบบเปิด ในบรรดาทีมนี้คือ Victor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert และอื่น ๆ อีกมากมาย
• [กระดาษ] ทบทวน Open Source Generative AI: บทความนี้สำรวจมากกว่า 45 รุ่น AI กำเนิดโดยใช้กรอบการทำงานตามหลักฐานที่แยกแยะความแตกต่าง 14 มิติของการเปิดกว้างตั้งแต่ชุดข้อมูลการฝึกอบรมไปจนถึงเอกสารทางวิทยาศาสตร์และทางเทคนิคและจากการออกใบอนุญาตไปยังวิธีการเข้าถึง
• [กระดาษ] ความเสี่ยงและโอกาสของการกำเนิดโอเพนซอร์ส AI: บทความนี้วิเคราะห์ความเสี่ยงและโอกาสของโมเดล AI แบบโอเพนซอร์สโดยใช้กรอบสามขั้นตอนสำหรับการพัฒนา Gen AI (ใกล้, กลางและระยะยาว)

- การอ้างอิง

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}