open language models
1.0.0
هذه قائمة بنماذج اللغات المرخصة بشكل مسار مع معهد ماساتشوستس للتكنولوجيا أو Apache 2.0 أو غيرها من التراخيص المماثلة. نحن نستخدم نموذج اللغة المصطلح على نطاق واسع هنا لتضمين نماذج الانحدار التلقائي فحسب ، بل أيضًا على النماذج التي تم تدريبها بأهداف مختلفة مثل MLM.
كان هذا العمل مستوحى في الغالب من دليل ستيلا بيدمان للمنظمة العفوبية التوليدية ، وتنمية نموذج الأساس. ولكن على عكس هذين المصدرين الشاملين للغاية ، من المفترض أن يكون هذا العمل مرجعًا سريعًا وأكثر تركيزًا.
مهم
هذا لا يزال عمل مستمر. المساهمات والتصحيحات والتعليقات مرحب بها للغاية!
| نموذج | حدود | بنيان | تشفير | فك التشفير | مو | سنة | الوجه المعانقة | رخصة |
|---|---|---|---|---|---|---|---|---|
| GPT-1 | 120 م | محول | - | ✅ | - | 2018 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| bert-base cazed | 110 م | محول | ✅ | - | - | 2018 | ؟ | Apache 2.0 |
| Bert-Base-uncared | 110 م | محول | ✅ | - | - | 2018 | ؟ | Apache 2.0 |
| Bert-large cazed | 340 م | محول | ✅ | - | - | 2018 | ؟ | Apache 2.0 |
| Bert-Large-uncared | 340 م | محول | ✅ | - | - | 2018 | ؟ | Apache 2.0 |
| GPT-2-Small | 124m | محول | - | ✅ | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-2-Medium | 355 م | محول | - | ✅ | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-2-LARGE | 774m | محول | - | ✅ | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-2-XL | 1.5 ب | محول | - | ✅ | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| T5-small؟ | 60 م | محول | ✅ | ✅ | - | 2019 | ؟ | Apache 2.0 |
| T5-base؟ | 220 م | محول | ✅ | ✅ | - | 2019 | ؟ | Apache 2.0 |
| T5-large؟ | 770 م | محول | ✅ | ✅ | - | 2019 | ؟ | Apache 2.0 |
| T5-3b؟ | 3 ب | محول | ✅ | ✅ | - | 2019 | ؟ | Apache 2.0 |
| T5-11B؟ | 11 ب | محول | ✅ | ✅ | - | 2019 | ؟ | Apache 2.0 |
| XLM-ROBERTA-LARGE | 560 م | محول | ✅ | - | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| XLM-Roberta-base | 250 م | محول | ✅ | - | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| روبرتا قاعدة | 125m | محول | ✅ | - | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| روبرتا لارج | 355 م | محول | ✅ | - | - | 2019 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| distilbert-base cazed | 66 م | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| Distilbert-base-uncared | 66 م | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| ألبرت-قاع | 12m | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| ألبرت لارج | 18 م | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| Albert-Xlarge | 60 م | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| Albert-xxlarge | 235m | محول | ✅ | - | - | 2019 | ؟ | Apache 2.0 |
| ديبرتا القاعدة | 134m | محول | ✅ | - | - | 2020 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| ديبرتا لارج | 350 متر | محول | ✅ | - | - | 2020 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-Xlarge | 750m | محول | ✅ | - | - | 2020 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| Electra-Small-Discriminator | 14m | محول | ✅ | - | - | 2020 | ؟ | Apache 2.0 |
| Electra-base-discriminator | 110 م | محول | ✅ | - | - | 2020 | ؟ | Apache 2.0 |
| Electra-large-Discriminator | 335m | محول | ✅ | - | - | 2020 | ؟ | Apache 2.0 |
| GPT-NEO-125M؟ | 125m | محول | - | ✅ | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-NEO-1.3B؟ | 1.3 ب | محول | - | ✅ | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-NEO-2.7B؟ | 2.7 ب | محول | - | ✅ | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-J؟ | 6 ب | محول | - | ✅ | - | 2021 | ؟ | Apache 2.0 |
| XLM-ROBERTA-XL | 3.5 ب | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| XLM-ROBERTA-XXL | 10.7b | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V2-xlarge | 900 م | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V2-xxlarge | 1.5m | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V3-Xsmall | 22 م | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V3-Small | 44 م | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V3-base | 86 م | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| DeBerta-V3-Large | 304m | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| Mdeberta-V3-base | 86 م | محول | ✅ | - | - | 2021 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| GPT-NEOX؟ | 20 ب | محول | - | ✅ | - | 2022 | ؟ | Apache 2.0 |
| UL2؟ | 20 ب | محول | ✅ | ✅ | - | 2022 | ؟ | Apache 2.0 |
| yalm⚡ | 100 ب | محول | - | ✅ | - | 2022 | ؟ | Apache 2.0 |
| Pythia-14m؟ | 14m | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-70m؟ | 70 م | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-160m؟ | 160 م | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-410m؟ | 410m | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| بيثيا -1 ب؟ | 1 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| بيثيا -1.4 ب؟ | 1.4 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-2.8b؟ | 2.8 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-6.9b؟ | 6.9b | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Pythia-12b؟ | 12 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-111M | 111 م | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-256M | 256m | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-590M | 590 م | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-1.3B | 1.3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-2.7B | 2.7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-6.7B | 6.7b | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الدماغ-GPT-13B | 13 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| BTLM؟ | 3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| PHI-1 | 1.3 ب | محول | - | ✅ | - | 2023 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| PHI-1.5 | 1.3 ب | محول | - | ✅ | - | 2023 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| PHI-2 | 2.7 ب | محول | - | ✅ | - | 2023 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| redpajama-incite-3b؟ | 2.8 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| redpajama-incite-7b؟ | 6.9b | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| FLM | 101b | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MPT-1B | 1.3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MPT-7B | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MPT-7B-8K | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MPT-30B | 30 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MISTRAL-7B-V0.1 | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MISTRAL-7B-V0.2 | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| MISTRAL-7B-V0.3 | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| فالكون -1 ب | 1 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| فالكون -7 ب | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| فالكون -40 ب | 40 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Tinyllama | 1.1 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openllama-3B-V1؟ | 3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openllama-7B-V1؟ | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openllama-13B-V1؟ | 13 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openllama-3B-V2؟ | 3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openllama-7B-V2؟ | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Decilm-7b | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| العنبر؟ | 7 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| الطاقة الشمسية | 10.7b | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mixtral-8x7b | 46.7 ب | محول | - | ✅ | ✅ | 2023 | ؟ | Apache 2.0 |
| OpenMoe-Base-128b | 637m | محول | - | ✅ | ✅ | 2023 | ؟ | Apache 2.0 |
| Mamba-130m | 130 م | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mamba-370m | 370 م | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mamba-790m | 790M | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mamba-1.4b | 1.4m | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mamba-2.8b | 2.8 ب | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Mamba-2.8b-slimpj | 2.8 ب | SSM | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Openba | 15 ب | محول | ✅ | ✅ | - | 2023 | ؟ | Apache 2.0 |
| yi-6b | 6 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| YI-6B-200K | 6 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| yi-9b | 9 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| YI-9B-200K | 9 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| YI-34B-200K | 34 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| برسيمون -8 ب | 8 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| تدمر 3 ب | 3 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| Palmyra-Small-128m | 128 م | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| تدمر القاعدة -5 ب | 5 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| تدمر large-20b | 20 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| البحر-3 ب | 3 ب | محول | - | ✅ | - | 2023 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| Sea-Lion-7b | 7 ب | محول | - | ✅ | - | 2023 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| PLAMO-13B | 13 ب | محول | - | ✅ | - | 2023 | ؟ | Apache 2.0 |
| ليتلاما | 460 م | محول | - | ✅ | - | 2024 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| H2O-Danube | 1.8 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| H2O-Danube2 | 1.8 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| كوزمو | 1.8 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| موبيلااما -0.5 ب | 0.5B | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| موبيلااما -0.8 ب | 0.8b | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| موبيلااما -1 ب | 1.2 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| olmo-1b؟ | 1 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| olmo-7b؟ | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| olmo-7b-twin-2t؟ | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| أولمو -1.7-7 ب؟ | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| بورو | 34 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Grok-1 | 314 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8b-1.1t | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8B-1T | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8B-800B | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8b-600b | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8B-400B | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-8B-200B | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| OpenMoe-34b-200b | 34 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| جامبا | 52 ب | SSM التحول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| Jetmoe | 8 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| Mambaoutai | 1.6 ب | SSM | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| TELE-FLM | 52 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| قاعدة القطب الشمالي | 480B | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| زامبا 7 ب | 7 ب | SSM التحول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| mixtral-8x22b-v0.1 | 141 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| Granite-7b-base | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Chuxin-1.6b-base؟ | 1.6 ب | محول | - | ✅ | - | 2024 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| Chuxin-1.6b-1m؟ | 1.6 ب | محول | - | ✅ | - | 2024 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| نيو؟ | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| يي -1.5-6B | 6 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| يي -1.5-9B | 9 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| يي -1.5-34B | 34 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Gecko-7b | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Qwen2-0.5b | 0.5B | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Qwen2-1.5b | 1.5 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Qwen2-7b | 7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| QWEN2-57B-A14B | 57 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| K2؟ | 65 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Pile-T5-base؟ | 248 م | محول | ✅ | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Pile-T5-large؟ | 783M | محول | ✅ | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Pile-T5-XL؟ | 2.85b | محول | ✅ | ✅ | - | 2024 | ؟ | Apache 2.0 |
| SMOLLM-135M؟ | 135m | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| SMOLLM-360M؟ | 360 م | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| smollm-1.7b؟ | 1.7 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| ابتسامة | 42 ب | محول | - | ✅ | ✅ | 2024 | ؟ | معهد ماساتشوستس للتكنولوجيا |
| olmoe-1b-7b؟ | 7 ب | محول | - | ✅ | ✅ | 2024 | ؟ | Apache 2.0 |
| Zamba2-1.2b | 1.2 ب | SSM التحول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| Zamba2-2.7b | 2.7 ب | SSM التحول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
| FOX-1-1.6B | 1.6 ب | محول | - | ✅ | - | 2024 | ؟ | Apache 2.0 |
@misc { hamdy2024openlmlist ,
title = { The Open Language Models List } ,
author = { Mohammed Hamdy } ,
url = { https://github.com/mmhamdy/open-language-models } ,
year = { 2024 } ,
}
