Beranda>Terkait pemrograman>Kode Sumber AI
Unduh

Daftar Model Bahasa Terbuka

? Perkenalan

Ini adalah daftar model bahasa berlisensi secara permisif dengan MIT, Apache 2.0, atau lisensi serupa lainnya. Kami menggunakan istilah model bahasa secara luas di sini untuk memasukkan tidak hanya model autoregresif tetapi juga model yang dilatih dengan tujuan berbeda seperti MLM.

Karya ini sebagian besar terinspirasi oleh Direktori AI generatif Stella Biderman, dan Cheatsheet Pengembangan Model Foundation. Tetapi tidak seperti dua sumber yang sangat komprehensif ini, pekerjaan ini dimaksudkan untuk menjadi referensi yang cepat dan lebih terfokus.

  • ?: model + data + kode
  • : Model + Data
  • ⚡: model + kode

Penting

Ini masih merupakan pekerjaan yang sedang berlangsung. Kontribusi, koreksi, dan umpan balik sangat disambut!

? Model

Model Parameter Arsitektur Encoder Decoder Moe Tahun Wajah memeluk Lisensi
GPT-1 120m Transformator - ✅ - 2018 ? Mit
Bert-Base-Cased 110m Transformator ✅ - - 2018 ? Apache 2.0
Bert-Base-Incased 110m Transformator ✅ - - 2018 ? Apache 2.0
Bert-Large-Cased 340m Transformator ✅ - - 2018 ? Apache 2.0
Bert-Large-Incased 340m Transformator ✅ - - 2018 ? Apache 2.0
GPT-2-Small 124m Transformator - ✅ - 2019 ? Mit
GPT-2-Medium 355m Transformator - ✅ - 2019 ? Mit
GPT-2-Large 774m Transformator - ✅ - 2019 ? Mit
GPT-2-XL 1.5b Transformator - ✅ - 2019 ? Mit
T5-Small? 60m Transformator ✅ ✅ - 2019 ? Apache 2.0
T5-base? 220m Transformator ✅ ✅ - 2019 ? Apache 2.0
T5-Large? 770m Transformator ✅ ✅ - 2019 ? Apache 2.0
T5-3B? 3b Transformator ✅ ✅ - 2019 ? Apache 2.0
T5-11B? 11b Transformator ✅ ✅ - 2019 ? Apache 2.0
XLM-Roberta-Large 560m Transformator ✅ - - 2019 ? Mit
XLM-Roberta-Base 250m Transformator ✅ - - 2019 ? Mit
Roberta-Base 125m Transformator ✅ - - 2019 ? Mit
Roberta-Large 355m Transformator ✅ - - 2019 ? Mit
Distilbert-Base-Cased 66m Transformator ✅ - - 2019 ? Apache 2.0
Distilbert-Base-Incased 66m Transformator ✅ - - 2019 ? Apache 2.0
Albert-base 12m Transformator ✅ - - 2019 ? Apache 2.0
Albert-Large 18m Transformator ✅ - - 2019 ? Apache 2.0
Albert-Xlarge 60m Transformator ✅ - - 2019 ? Apache 2.0
Albert-xxlarge 235m Transformator ✅ - - 2019 ? Apache 2.0
Deberta-base 134m Transformator ✅ - - 2020 ? Mit
Deberta-Large 350m Transformator ✅ - - 2020 ? Mit
Deberta-xlarge 750m Transformator ✅ - - 2020 ? Mit
Electra-Small-Discriminator 14m Transformator ✅ - - 2020 ? Apache 2.0
Electra-Base-Discriminator 110m Transformator ✅ - - 2020 ? Apache 2.0
Electra-Large-Discriminator 335m Transformator ✅ - - 2020 ? Apache 2.0
GPT-NEO-125M? 125m Transformator - ✅ - 2021 ? Mit
GPT-NEO-1.3B? 1.3b Transformator - ✅ - 2021 ? Mit
GPT-NEO-2.7B? 2.7b Transformator - ✅ - 2021 ? Mit
GPT-J? 6b Transformator - ✅ - 2021 ? Apache 2.0
XLM-Roberta-XL 3.5b Transformator ✅ - - 2021 ? Mit
XLM-Roberta-XXL 10.7b Transformator ✅ - - 2021 ? Mit
Deberta-v2-xlarge 900m Transformator ✅ - - 2021 ? Mit
Deberta-V2-xxlarge 1.5m Transformator ✅ - - 2021 ? Mit
Deberta-v3-xsmall 22m Transformator ✅ - - 2021 ? Mit
Deberta-V3-Small 44m Transformator ✅ - - 2021 ? Mit
Deberta-V3-Base 86m Transformator ✅ - - 2021 ? Mit
Deberta-V3-Large 304m Transformator ✅ - - 2021 ? Mit
mdeberta-v3-base 86m Transformator ✅ - - 2021 ? Mit
GPT-NEOX? 20b Transformator - ✅ - 2022 ? Apache 2.0
UL2? 20b Transformator ✅ ✅ - 2022 ? Apache 2.0
Yalm⚡ 100b Transformator - ✅ - 2022 ? Apache 2.0
Pythia-14m? 14m Transformator - ✅ - 2023 ? Apache 2.0
Pythia-70m? 70m Transformator - ✅ - 2023 ? Apache 2.0
Pythia-160m? 160m Transformator - ✅ - 2023 ? Apache 2.0
Pythia-410m? 410m Transformator - ✅ - 2023 ? Apache 2.0
Pythia-1b? 1b Transformator - ✅ - 2023 ? Apache 2.0
Pythia-1.4b? 1.4b Transformator - ✅ - 2023 ? Apache 2.0
Pythia-2.8b? 2.8b Transformator - ✅ - 2023 ? Apache 2.0
Pythia-6.9b? 6.9b Transformator - ✅ - 2023 ? Apache 2.0
Pythia-12b? 12b Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-111M 111m Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-256m 256m Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-590m 590m Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-1.3b 1.3b Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-2.7b 2.7b Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-6.7B 6.7b Transformator - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-13B 13b Transformator - ✅ - 2023 ? Apache 2.0
BTLM? 3b Transformator - ✅ - 2023 ? Apache 2.0
Phi-1 1.3b Transformator - ✅ - 2023 ? Mit
Phi-1..5 1.3b Transformator - ✅ - 2023 ? Mit
Phi-2 2.7b Transformator - ✅ - 2023 ? Mit
Redpajama-incite-3b? 2.8b Transformator - ✅ - 2023 ? Apache 2.0
Redpajama-incite-7b? 6.9b Transformator - ✅ - 2023 ? Apache 2.0
Flm 101b Transformator - ✅ - 2023 ? Apache 2.0
MPT-1B 1.3b Transformator - ✅ - 2023 ? Apache 2.0
MPT-7B 7b Transformator - ✅ - 2023 ? Apache 2.0
MPT-7B-8K 7b Transformator - ✅ - 2023 ? Apache 2.0
MPT-30B 30b Transformator - ✅ - 2023 ? Apache 2.0
MISTRAL-7B-V0.1 7b Transformator - ✅ - 2023 ? Apache 2.0
Mistral-7b-V0.2 7b Transformator - ✅ - 2023 ? Apache 2.0
MISTRAL-7B-V0.3 7b Transformator - ✅ - 2023 ? Apache 2.0
Falcon-1b 1b Transformator - ✅ - 2023 ? Apache 2.0
Falcon-7b 7b Transformator - ✅ - 2023 ? Apache 2.0
Falcon-40b 40b Transformator - ✅ - 2023 ? Apache 2.0
Tinyllama 1.1b Transformator - ✅ - 2023 ? Apache 2.0
Openllama-3B-V1? 3b Transformator - ✅ - 2023 ? Apache 2.0
Openllama-7b-V1? 7b Transformator - ✅ - 2023 ? Apache 2.0
Openllama-13b-V1? 13b Transformator - ✅ - 2023 ? Apache 2.0
Openllama-3b-V2? 3b Transformator - ✅ - 2023 ? Apache 2.0
Openllama-7b-V2? 7b Transformator - ✅ - 2023 ? Apache 2.0
DECILM-7B 7b Transformator - ✅ - 2023 ? Apache 2.0
Amber? 7b Transformator - ✅ - 2023 ? Apache 2.0
Tenaga surya 10.7b Transformator - ✅ - 2023 ? Apache 2.0
Mixtral-8x7b 46.7b Transformator - ✅ ✅ 2023 ? Apache 2.0
OpenMoe-base-128b 637m Transformator - ✅ ✅ 2023 ? Apache 2.0
Mamba-130m 130m Ssm - ✅ - 2023 ? Apache 2.0
Mamba-370m 370m Ssm - ✅ - 2023 ? Apache 2.0
Mamba-790m 790m Ssm - ✅ - 2023 ? Apache 2.0
Mamba-1.4b 1.4m Ssm - ✅ - 2023 ? Apache 2.0
Mamba-2.8b 2.8b Ssm - ✅ - 2023 ? Apache 2.0
Mamba-2.8b-slimpj 2.8b Ssm - ✅ - 2023 ? Apache 2.0
Openba 15b Transformator ✅ ✅ - 2023 ? Apache 2.0
Yi-6b 6b Transformator - ✅ - 2023 ? Apache 2.0
Yi-6b-200k 6b Transformator - ✅ - 2023 ? Apache 2.0
Yi-9b 9b Transformator - ✅ - 2023 ? Apache 2.0
Yi-9b-200k 9b Transformator - ✅ - 2023 ? Apache 2.0
Yi-34b-200k 34b Transformator - ✅ - 2023 ? Apache 2.0
Kesemek-8b 8b Transformator - ✅ - 2023 ? Apache 2.0
Palmyra-3b 3b Transformator - ✅ - 2023 ? Apache 2.0
Palmyra-Small-128m 128m Transformator - ✅ - 2023 ? Apache 2.0
Palmyra-base-5b 5b Transformator - ✅ - 2023 ? Apache 2.0
Palmyra-Large-20b 20b Transformator - ✅ - 2023 ? Apache 2.0
Laut-singa-3b 3b Transformator - ✅ - 2023 ? Mit
Laut-Lion-7b 7b Transformator - ✅ - 2023 ? Mit
Plamo-13b 13b Transformator - ✅ - 2023 ? Apache 2.0
Litellama 460m Transformator - ✅ - 2024 ? Mit
H2O-Danube 1.8b Transformator - ✅ - 2024 ? Apache 2.0
H2O-Danube2 1.8b Transformator - ✅ - 2024 ? Apache 2.0
Cosmo 1.8b Transformator - ✅ - 2024 ? Apache 2.0
MOBILLAMA-0.5B 0,5b Transformator - ✅ - 2024 ? Apache 2.0
Mobillama-0.8b 0.8b Transformator - ✅ - 2024 ? Apache 2.0
Mobillama-1b 1.2b Transformator - ✅ - 2024 ? Apache 2.0
Olmo-1b? 1b Transformator - ✅ - 2024 ? Apache 2.0
Olmo-7b? 7b Transformator - ✅ - 2024 ? Apache 2.0
Olmo-7b-twin-2t? 7b Transformator - ✅ - 2024 ? Apache 2.0
OLMO-1.7-7B? 7b Transformator - ✅ - 2024 ? Apache 2.0
Poro 34b Transformator - ✅ - 2024 ? Apache 2.0
Grok-1 314b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-1.1t 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8b-1t 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-800B 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-600B 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-400B 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-200b 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-34b-200b 34b Transformator - ✅ ✅ 2024 ? Apache 2.0
Jamba 52b SSM-Transformer - ✅ ✅ 2024 ? Apache 2.0
Jetmoe 8b Transformator - ✅ ✅ 2024 ? Apache 2.0
Mambaoutai 1.6b Ssm - ✅ - 2024 ? Apache 2.0
Tele-flm 52b Transformator - ✅ - 2024 ? Apache 2.0
Basis Arktik 480b Transformator - ✅ ✅ 2024 ? Apache 2.0
Zamba-7b 7b SSM-Transformer - ✅ ✅ 2024 ? Apache 2.0
Mixtral-8x22b-V0.1 141b Transformator - ✅ ✅ 2024 ? Apache 2.0
Granit-7b-base 7b Transformator - ✅ - 2024 ? Apache 2.0
Chuxin-1.6b-base? 1.6b Transformator - ✅ - 2024 ? Mit
Chuxsin-1.6b-1m? 1.6b Transformator - ✅ - 2024 ? Mit
Neo? 7b Transformator - ✅ - 2024 ? Apache 2.0
Yi-1.5-6b 6b Transformator - ✅ - 2024 ? Apache 2.0
Yi-1.5-9b 9b Transformator - ✅ - 2024 ? Apache 2.0
Yi-1.5-34b 34b Transformator - ✅ - 2024 ? Apache 2.0
Tokek-7b 7b Transformator - ✅ - 2024 ? Apache 2.0
QWEN2-0.5B 0,5b Transformator - ✅ - 2024 ? Apache 2.0
Qwen2-1.5b 1.5b Transformator - ✅ - 2024 ? Apache 2.0
QWEN2-7B 7b Transformator - ✅ - 2024 ? Apache 2.0
QWEN2-57B-A14B 57b Transformator - ✅ ✅ 2024 ? Apache 2.0
K2? 65b Transformator - ✅ - 2024 ? Apache 2.0
Tiang-t5-base? 248m Transformator ✅ ✅ - 2024 ? Apache 2.0
Tiang-t5-besar? 783m Transformator ✅ ✅ - 2024 ? Apache 2.0
PILE-T5-XL? 2.85b Transformator ✅ ✅ - 2024 ? Apache 2.0
Smollm-135m? 135m Transformator - ✅ - 2024 ? Apache 2.0
Smollm-360m? 360m Transformator - ✅ - 2024 ? Apache 2.0
Smollm-1.7b? 1.7b Transformator - ✅ - 2024 ? Apache 2.0
MENYERINGAI 42b Transformator - ✅ ✅ 2024 ? Mit
Olmoe-1b-7b? 7b Transformator - ✅ ✅ 2024 ? Apache 2.0
Zamba2-1.2b 1.2b SSM-Transformer - ✅ - 2024 ? Apache 2.0
Zamba2-2.7b 2.7b SSM-Transformer - ✅ - 2024 ? Apache 2.0
FOX-1-1.6B 1.6b Transformator - ✅ - 2024 ? Apache 2.0

Sumber daya

Tentang keterbukaan

  • [Posting blog] Apa arti "terbuka": posting blog yang bagus oleh John Shaughnessy membahas bagaimana berbagai inkarnasi kata "terbuka".
  • [Kertas] Menuju Kerangka Kerja untuk Keterbukaan dalam Model Yayasan: Dalam makalah ini, Mozilla dan Columbia Institute of Global Politics menyatukan lebih dari 40 cendekiawan dan praktisi terkemuka yang bekerja pada keterbukaan dan AI untuk membahas definisi dan manfaat yang sangat diperdebatkan dari model yayasan sumber terbuka. Di antara tim ini adalah Victor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert, dan banyak lainnya.
  • [Makalah] Memikirkan kembali AI generatif sumber terbuka: Makalah ini mensurvei lebih dari 45 model AI generatif menggunakan kerangka kerja berbasis bukti yang membedakan 14 dimensi keterbukaan, dari kumpulan data pelatihan hingga dokumentasi ilmiah dan teknis dan dari lisensi hingga metode akses.
  • [Kertas] Risiko dan peluang AI generatif open-source: Makalah ini menganalisis risiko dan peluang model AI generatif open-source menggunakan kerangka kerja tiga tahap untuk pengembangan Gen AI (dekat, menengah dan panjang), dan berpendapat bahwa, secara keseluruhan, manfaat dari sumber terbuka Gen AI lebih jauh daripada risiko.

? Kutipan 

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua