Página Inicial>Relacionado com a programação>Código-Fonte de IA
Baixar

A lista de modelos de idiomas abertos

? Introdução

Esta é uma lista de modelos de idiomas permissivamente licenciados com MIT, Apache 2.0 ou outras licenças semelhantes. Estamos usando amplamente o modelo de linguagem de termo aqui para incluir não apenas modelos autoregressivos, mas também modelos que foram treinados com objetivos diferentes, como o MLM.

Este trabalho foi inspirado principalmente pelo diretório de IA generativo de Stella Biderman e pela folha de truques de desenvolvimento de modelos de fundação. Mas, diferentemente dessas duas fontes muito abrangentes, esse trabalho deve ser uma referência rápida e mais focada.

  • ?: Modelo + dados + código
  • : Modelo + dados
  • ⚡: modelo + código

Importante

Este ainda é um trabalho em andamento. Contribuições, correções e feedback são muito bem -vindos!

? Modelos

Modelo Parâmetros Arquitetura Codificador Decodificador Moe Ano Abraçando o rosto Licença
GPT-1 120m Transformador - ✅ - 2018 ? Mit
Bert-baseado 110m Transformador ✅ - - 2018 ? Apache 2.0
Bert-Base-ANSed 110m Transformador ✅ - - 2018 ? Apache 2.0
Bert-Large-Based 340m Transformador ✅ - - 2018 ? Apache 2.0
Bert-Large-Anced 340m Transformador ✅ - - 2018 ? Apache 2.0
GPT-2-small 124m Transformador - ✅ - 2019 ? Mit
GPT-2-Medium 355m Transformador - ✅ - 2019 ? Mit
GPT-2-Large 774m Transformador - ✅ - 2019 ? Mit
GPT-2-XL 1.5b Transformador - ✅ - 2019 ? Mit
T5-Small? 60m Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-Base? 220m Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-Large? 770m Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-3B? 3b Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-11B? 11b Transformador ✅ ✅ - 2019 ? Apache 2.0
XLM-ROBERTA-LARGE 560m Transformador ✅ - - 2019 ? Mit
XLM-ROBERTA-BASE 250m Transformador ✅ - - 2019 ? Mit
Roberta-Base 125m Transformador ✅ - - 2019 ? Mit
Roberta-Large 355m Transformador ✅ - - 2019 ? Mit
Distilbert-baseado 66m Transformador ✅ - - 2019 ? Apache 2.0
Distilbert-Base-ANSed 66m Transformador ✅ - - 2019 ? Apache 2.0
Albert-Base 12m Transformador ✅ - - 2019 ? Apache 2.0
Albert-Large 18m Transformador ✅ - - 2019 ? Apache 2.0
Albert-Xlarge 60m Transformador ✅ - - 2019 ? Apache 2.0
Albert-xxlarge 235m Transformador ✅ - - 2019 ? Apache 2.0
Deberta-Base 134m Transformador ✅ - - 2020 ? Mit
Deberta-Large 350m Transformador ✅ - - 2020 ? Mit
Deberta-Xlarge 750m Transformador ✅ - - 2020 ? Mit
Electra-Discriminador 14m Transformador ✅ - - 2020 ? Apache 2.0
Electra-Base-Discriminador 110m Transformador ✅ - - 2020 ? Apache 2.0
Electra-Large Discriminator 335m Transformador ✅ - - 2020 ? Apache 2.0
GPT-NEO-125M? 125m Transformador - ✅ - 2021 ? Mit
GPT-neo-1,3b? 1.3b Transformador - ✅ - 2021 ? Mit
GPT-Neo-2.7b? 2.7b Transformador - ✅ - 2021 ? Mit
GPT-J? 6b Transformador - ✅ - 2021 ? Apache 2.0
Xlm-roberta-xl 3.5b Transformador ✅ - - 2021 ? Mit
Xlm-roberta-xxl 10.7b Transformador ✅ - - 2021 ? Mit
Deberta-V2-Xlarge 900m Transformador ✅ - - 2021 ? Mit
Deberta-V2-xxlarge 1,5m Transformador ✅ - - 2021 ? Mit
Deberta-V3-Xsmall 22m Transformador ✅ - - 2021 ? Mit
Deberta-V3-Small 44m Transformador ✅ - - 2021 ? Mit
Deberta-V3-Base 86m Transformador ✅ - - 2021 ? Mit
Deberta-V3-Large 304m Transformador ✅ - - 2021 ? Mit
MDEBERTA-V3-BASE 86m Transformador ✅ - - 2021 ? Mit
GPT-Neox? 20b Transformador - ✅ - 2022 ? Apache 2.0
Ul2? 20b Transformador ✅ ✅ - 2022 ? Apache 2.0
Yalm⚡ 100b Transformador - ✅ - 2022 ? Apache 2.0
Pythia-14m? 14m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-70m? 70m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-160m? 160m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-410m? 410m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-1b? 1b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-1.4b? 1.4b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-2.8b? 2.8b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-6.9b? 6.9b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-12b? 12b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-111m 111m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-256m 256m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-590M 590m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-1.3b 1.3b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-Gpt-2.7b 2.7b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-Gpt-6.7b 6.7b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-13B 13b Transformador - ✅ - 2023 ? Apache 2.0
Btlm? 3b Transformador - ✅ - 2023 ? Apache 2.0
Phi-1 1.3b Transformador - ✅ - 2023 ? Mit
Phi-1.5 1.3b Transformador - ✅ - 2023 ? Mit
Phi-2 2.7b Transformador - ✅ - 2023 ? Mit
Redpajama-Incite-3b? 2.8b Transformador - ✅ - 2023 ? Apache 2.0
Redpajama-Incite-7b? 6.9b Transformador - ✅ - 2023 ? Apache 2.0
Flm 101b Transformador - ✅ - 2023 ? Apache 2.0
MPT-1B 1.3b Transformador - ✅ - 2023 ? Apache 2.0
MPT-7B 7b Transformador - ✅ - 2023 ? Apache 2.0
MPT-7B-8K 7b Transformador - ✅ - 2023 ? Apache 2.0
MPT-30B 30b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7b-V0.1 7b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7b-V0.2 7b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7b-V0.3 7b Transformador - ✅ - 2023 ? Apache 2.0
Falcon-1b 1b Transformador - ✅ - 2023 ? Apache 2.0
Falcon-7b 7b Transformador - ✅ - 2023 ? Apache 2.0
Falcon-40b 40b Transformador - ✅ - 2023 ? Apache 2.0
Tinyllama 1.1b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-3b-V1? 3b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-7b-V1? 7b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-13b-V1? 13b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-3b-V2? 3b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-7b-V2? 7b Transformador - ✅ - 2023 ? Apache 2.0
Decilme-7b 7b Transformador - ✅ - 2023 ? Apache 2.0
Âmbar? 7b Transformador - ✅ - 2023 ? Apache 2.0
Solar 10.7b Transformador - ✅ - 2023 ? Apache 2.0
Mixtral-8x7b 46.7b Transformador - ✅ ✅ 2023 ? Apache 2.0
OpenMoe-BASE-128B 637m Transformador - ✅ ✅ 2023 ? Apache 2.0
Mamba-130m 130m SSM - ✅ - 2023 ? Apache 2.0
Mamba-370m 370m SSM - ✅ - 2023 ? Apache 2.0
Mamba-790m 790m SSM - ✅ - 2023 ? Apache 2.0
Mamba-1.4b 1.4m SSM - ✅ - 2023 ? Apache 2.0
Mamba-2.8b 2.8b SSM - ✅ - 2023 ? Apache 2.0
Mamba-2.8b-slimpj 2.8b SSM - ✅ - 2023 ? Apache 2.0
Openba 15b Transformador ✅ ✅ - 2023 ? Apache 2.0
Yi-6b 6b Transformador - ✅ - 2023 ? Apache 2.0
Yi-6b-200k 6b Transformador - ✅ - 2023 ? Apache 2.0
Yi-9b 9b Transformador - ✅ - 2023 ? Apache 2.0
Yi-9b-200k 9b Transformador - ✅ - 2023 ? Apache 2.0
Yi-34b-200k 34b Transformador - ✅ - 2023 ? Apache 2.0
Persimmon-8b 8b Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-3b 3b Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Small-128m 128m Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Base-5b 5b Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Large-20B 20b Transformador - ✅ - 2023 ? Apache 2.0
Sea-Lion-3b 3b Transformador - ✅ - 2023 ? Mit
Sea-Lion-7b 7b Transformador - ✅ - 2023 ? Mit
Plamo-13b 13b Transformador - ✅ - 2023 ? Apache 2.0
Litellama 460m Transformador - ✅ - 2024 ? Mit
H2O-Danube 1.8b Transformador - ✅ - 2024 ? Apache 2.0
H2O-Danube2 1.8b Transformador - ✅ - 2024 ? Apache 2.0
Cosmo 1.8b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-0.5b 0,5b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-0.8b 0,8b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-1b 1.2b Transformador - ✅ - 2024 ? Apache 2.0
Olmo-1b? 1b Transformador - ✅ - 2024 ? Apache 2.0
Olmo-7b? 7b Transformador - ✅ - 2024 ? Apache 2.0
Olmo-7b-twin-2t? 7b Transformador - ✅ - 2024 ? Apache 2.0
Olmo-1.7-7b? 7b Transformador - ✅ - 2024 ? Apache 2.0
Poro 34b Transformador - ✅ - 2024 ? Apache 2.0
Grok-1 314b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-1.1t 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-1T 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-800B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-600B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-400B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-200b 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-34B-200b 34b Transformador - ✅ ✅ 2024 ? Apache 2.0
Jamba 52b SSM-Transformer - ✅ ✅ 2024 ? Apache 2.0
Jetmoe 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
Mambaoutai 1.6b SSM - ✅ - 2024 ? Apache 2.0
Tele-flm 52b Transformador - ✅ - 2024 ? Apache 2.0
Base Ártica 480b Transformador - ✅ ✅ 2024 ? Apache 2.0
Zamba-7b 7b SSM-Transformer - ✅ ✅ 2024 ? Apache 2.0
Mixtral-8x22b-v0.1 141b Transformador - ✅ ✅ 2024 ? Apache 2.0
Granito-7b-Base 7b Transformador - ✅ - 2024 ? Apache 2.0
Chuxin-1.6b-Base? 1.6b Transformador - ✅ - 2024 ? Mit
Chuxin-1.6b-1m? 1.6b Transformador - ✅ - 2024 ? Mit
Neo? 7b Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-6b 6b Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-9b 9b Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-34b 34b Transformador - ✅ - 2024 ? Apache 2.0
Gecko-7b 7b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-0.5B 0,5b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-1.5B 1.5b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-7B 7b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-57B-A14B 57b Transformador - ✅ ✅ 2024 ? Apache 2.0
K2? 65b Transformador - ✅ - 2024 ? Apache 2.0
Pile-T5-Base? 248m Transformador ✅ ✅ - 2024 ? Apache 2.0
Pile-T5-Large? 783m Transformador ✅ ✅ - 2024 ? Apache 2.0
PILE-T5-XL? 2.85b Transformador ✅ ✅ - 2024 ? Apache 2.0
Smollm-135m? 135m Transformador - ✅ - 2024 ? Apache 2.0
Smollm-360m? 360m Transformador - ✅ - 2024 ? Apache 2.0
Smollm-1.7b? 1.7b Transformador - ✅ - 2024 ? Apache 2.0
SORRISO 42b Transformador - ✅ ✅ 2024 ? Mit
Olmoe-1b-7b? 7b Transformador - ✅ ✅ 2024 ? Apache 2.0
Zamba2-1.2b 1.2b SSM-Transformer - ✅ - 2024 ? Apache 2.0
Zamba2-2.7b 2.7b SSM-Transformer - ✅ - 2024 ? Apache 2.0
Fox-1-1.6b 1.6b Transformador - ✅ - 2024 ? Apache 2.0

Recursos

Sobre abertura

  • [Postagem do blog] O que "aberto" significa: uma ótima postagem no blog de John Shaughnessy discutindo como as muitas encarnações diferentes da palavra "Open".
  • [Artigo] Rumo a uma estrutura para a abertura nos modelos de fundação: neste artigo, o Instituto de Política Global de Mozilla e Columbia reuniu mais de 40 estudiosos e profissionais líderes que trabalham na abertura e IA para discutir as definições e benefícios altamente debatidos dos modelos de fundação de fornecimento aberto. Entre essa equipe estão Victor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert e muitos outros.
  • [Artigo] Repensando a IA generativa de código aberto: Este artigo levanta mais de 45 modelos generativos de IA usando uma estrutura baseada em evidências que distingue 14 dimensões de abertura, desde conjuntos de dados de treinamento até documentação científica e técnica e do licenciamento e métodos de acesso.
  • [Artigo] Riscos e oportunidades de IA generativa de código aberto: Este artigo analisa os riscos e oportunidades de modelos de IA generativos de código aberto usando uma estrutura de três etapas para o desenvolvimento da Gen AI (próximo, médio e de longo prazo) e argumenta que, em geral, os benefícios da geração de código aberto supera seus riscos.

? Citação 

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}
Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos