Inicio>Relacionado con la programación>Código Fuente de IA
Descargar

La lista de modelos de idiomas abiertos

? Introducción

Esta es una lista de modelos de idiomas con licencia permisivamente con MIT, Apache 2.0 u otras licencias similares. Estamos utilizando el modelo de lenguaje término ampliamente aquí para incluir no solo modelos autorregresivos sino también modelos que fueron entrenados con diferentes objetivos como MLM.

Este trabajo se inspiró principalmente en el directorio de AI generativo de Stella Biderman y la hoja de trucos de desarrollo del modelo de fundación. Pero a diferencia de estas dos fuentes muy completas, este trabajo está destinado a ser una referencia rápida y más centrada.

  • ?: Modelo + datos + código
  • : Modelo + datos
  • ⚡: modelo + código

Importante

Esto sigue siendo un trabajo en progreso. ¡Las contribuciones, las correcciones y los comentarios son bienvenidos!

? Modelos

Modelo Parámetros Arquitectura Codificador Descifrador Moe Año Cara abrazada Licencia
GPT-1 120m Transformador - ✅ - 2018 ? MIT
Base-base 110m Transformador ✅ - - 2018 ? Apache 2.0
Base-base 110m Transformador ✅ - - 2018 ? Apache 2.0
Bert-grande 340m Transformador ✅ - - 2018 ? Apache 2.0
Bert-grande 340m Transformador ✅ - - 2018 ? Apache 2.0
GPT-2-Small 124m Transformador - ✅ - 2019 ? MIT
GPT-2-Medio 355m Transformador - ✅ - 2019 ? MIT
GPT-2-Large 774m Transformador - ✅ - 2019 ? MIT
GPT-2-XL 1.5b Transformador - ✅ - 2019 ? MIT
T5-Small? 60m Transformador ✅ ✅ - 2019 ? Apache 2.0
¿Base T5? 220m Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-LARGE? 770m Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-3B? 3B Transformador ✅ ✅ - 2019 ? Apache 2.0
T5-11B? 11b Transformador ✅ ✅ - 2019 ? Apache 2.0
XLM-Roberta-Large 560m Transformador ✅ - - 2019 ? MIT
XLM-ROBERTA-BASE 250m Transformador ✅ - - 2019 ? MIT
Base Roberta 125m Transformador ✅ - - 2019 ? MIT
Roberta-Large 355m Transformador ✅ - - 2019 ? MIT
Basado en la base 66m Transformador ✅ - - 2019 ? Apache 2.0
Disimitado 66m Transformador ✅ - - 2019 ? Apache 2.0
Albert-base 12m Transformador ✅ - - 2019 ? Apache 2.0
Albert-Large 18m Transformador ✅ - - 2019 ? Apache 2.0
Albert-xlarge 60m Transformador ✅ - - 2019 ? Apache 2.0
Albert-xxlarge 235m Transformador ✅ - - 2019 ? Apache 2.0
Base 134m Transformador ✅ - - 2020 ? MIT
Deberta-Large 350 m Transformador ✅ - - 2020 ? MIT
DeBERTA-XLARGE 750m Transformador ✅ - - 2020 ? MIT
Electricidad-discriminador 14m Transformador ✅ - - 2020 ? Apache 2.0
Electra-base-discriminator 110m Transformador ✅ - - 2020 ? Apache 2.0
Discriminador electra-grande 335m Transformador ✅ - - 2020 ? Apache 2.0
GPT-NEO-125M? 125m Transformador - ✅ - 2021 ? MIT
Gpt-neo-1.3b? 1.3b Transformador - ✅ - 2021 ? MIT
GPT-NEO-2.7B? 2.7b Transformador - ✅ - 2021 ? MIT
GPT-J? 6b Transformador - ✅ - 2021 ? Apache 2.0
Xlm-roBerta-xl 3.5b Transformador ✅ - - 2021 ? MIT
XLM-ROBERTA-XXL 10.7b Transformador ✅ - - 2021 ? MIT
DeBERTA-V2-XLARGE 900m Transformador ✅ - - 2021 ? MIT
DeBERTA-V2-XXLARGE 1,5 m Transformador ✅ - - 2021 ? MIT
Deberta-v3-xsmall 22m Transformador ✅ - - 2021 ? MIT
DeBERTA-V3-SMAL 44m Transformador ✅ - - 2021 ? MIT
DeBERTA-V3-BASE 86m Transformador ✅ - - 2021 ? MIT
Debert-v3-larga 304m Transformador ✅ - - 2021 ? MIT
mdebera-v3-base 86m Transformador ✅ - - 2021 ? MIT
Gpt-neox? 20b Transformador - ✅ - 2022 ? Apache 2.0
UL2? 20b Transformador ✅ ✅ - 2022 ? Apache 2.0
Yalm⚡ 100b Transformador - ✅ - 2022 ? Apache 2.0
Pythia-14m? 14m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-70m? 70m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-160m? 160m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-410m? 410m Transformador - ✅ - 2023 ? Apache 2.0
Pythia-1b? 1B Transformador - ✅ - 2023 ? Apache 2.0
Pythia-1.4b? 1.4b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-2.8b? 2.8b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-6.9b? 6.9b Transformador - ✅ - 2023 ? Apache 2.0
Pythia-12b? 12b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-111M 111m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-256m 256m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-590m 590m Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-GPT-1.3b 1.3b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-2.7b 2.7b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-6.7b 6.7b Transformador - ✅ - 2023 ? Apache 2.0
Cerebras-gpt-13b 13B Transformador - ✅ - 2023 ? Apache 2.0
BTLM? 3B Transformador - ✅ - 2023 ? Apache 2.0
Phi-1 1.3b Transformador - ✅ - 2023 ? MIT
Phi-1.5 1.3b Transformador - ✅ - 2023 ? MIT
Phi-2 2.7b Transformador - ✅ - 2023 ? MIT
Redpajama-INCITE-3B? 2.8b Transformador - ✅ - 2023 ? Apache 2.0
Redpajama-Incite-7b? 6.9b Transformador - ✅ - 2023 ? Apache 2.0
FLM 101b Transformador - ✅ - 2023 ? Apache 2.0
MPT-1B 1.3b Transformador - ✅ - 2023 ? Apache 2.0
MPT-7B 7b Transformador - ✅ - 2023 ? Apache 2.0
MPT-7B-8K 7b Transformador - ✅ - 2023 ? Apache 2.0
MPT-30B 30b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7B-V0.1 7b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7B-V0.2 7b Transformador - ✅ - 2023 ? Apache 2.0
Mistral-7B-V0.3 7b Transformador - ✅ - 2023 ? Apache 2.0
Falcon-1b 1B Transformador - ✅ - 2023 ? Apache 2.0
Falcon-7b 7b Transformador - ✅ - 2023 ? Apache 2.0
Falcon-40b 40b Transformador - ✅ - 2023 ? Apache 2.0
Tinllama 1.1b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-3B-V1? 3B Transformador - ✅ - 2023 ? Apache 2.0
Openllama-7b-V1? 7b Transformador - ✅ - 2023 ? Apache 2.0
Openllama-13b-V1? 13B Transformador - ✅ - 2023 ? Apache 2.0
Openllama-3B-V2? 3B Transformador - ✅ - 2023 ? Apache 2.0
Openllama-7B-V2? 7b Transformador - ✅ - 2023 ? Apache 2.0
Decilm-7b 7b Transformador - ✅ - 2023 ? Apache 2.0
¿Ámbar? 7b Transformador - ✅ - 2023 ? Apache 2.0
Solar 10.7b Transformador - ✅ - 2023 ? Apache 2.0
Mixtral-8x7b 46.7b Transformador - ✅ ✅ 2023 ? Apache 2.0
OpenMoe-Base-128B 637m Transformador - ✅ ✅ 2023 ? Apache 2.0
Mamba-130m 130 m SSM - ✅ - 2023 ? Apache 2.0
Mamba-370m 370m SSM - ✅ - 2023 ? Apache 2.0
Mamba-790m 790m SSM - ✅ - 2023 ? Apache 2.0
Mamba-1.4b 1.4m SSM - ✅ - 2023 ? Apache 2.0
Mamba-2.8b 2.8b SSM - ✅ - 2023 ? Apache 2.0
Mamba-2.8b-slimpj 2.8b SSM - ✅ - 2023 ? Apache 2.0
Abiertamente 15b Transformador ✅ ✅ - 2023 ? Apache 2.0
Yi-6b 6b Transformador - ✅ - 2023 ? Apache 2.0
Yi-6b-200k 6b Transformador - ✅ - 2023 ? Apache 2.0
Yi-9b 9B Transformador - ✅ - 2023 ? Apache 2.0
Yi-9b-200k 9B Transformador - ✅ - 2023 ? Apache 2.0
Yi-34b-200k 34b Transformador - ✅ - 2023 ? Apache 2.0
Caqui-8b 8b Transformador - ✅ - 2023 ? Apache 2.0
Palmira-3b 3B Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Small-128m 128m Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Base-5B 5b Transformador - ✅ - 2023 ? Apache 2.0
Palmyra-Large-20b 20b Transformador - ✅ - 2023 ? Apache 2.0
Marino-lion-3b 3B Transformador - ✅ - 2023 ? MIT
Marino-lion-7b 7b Transformador - ✅ - 2023 ? MIT
Plamo-13b 13B Transformador - ✅ - 2023 ? Apache 2.0
Litellama 460m Transformador - ✅ - 2024 ? MIT
H2O-DANUBE 1.8b Transformador - ✅ - 2024 ? Apache 2.0
H2O-Danube2 1.8b Transformador - ✅ - 2024 ? Apache 2.0
Cosmo 1.8b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-0.5b 0.5b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-0.8b 0.8b Transformador - ✅ - 2024 ? Apache 2.0
Mobillama-1b 1.2b Transformador - ✅ - 2024 ? Apache 2.0
¿Olmo-1b? 1B Transformador - ✅ - 2024 ? Apache 2.0
Olmo-7b? 7b Transformador - ✅ - 2024 ? Apache 2.0
OLMO-7B-TWIN-2T? 7b Transformador - ✅ - 2024 ? Apache 2.0
Olmo-1.7-7b? 7b Transformador - ✅ - 2024 ? Apache 2.0
Poro 34b Transformador - ✅ - 2024 ? Apache 2.0
Grok-1 314b Transformador - ✅ ✅ 2024 ? Apache 2.0
Openmoe-8B-1.1t 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
Openmoe-8B-1T 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-800B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-600B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMOE-8B-400B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMoe-8B-200B 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
OpenMOE-34B-200B 34b Transformador - ✅ ✅ 2024 ? Apache 2.0
Jamba 52B Ssm-transformer - ✅ ✅ 2024 ? Apache 2.0
Jetmoe 8b Transformador - ✅ ✅ 2024 ? Apache 2.0
Mambaoutai 1.6b SSM - ✅ - 2024 ? Apache 2.0
Tele-flm 52B Transformador - ✅ - 2024 ? Apache 2.0
Base ártica 480b Transformador - ✅ ✅ 2024 ? Apache 2.0
Zamba-7b 7b Ssm-transformer - ✅ ✅ 2024 ? Apache 2.0
Mixtral-8x22b-v0.1 141b Transformador - ✅ ✅ 2024 ? Apache 2.0
Granito-7b-base 7b Transformador - ✅ - 2024 ? Apache 2.0
Chuxin-1.6b-base? 1.6b Transformador - ✅ - 2024 ? MIT
Chuxin-1.6b-1m? 1.6b Transformador - ✅ - 2024 ? MIT
Neo? 7b Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-6b 6b Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-9b 9B Transformador - ✅ - 2024 ? Apache 2.0
Yi-1.5-34b 34b Transformador - ✅ - 2024 ? Apache 2.0
Gecko-7b 7b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-0.5B 0.5b Transformador - ✅ - 2024 ? Apache 2.0
Qwen2-1.5b 1.5b Transformador - ✅ - 2024 ? Apache 2.0
Qwen2-7b 7b Transformador - ✅ - 2024 ? Apache 2.0
QWEN2-57B-A14B 57b Transformador - ✅ ✅ 2024 ? Apache 2.0
K2? 65b Transformador - ✅ - 2024 ? Apache 2.0
Pila-t5-base? 248m Transformador ✅ ✅ - 2024 ? Apache 2.0
Pile-T5-Large? 783m Transformador ✅ ✅ - 2024 ? Apache 2.0
Pile-t5-xl? 2.85b Transformador ✅ ✅ - 2024 ? Apache 2.0
SMOLLM-135M? 135m Transformador - ✅ - 2024 ? Apache 2.0
SMOLLM-360M? 360m Transformador - ✅ - 2024 ? Apache 2.0
Smollm-1.7b? 1.7b Transformador - ✅ - 2024 ? Apache 2.0
SONRISA 42B Transformador - ✅ ✅ 2024 ? MIT
Olmoe-1b-7b? 7b Transformador - ✅ ✅ 2024 ? Apache 2.0
Zamba2-1.2b 1.2b Ssm-transformer - ✅ - 2024 ? Apache 2.0
Zamba2-2.7b 2.7b Ssm-transformer - ✅ - 2024 ? Apache 2.0
Fox-1-1.6b 1.6b Transformador - ✅ - 2024 ? Apache 2.0

Recursos

Sobre la apertura

  • [Publicación de blog] Lo que significa "Abierto": una gran publicación de blog de John Shaughnessy discutiendo cómo las diferentes encarnaciones de la palabra "abierta".
  • [Documento] Hacia un marco de apertura en los modelos de fundaciones: en este documento, el Instituto de Política Global de Mozilla y Columbia reunió a más de 40 académicos y profesionales líderes que trabajan en la apertura y la IA para discutir las definiciones y beneficios debatidos de los modelos de bases de fuga abierta. Entre este equipo se encuentran Víctor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert y muchos otros.
  • [Documento] Repensar la IA generativa de código abierto: este documento encuesta a más de 45 modelos de IA generativos utilizando un marco basado en evidencia que distingue 14 dimensiones de apertura, desde conjuntos de datos de capacitación hasta documentación científica y técnica y desde la licencia hasta los métodos de acceso.
  • [Documento] Riesgos y oportunidades de IA generativa de código abierto: este documento analiza los riesgos y oportunidades de los modelos de IA generativos de código abierto que utilizan un marco de tres etapas para el desarrollo de la generación de IA (cerca, a mediano y largo plazo), y argumenta que, en general, los beneficios de la Generación de la Generación de la Source Abierta superan sus riesgos.

? Citación 

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo