open language models

Список моделей открытого языка

? Введение

Это список разрешенных лицензированных языковых моделей с MIT, Apache 2.0 или другими аналогичными лицензиями. Мы используем термин «языковой модели», чтобы включить не только авторегрессивные модели, но и модели, которые были обучены различным целям, таким как MLM.

Эта работа была в основном вдохновлена ​​каталогом генеративного ИИ Стеллы Бидермана и чит -листа разработки фонда. Но в отличие от этих двух очень полных источников, эта работа предназначена для быстрой и более целенаправленной ссылки.

• ?: model + data + code
• : Модель + данные
• ⚡: модель + код

Важный

Это все еще работа в процессе. Взносы, исправления и обратная связь очень приветствуются!

? Модели

Модель	Параметры	Архитектура	Энкодер	Декодер	Мо	Год	Обнимающееся лицо	Лицензия
GPT-1	120 м	Трансформатор	-	✅	-	2018	?	Грань
Берт-базой	110 м	Трансформатор	✅	-	-	2018	?	Apache 2.0
Берт-базовая открыта	110 м	Трансформатор	✅	-	-	2018	?	Apache 2.0
Берт-большой	340 м	Трансформатор	✅	-	-	2018	?	Apache 2.0
Берт-широко-проводг	340 м	Трансформатор	✅	-	-	2018	?	Apache 2.0
GPT-2-Small	124 м	Трансформатор	-	✅	-	2019	?	Грань
GPT-2-Medium	355M	Трансформатор	-	✅	-	2019	?	Грань
GPT-2-Large	774M	Трансформатор	-	✅	-	2019	?	Грань
GPT-2-XL	1,5B	Трансформатор	-	✅	-	2019	?	Грань
T5-Small?	60 м	Трансформатор	✅	✅	-	2019	?	Apache 2.0
T5-баз?	220 м	Трансформатор	✅	✅	-	2019	?	Apache 2.0
T5-Large?	770 м	Трансформатор	✅	✅	-	2019	?	Apache 2.0
T5-3B?	3B	Трансформатор	✅	✅	-	2019	?	Apache 2.0
T5-11B?	11b	Трансформатор	✅	✅	-	2019	?	Apache 2.0
XLM-Roberta-Large	560 м	Трансформатор	✅	-	-	2019	?	Грань
XLM-Roberta-Base	250 м	Трансформатор	✅	-	-	2019	?	Грань
Роберта-баз	125 м	Трансформатор	✅	-	-	2019	?	Грань
Роберта-Ларж	355M	Трансформатор	✅	-	-	2019	?	Грань
Дистильберт-базой	66м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Дистильберт-базовый	66м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Альберт-баз	12 м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Альберт-широкий	18 м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Альберт-Хларж	60 м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Albert-xxlarge	235 м	Трансформатор	✅	-	-	2019	?	Apache 2.0
Деберта-баз	134M	Трансформатор	✅	-	-	2020	?	Грань
Deberta-Large	350м	Трансформатор	✅	-	-	2020	?	Грань
Deberta-xlarge	750м	Трансформатор	✅	-	-	2020	?	Грань
Электра-ловкий дискриминатор	14 м	Трансформатор	✅	-	-	2020	?	Apache 2.0
Электро-базовый дискриминатор	110 м	Трансформатор	✅	-	-	2020	?	Apache 2.0
Электро-широкий дискриминатор	335M	Трансформатор	✅	-	-	2020	?	Apache 2.0
GPT-neo-125m?	125 м	Трансформатор	-	✅	-	2021	?	Грань
Gpt-neo-1.3b?	1.3b	Трансформатор	-	✅	-	2021	?	Грань
GPT-neo-2,7b?	2.7b	Трансформатор	-	✅	-	2021	?	Грань
GPT-J?	6B	Трансформатор	-	✅	-	2021	?	Apache 2.0
XLM-ROBERTA-XL	3,5B	Трансформатор	✅	-	-	2021	?	Грань
XLM-ROBERTA-XXL	10.7b	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V2-xlarge	900 м	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V2-xxlarge	1,5 м	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V3-Xsmall	22M	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V3-Small	44 м	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V3-Base	86м	Трансформатор	✅	-	-	2021	?	Грань
Deberta-V3-Large	304 м	Трансформатор	✅	-	-	2021	?	Грань
Mdeberta-V3-Base	86м	Трансформатор	✅	-	-	2021	?	Грань
GPT-neox?	20B	Трансформатор	-	✅	-	2022	?	Apache 2.0
UL2?	20B	Трансформатор	✅	✅	-	2022	?	Apache 2.0
Ялм	100B	Трансформатор	-	✅	-	2022	?	Apache 2.0
Pythia-14m?	14 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-70M?	70 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-160M?	160 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-410M?	410м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-1b?	1B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-1.4b?	1.4b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-2,8b?	2.8b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-6.9b?	6,9b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Pythia-12b?	12B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-111m	111 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-256M	256 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-590M	590 м	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-1.3b	1.3b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-2.7b	2.7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-6.7b	6,7B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Cerebras-GPT-13b	13b	Трансформатор	-	✅	-	2023	?	Apache 2.0
BTLM?	3B	Трансформатор	-	✅	-	2023	?	Apache 2.0
PHI-1	1.3b	Трансформатор	-	✅	-	2023	?	Грань
PHI-1.5	1.3b	Трансформатор	-	✅	-	2023	?	Грань
Phi-2	2.7b	Трансформатор	-	✅	-	2023	?	Грань
Redpajama-incite-3b?	2.8b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Redpajama-incite-7b?	6,9B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Облицовка	101b	Трансформатор	-	✅	-	2023	?	Apache 2.0
MPT-1B	1.3b	Трансформатор	-	✅	-	2023	?	Apache 2.0
MPT-7B	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
MPT-7B-8K	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
MPT-30B	30b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Мистраль-7B-V0.1	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Мистраль-7B-V0.2	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
MISTRAL-7B-V0.3	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Сокол-1B	1B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Falcon-7b	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Falcon-40b	40b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Тиниллама	1.1b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Openllama-3b-V1?	3B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Openllama-7b-V1?	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Openllama-13b-V1?	13b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Openllama-3b-V2?	3B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Openllama-7b-V2?	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Decilm-7b	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Янтарь?	7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Солнечный	10.7b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Mixtral-8x7b	46.7b	Трансформатор	-	✅	✅	2023	?	Apache 2.0
OpenMoe-Base-128B	637м	Трансформатор	-	✅	✅	2023	?	Apache 2.0
Мамба-130M	130 м	SSM	-	✅	-	2023	?	Apache 2.0
Мамба-370M	370 м	SSM	-	✅	-	2023	?	Apache 2.0
Мамба-790M	790 м	SSM	-	✅	-	2023	?	Apache 2.0
Мамба-1,4B	1,4 м	SSM	-	✅	-	2023	?	Apache 2.0
Мамба-2,8B	2.8b	SSM	-	✅	-	2023	?	Apache 2.0
Мамба-2,8B-Slimpj	2.8b	SSM	-	✅	-	2023	?	Apache 2.0
Openba	15B	Трансформатор	✅	✅	-	2023	?	Apache 2.0
Yi-6b	6B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Yi-6b-200k	6B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Yi-9b	9B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Yi-9b-200k	9B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Yi-34b-200k	34b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Хулу-8b	8B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Palmyra-3b	3B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Palmyra-Small-128m	128M	Трансформатор	-	✅	-	2023	?	Apache 2.0
Palmyra-Base-5b	5b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Palmyra-Large-20b	20B	Трансформатор	-	✅	-	2023	?	Apache 2.0
Морской-Лив-3B	3B	Трансформатор	-	✅	-	2023	?	Грань
Морской-Лив-7B	7b	Трансформатор	-	✅	-	2023	?	Грань
Plamo-13b	13b	Трансформатор	-	✅	-	2023	?	Apache 2.0
Лиллама	460 м	Трансформатор	-	✅	-	2024	?	Грань
H2O-Danube	1,8B	Трансформатор	-	✅	-	2024	?	Apache 2.0
H2O-Danube2	1,8B	Трансформатор	-	✅	-	2024	?	Apache 2.0
Космо	1,8B	Трансформатор	-	✅	-	2024	?	Apache 2.0
Mobillama-0.5b	0,5B	Трансформатор	-	✅	-	2024	?	Apache 2.0
Mobillama-0.8b	0,8B	Трансформатор	-	✅	-	2024	?	Apache 2.0
Mobillama-1b	1.2b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Olmo-1b?	1B	Трансформатор	-	✅	-	2024	?	Apache 2.0
Olmo-7b?	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Olmo-7b-twin-2t?	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Olmo-1.7-7b?	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Поро	34b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Grok-1	314b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMoe-8b-1.1t	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMoe-8b-1t	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-800B	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-600B	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMOE-8B-400B	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMoe-8b-200b	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
OpenMoe-34B-200b	34b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
Джамба	52b	SSM-трансформатор	-	✅	✅	2024	?	Apache 2.0
Jetmoe	8B	Трансформатор	-	✅	✅	2024	?	Apache 2.0
Мамбаутай	1,6B	SSM	-	✅	-	2024	?	Apache 2.0
Tele-Flm	52b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Арктическая база	480b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
Замба-7B	7b	SSM-трансформатор	-	✅	✅	2024	?	Apache 2.0
Mixtral-8x22b-V0.1	141b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
Гранит-7B-баз	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Чуксин-1,6B-баз?	1,6B	Трансформатор	-	✅	-	2024	?	Грань
Чуксин-1,6B-1M?	1,6B	Трансформатор	-	✅	-	2024	?	Грань
Нео?	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
YI-1.5-6B	6B	Трансформатор	-	✅	-	2024	?	Apache 2.0
YI-1.5-9B	9B	Трансформатор	-	✅	-	2024	?	Apache 2.0
YI-1.5-34B	34b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Гекко-7B	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
QWEN2-0.5b	0,5B	Трансформатор	-	✅	-	2024	?	Apache 2.0
QWEN2-1.5b	1,5B	Трансформатор	-	✅	-	2024	?	Apache 2.0
QWEN2-7B	7b	Трансформатор	-	✅	-	2024	?	Apache 2.0
QWEN2-57B-A14B	57b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
K2?	65b	Трансформатор	-	✅	-	2024	?	Apache 2.0
Pile-T5-баз?	248 м	Трансформатор	✅	✅	-	2024	?	Apache 2.0
Pule-T5-Large?	783M	Трансформатор	✅	✅	-	2024	?	Apache 2.0
Pile-T5-xl?	2.85b	Трансформатор	✅	✅	-	2024	?	Apache 2.0
Smollm-135m?	135 м	Трансформатор	-	✅	-	2024	?	Apache 2.0
Smollm-360M?	360 м	Трансформатор	-	✅	-	2024	?	Apache 2.0
Smollm-1.7b?	1,7B	Трансформатор	-	✅	-	2024	?	Apache 2.0
УХМЫЛКА	42b	Трансформатор	-	✅	✅	2024	?	Грань
Olmoe-1b-7b?	7b	Трансформатор	-	✅	✅	2024	?	Apache 2.0
Zamba2-1.2b	1.2b	SSM-трансформатор	-	✅	-	2024	?	Apache 2.0
Zamba2-2.7b	2.7b	SSM-трансформатор	-	✅	-	2024	?	Apache 2.0
Fox-1-1.6b	1,6B	Трансформатор	-	✅	-	2024	?	Apache 2.0

Ресурсы

Об открытости

• [Пост в блоге] Что означает «открытый»: отличный пост в блоге Джона Шонесси, в котором обсуждаются, как много разных воплощений слова «открыто».
• [Paper] На пути к рамке для открытости в моделях фонда: в этой статье Мозилла и Колумбийский институт глобальной политики собрали более 40 ведущих ученых и практикующих, работающих над открытостью и ИИ, чтобы обсудить высоко обсуждаемые определения и преимущества моделей открытых источников. Среди этой команды Виктор Сторчан, Янн Лекун, Джастин Танни, Натан Ламберт и многие другие.
• [Paper] Переосмысление генеративного AI с открытым исходным кодом: этот документ обследования более 45 генеративных моделей ИИ с использованием основанной на фактических данных структуры, которые отличают 14 измерений открытости, от наборов обучения до научной и технической документации и от лицензирования до доступа к методам.
• [Документ] Риски и возможности генеративного ИИ с открытым исходным кодом: в этом документе анализируются риски и возможности моделей генеративных ИИ с открытым исходным кодом, используя трехступенчатую структуру для развития Gen AI (почти, средняя и долгосрочная), и утверждает, что в целом преимущества генерала AI с открытым исходным кодом перевешивают его риски.

? Цитирование

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}