open language models 다운로드 - open language models 소스 코드 다운로드

open language models

AI 소스 코드

1.0.0

다운로드

오픈어 모델 목록

? 소개

이것은 MIT, Apache 2.0 또는 기타 유사한 라이센스가 포함 된 허가 된 라이센스가있는 언어 모델 목록입니다. 우리는 여기에 언어 모델이라는 용어를 광범위하게 사용하여 자동 회귀 모델뿐만 아니라 MLM과 같은 다양한 목표로 훈련 된 모델도 포함하고 있습니다.

이 작업은 주로 Stella Biderman의 Generative AI 디렉토리와 Foundation Model Development Cheatsheet에서 영감을 얻었습니다. 그러나이 두 가지 매우 포괄적 인 출처와 달리이 작업은 빠르고 집중된 참조입니다.

? : 모델 + 데이터 + 코드
: 모델 + 데이터
⚡ : 모델 + 코드

중요한

이것은 여전히 진행중인 작업입니다. 기부금, 수정 및 피드백은 매우 환영합니다!

? 모델

모델	매개 변수	건축학	인코더	디코더	모	년도	포옹 얼굴	특허
GPT-1	120m	변신 로봇	-	✅	-	2018	?	MIT
버트베이스	110m	변신 로봇	✅	-	-	2018	?	아파치 2.0
베르트-베이스에 배치	110m	변신 로봇	✅	-	-	2018	?	아파치 2.0
베르트-래지	340m	변신 로봇	✅	-	-	2018	?	아파치 2.0
Bert-large-incased	340m	변신 로봇	✅	-	-	2018	?	아파치 2.0
gpt-2-small	124m	변신 로봇	-	✅	-	2019	?	MIT
GPT-2- 메드	355m	변신 로봇	-	✅	-	2019	?	MIT
GPT-2-LARGE	774m	변신 로봇	-	✅	-	2019	?	MIT
GPT-2-XL	1.5b	변신 로봇	-	✅	-	2019	?	MIT
T5-Small?	60m	변신 로봇	✅	✅	-	2019	?	아파치 2.0
T5-베이스?	220m	변신 로봇	✅	✅	-	2019	?	아파치 2.0
T5-LARGE?	770m	변신 로봇	✅	✅	-	2019	?	아파치 2.0
T5-3B?	3B	변신 로봇	✅	✅	-	2019	?	아파치 2.0
T5-11B?	11b	변신 로봇	✅	✅	-	2019	?	아파치 2.0
XLM-ROBERTA-LARGE	560m	변신 로봇	✅	-	-	2019	?	MIT
XLM-ROBERTA-BASE	250m	변신 로봇	✅	-	-	2019	?	MIT
Roberta-Base	125m	변신 로봇	✅	-	-	2019	?	MIT
Roberta-Large	355m	변신 로봇	✅	-	-	2019	?	MIT
Distilbert-Base-Cased	66m	변신 로봇	✅	-	-	2019	?	아파치 2.0
Distilbert-base-incased	66m	변신 로봇	✅	-	-	2019	?	아파치 2.0
앨버트베이스	12m	변신 로봇	✅	-	-	2019	?	아파치 2.0
앨버트-레이지	18m	변신 로봇	✅	-	-	2019	?	아파치 2.0
Albert-Xlarge	60m	변신 로봇	✅	-	-	2019	?	아파치 2.0
앨버트 -xxlarge	235m	변신 로봇	✅	-	-	2019	?	아파치 2.0
디버타베이스	134m	변신 로봇	✅	-	-	2020	?	MIT
디버타-라지	350m	변신 로봇	✅	-	-	2020	?	MIT
Deberta-Xlarge	750m	변신 로봇	✅	-	-	2020	?	MIT
전자-매소-범죄자	14m	변신 로봇	✅	-	-	2020	?	아파치 2.0
전자-염기-범죄자	110m	변신 로봇	✅	-	-	2020	?	아파치 2.0
전자-래지-범죄자	335m	변신 로봇	✅	-	-	2020	?	아파치 2.0
gpt-neo-125m?	125m	변신 로봇	-	✅	-	2021	?	MIT
gpt-neo-1.3b?	1.3b	변신 로봇	-	✅	-	2021	?	MIT
gpt-neo-2.7b?	2.7b	변신 로봇	-	✅	-	2021	?	MIT
GPT-J?	6b	변신 로봇	-	✅	-	2021	?	아파치 2.0
XLM-ROBERTA-XL	3.5b	변신 로봇	✅	-	-	2021	?	MIT
XLM-ROBERTA-XXL	10.7b	변신 로봇	✅	-	-	2021	?	MIT
Deberta-V2-Xlarge	900m	변신 로봇	✅	-	-	2021	?	MIT
디버타 -V2-XXLARGE	1.5m	변신 로봇	✅	-	-	2021	?	MIT
디버타 -V3-XSMALL	22m	변신 로봇	✅	-	-	2021	?	MIT
Deberta-v3 Small	44m	변신 로봇	✅	-	-	2021	?	MIT
Deberta-v3-base	86m	변신 로봇	✅	-	-	2021	?	MIT
Deberta-v3-large	304m	변신 로봇	✅	-	-	2021	?	MIT
Mdeberta-v3-base	86m	변신 로봇	✅	-	-	2021	?	MIT
gpt-neox?	20b	변신 로봇	-	✅	-	2022	?	아파치 2.0
UL2?	20b	변신 로봇	✅	✅	-	2022	?	아파치 2.0
얄름	100b	변신 로봇	-	✅	-	2022	?	아파치 2.0
pythia-14m?	14m	변신 로봇	-	✅	-	2023	?	아파치 2.0
pythia-70m?	70m	변신 로봇	-	✅	-	2023	?	아파치 2.0
pythia-160m?	160m	변신 로봇	-	✅	-	2023	?	아파치 2.0
pythia-410m?	410m	변신 로봇	-	✅	-	2023	?	아파치 2.0
pythia-1b?	1B	변신 로봇	-	✅	-	2023	?	아파치 2.0
Pythia-1.4b?	1.4b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Pythia-2.8b?	2.8b	변신 로봇	-	✅	-	2023	?	아파치 2.0
피티아 -6.9b?	6.9b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Pythia-12B?	12b	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-111M	111m	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-256M	256m	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-590m	590m	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-1.3B	1.3b	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-2.7b	2.7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-6.7b	6.7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
뇌 GPT-13B	13b	변신 로봇	-	✅	-	2023	?	아파치 2.0
BTLM?	3B	변신 로봇	-	✅	-	2023	?	아파치 2.0
PHI-1	1.3b	변신 로봇	-	✅	-	2023	?	MIT
PHI-1.5	1.3b	변신 로봇	-	✅	-	2023	?	MIT
PHI-2	2.7b	변신 로봇	-	✅	-	2023	?	MIT
레드 파자마-성인 -3B?	2.8b	변신 로봇	-	✅	-	2023	?	아파치 2.0
레드 파자마-유인 -7b?	6.9b	변신 로봇	-	✅	-	2023	?	아파치 2.0
FLM	101b	변신 로봇	-	✅	-	2023	?	아파치 2.0
MPT-1B	1.3b	변신 로봇	-	✅	-	2023	?	아파치 2.0
MPT-7B	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
MPT-7B-8K	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
MPT-30B	30b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Mistral-7B-V0.1	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Mistral-7B-V0.2	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Mistral-7B-V0.3	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔콘 -1b	1B	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔콘 -7b	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔콘 -40b	40b	변신 로봇	-	✅	-	2023	?	아파치 2.0
작은 일마마	1.1b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Openllama-3B-V1?	3B	변신 로봇	-	✅	-	2023	?	아파치 2.0
Openllama-7B-V1?	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Openllama-13B-V1?	13b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Openllama-3B-V2?	3B	변신 로봇	-	✅	-	2023	?	아파치 2.0
Openllama-7B-V2?	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
데실 -7b	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
호박색?	7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
태양	10.7b	변신 로봇	-	✅	-	2023	?	아파치 2.0
믹스 트랄 -8x7b	46.7b	변신 로봇	-	✅	✅	2023	?	아파치 2.0
OpenMoe-Base-128B	637m	변신 로봇	-	✅	✅	2023	?	아파치 2.0
맘바 -130m	130m	SSM	-	✅	-	2023	?	아파치 2.0
맘바 -370m	370m	SSM	-	✅	-	2023	?	아파치 2.0
맘바 -790m	790m	SSM	-	✅	-	2023	?	아파치 2.0
맘바 -1.4b	1.4m	SSM	-	✅	-	2023	?	아파치 2.0
맘바 -2.8b	2.8b	SSM	-	✅	-	2023	?	아파치 2.0
Mamba-2.8b-slimpj	2.8b	SSM	-	✅	-	2023	?	아파치 2.0
오픈 바	15b	변신 로봇	✅	✅	-	2023	?	아파치 2.0
Yi-6B	6b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Yi-6B-200K	6b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Yi-9B	9b	변신 로봇	-	✅	-	2023	?	아파치 2.0
YI-9B-200K	9b	변신 로봇	-	✅	-	2023	?	아파치 2.0
YI-34B-200K	34b	변신 로봇	-	✅	-	2023	?	아파치 2.0
주목증 -8b	8b	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔미라 -3b	3B	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔미라 스마일 -128m	128m	변신 로봇	-	✅	-	2023	?	아파치 2.0
팔미라베이스 -5B	5b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Palmyra-Large-20B	20b	변신 로봇	-	✅	-	2023	?	아파치 2.0
Sea-lion-3b	3B	변신 로봇	-	✅	-	2023	?	MIT
Sea-lion-7b	7b	변신 로봇	-	✅	-	2023	?	MIT
플라모 -13b	13b	변신 로봇	-	✅	-	2023	?	아파치 2.0
리텔라마	460m	변신 로봇	-	✅	-	2024	?	MIT
H2O-Danube	1.8b	변신 로봇	-	✅	-	2024	?	아파치 2.0
H2O-Danube2	1.8b	변신 로봇	-	✅	-	2024	?	아파치 2.0
코스모	1.8b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Mobillama-0.5b	0.5b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Mobillama-0.8b	0.8b	변신 로봇	-	✅	-	2024	?	아파치 2.0
mobillama-1b	1.2b	변신 로봇	-	✅	-	2024	?	아파치 2.0
OLMO-1B?	1B	변신 로봇	-	✅	-	2024	?	아파치 2.0
olmo-7b?	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
olmo-7b-twin-2t?	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
OLMO-1.7-7B?	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
포로	34b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Grok-1	314b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-1.1T	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-1T	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-800B	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-600B	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-400B	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-8B-200B	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
OpenMoe-34B-200B	34b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
잠바	52b	SSM-Transformer	-	✅	✅	2024	?	아파치 2.0
제트 모에	8b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
맘바 우타이	1.6b	SSM	-	✅	-	2024	?	아파치 2.0
Tele-Flm	52b	변신 로봇	-	✅	-	2024	?	아파치 2.0
북극베이스	480b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
잠바 -7b	7b	SSM-Transformer	-	✅	✅	2024	?	아파치 2.0
Mixtral-8x22b-v0.1	141b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
화강암 -7B-베이스	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
chuxin-1.6B-베이스?	1.6b	변신 로봇	-	✅	-	2024	?	MIT
chuxin-1.6b-1m?	1.6b	변신 로봇	-	✅	-	2024	?	MIT
네오?	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
YI-1.5-6B	6b	변신 로봇	-	✅	-	2024	?	아파치 2.0
YI-1.5-9B	9b	변신 로봇	-	✅	-	2024	?	아파치 2.0
YI-1.5-34B	34b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Gecko-7b	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Qwen2-0.5b	0.5b	변신 로봇	-	✅	-	2024	?	아파치 2.0
Qwen2-1.5b	1.5b	변신 로봇	-	✅	-	2024	?	아파치 2.0
QWEN2-7B	7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
QWEN2-57B-A14B	57b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
K2?	65b	변신 로봇	-	✅	-	2024	?	아파치 2.0
파일 -T5-베이스?	248m	변신 로봇	✅	✅	-	2024	?	아파치 2.0
파일 -T5-LARGE?	783m	변신 로봇	✅	✅	-	2024	?	아파치 2.0
파일 -T5-XL?	2.85b	변신 로봇	✅	✅	-	2024	?	아파치 2.0
smollm-135m?	135m	변신 로봇	-	✅	-	2024	?	아파치 2.0
smollm-360m?	360m	변신 로봇	-	✅	-	2024	?	아파치 2.0
smollm-1.7b?	1.7b	변신 로봇	-	✅	-	2024	?	아파치 2.0
이를 드러내고 웃다	42B	변신 로봇	-	✅	✅	2024	?	MIT
Olmoe-1B-7B?	7b	변신 로봇	-	✅	✅	2024	?	아파치 2.0
Zamba2-1.2b	1.2b	SSM-Transformer	-	✅	-	2024	?	아파치 2.0
Zamba2-2.7b	2.7b	SSM-Transformer	-	✅	-	2024	?	아파치 2.0
Fox-1-1.6b	1.6b	변신 로봇	-	✅	-	2024	?	아파치 2.0

자원

개방성에 대해

[블로그 게시물] "Open"의 의미 : John Shaughnessy의 훌륭한 블로그 게시물은 "Open"이라는 단어의 여러 가지 화신을 논의합니다.
[논문] 기초 모델의 개방성 프레임 워크를 향해 :이 논문에서 Mozilla와 Columbia Institute of Global Politics는 개방성 및 AI를 연구하기 위해 열린 소싱 재단 모델의 고도로 논쟁의 여지가있는 정의와 이점을 논의하기 위해 40 개 이상의 주요 학자 및 실무자를 모았습니다. 이 팀 중에는 Victor Storchan, Yann Lecun, Justine Tunney, Nathan Lambert 등이 있습니다.
[논문] 오픈 소스 생성 AI :이 백서는 훈련 데이터 세트에서 과학 및 기술 문서, 라이센스에 이르기까지 액세스 방법에 이르기까지 14 차원의 개방성을 구별하는 증거 기반 프레임 워크를 사용하여 45 개 이상의 생성 AI 모델을 조사합니다.
[논문] 오픈 소스 생성 AI의 위험과 기회 :이 백서는 Gen AI 개발을위한 3 단계 프레임 워크 (근처, 중간 및 장기)를 사용하여 오픈 소스 생성 AI 모델의 위험과 기회를 분석하고 전체적으로 오픈 소스 Gen AI의 이점이 위험을 능가한다고 주장합니다.

? 소환

 @misc { hamdy2024openlmlist ,
  title = { The Open Language Models List } ,
  author = { Mohammed Hamdy } ,
  url = { https://github.com/mmhamdy/open-language-models } ,
  year = { 2024 } ,
}