AliceMind
v1.0
이 저장소는 미리 훈련 된 인코더 디코더 모델과 Alibaba 's Mind (Damo의 Machine Intelligence)가 개발 한 관련 최적화 기술을 제공합니다.
Alicemind의 가족 :
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-OWL (2023 년 4 월 27 일) : 대형 멀티 모달 언어 모델을위한 모듈 식 디자인을 갖춘 새로운 교육 패러다임. 다른 양식으로 구성된 다중 회전 대화를 지원하면서 시각적 지식을 배우십시오. 다중 이미지 상관 관계 및 장면 텍스트 이해, 비전 기반 문서 이해와 같은 관찰 된 능력. 시각적으로 관련된 지시 평가 세트 Owleval을 해제하십시오. MPLUG-OWL : 모듈화는 다중 분비로 큰 언어 모델을 강화합니다
Chatplug (2023 년 4 월 16 일) : 통합 된 인터넷-대기 형식의 광범위한 대화 작업을 지시하는 디지털 인간 애플리케이션을위한 중국 오픈 도메인 대화 시스템. 대규모 사전 훈련 및 스케일링 모델 크기 또는 대화 코퍼스에 중점을 둔 다른 개방형 도메인 대화 모델과는 달리, 우리는 인터넷에 대한 지시 조정을 통해 다양한 기술과 우수한 멀티 태스킹 일반화를 가진 디지털 인간을위한 강력하고 실용적인 대화 시스템을 구축하는 것을 목표로합니다. ChatPlug : 디지털 인간을위한 인터넷-구조 지침 튜닝을 갖춘 오픈 도메인 생성 대화 시스템
MPLUG (2022 년 9 월 1 일) : 비전 언어 이해와 세대를 위한 대규모 미리 훈련 된 모델. MPLUG는 대규모 이미지 텍스트 쌍에서 사전 훈련 된 엔드 투 엔드입니다. 이미지 캡션, 이미지 텍스트 검색, 시각적 접지 및 시각적 질문 응답을 포함하여 광범위한 비전 언어 다운 스트림 작업에서 최첨단 결과를 달성합니다. MPLUG : 크로스 모달 스킵 연결에 의한 효과적인 다중 모달 학습 ( EMNLP 2022 )
플러그 (2022 년 9 월 1 일) : 이해 및 세대를 위한 대규모 중국 중국 미리 훈련 된 모델. 플러그 (27b)는 언어 이해와 세대를위한 대규모 중국 사전 훈련 모델입니다. 플러그 훈련은 2 단계이고, 첫 번째 단계는 24 층 구조체 인코더이며, 두 번째 단계는 24-6 층 팜 인코더-디코더입니다.
SDCUP (2021 년 9 월 6 일) : 테이블 이해를 위한 미리 훈련 된 모델. 우리는 테이블 사전 훈련에 대한 학습 된 표현에 원하는 유도 편향을 부과하기 위해 스키마 종속성 사전 훈련 목표를 설계합니다. 우리는 또한 소음의 영향을 완화하고 사전 훈련 데이터에서 효과적으로 쉽게 학습하기위한 스키마 인식 커리큘럼 학습 접근법을 제안합니다. Squall and Spider에 대한 실험 결과는 다양한 기준선과 비교하여 사전 훈련 목표 및 커리큘럼의 효과를 보여줍니다. "SDCUP : 스키마 종속성 테이블 시맨틱 구문 분석에 대한 커리큘럼 사전 훈련"( Under Review )
Latticebert (2021 년 3 월 15 일) : 우리는 중국어에 대한 새로운 사전 훈련 패러다임을 제안합니다. "격자-베르트 : 중국의 미리 훈련 된 언어 모델에서 다중 부문 표현을 활용"( NAACL 2021 )
구조 롤름 (2021 년 3 월 15 일) : 문서 이미지 이해를 위한 미리 훈련 된 모델. 우리는 스캔 된 문서에서 셀과 레이아웃 정보를 공동으로 활용하기 위해 새로운 사전 훈련 접근법 인 structurallm을 제안합니다. 미리 훈련 된 구조 곡선은 새로운 최첨단 결과를 달성하여 다양한 유형의 다운 스트림 작업을 수행합니다. "구조적 : 형태 이해를위한 구조적 사전 훈련"( ACL 2021 )
Structvbert (2021 년 3 월 15 일) : 비전 언어 이해를 위한 미리 훈련 된 모델. 우리는 다단 단계 점진적 예비 사전 훈련 및 멀티 태스킹 학습을 활용하여 새로운 단일 스트림 비주얼 링거 론적 사전 훈련 체계를 제안합니다. Structvbert는 2020 VQA Challenge Runner-Up Award를 수상했으며 VQA 2020 Public Test-Standard Benchmark (2020 년 6 월)에서 SOTA 결과를 얻었습니다. "토크 슬라이드"( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (2021 년 3 월 15 일) : 교차 언어 (X) 자연 언어 이해 (X-NLU) 및 Generation (X-NLG) 에 대한 미리 훈련 된 모델. Veco (V0)는 Xtreme 벤치 마크의 다양한 교차 이해 작업에 대한 새로운 SOTA 결과를 달성하여 텍스트 분류, 시퀀스 라벨링, 질문 답변 및 문장 검색을 다루고 있습니다. 언어 교차 생성 작업의 경우, 최대 1 ~ 2 개의 BLEU의 이익을 얻은 WMT14 영어-독일 및 영어 간 번역 데이터 세트의 모든 기존 교차 모델 및 최첨단 변압기 변압기 변압기를 능가합니다. "Veco : 교차-언어 이해와 세대를위한 가변 인코더 디코더 사전 훈련"( ACL 2021 )
Palm (2021 년 3 월 15 일) : 자연 언어 생성을위한 미리 훈련 된 모델 (NLG) . 우리는 컨텍스트에 조절 된 새로운 텍스트를 생성하도록 특별히 설계된 대규모 표지되지 않은 코퍼스에서자가 인코딩 및자가 회귀 언어 모델을 공동으로 전달하는 새로운 체계를 제안합니다. 새로운 SOTA 결과가 몇 가지 다운 스트림 작업을 수행합니다. "Palm : 상황 조건 세대를위한 자동 인코딩 및자가 회귀 언어 모델 사전 훈련"( EMNLP 2020 )
Structbert (2021 년 3 월 15 일) : 자연어 이해를위한 미리 훈련 된 모델 (NLU) . 언어 구조를 사전 훈련에 통합하여 Bert를 새로운 모델 인 Structbert로 확장합니다. 구체적으로, 우리는 두 가지 보조 작업으로 구조적으로 단어와 문장의 순차적 순서를 최대한 활용하여 단어와 문장 수준에서 각각 언어 구조를 활용합니다. "Structbert : 언어 구조를 깊은 언어 이해를 위해 사전 훈련에 통합"( ICLR 2020 )
EMNLP 2021 ) 대비 처방 (2021 년 12 월 17 일) : 대비 치기 (CAP)는 사전 훈련 및 미세 조정 패러다임 하에서 일반적인 가지 치기 프레임 워크로 , 이는 가지 치기 중에 작업 별 및 작업에 대한 지식을 모두 유지하는 것을 목표로합니다. CAP는 일반적인 프레임 워크로 설계되었으며, 구조화되지 않은 가지 치기와 구조화되지 않은 가지 치기와 호환됩니다. 대조적 인 학습으로 통일 된 CAP는 가지 치기 모델이 미리 훈련 된 모델, 스냅 샷 (가지 치기 중 중간 모델) 및 미세 조정 모델에서 배우도록 권장합니다. “밀도가 높아진 것부터, 더 나은 미리 훈련 된 언어 모델 압축을위한 대조적이지”( AAAI 2022 )
PST (2022 년 5 월 23 일) : 파라미터 효율적인 희소 훈련 (PST)은 다운 스트림 작업에서 드문 인식 교육 중에 훈련 가능한 매개 변수의 수를 줄이는 것입니다. 데이터가없는 및 데이터 중심 기준을 결합하여 가중치의 중요성을 효율적이고 정확하게 측정하고 데이터 중심의 중량 중요성의 본질적인 중복성을 조사하고 두 가지 명백한 특성, 즉 등급 및 구조화를 도출하여 드문 훈련 자원의 효율성 및 매개 변수 효율성을 만듭니다. "큰 언어 모델 미세 조정에 대한 매개 변수 효율적인 희소성"( IJCAI 2022 )
Alicemind 공식 웹 사이트 : https://nlp.aliyun.com/portal#/alice
Alicemind Open 플랫폼 : https://alicemind.aliyuncs.com
Alice를 사용하여 도움이 필요하거나 문제가있는 경우 Github 문제를 제출하십시오.
자세한 내용은 Dingtalk의 AliceMind Users Group 에 가입하여 저희에게 연락하십시오. Dingtalk 그룹의 수는 35738533입니다.
다른 비즈니스 커뮤니케이션은 [email protected]으로 문의하십시오
Alicemind는 Apache 2.0 라이센스에 따라 릴리스됩니다.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
