AliceMind
v1.0
该存储库提供了预先训练的编码器模型及其由阿里巴巴的思想（Damo的机器智能）实验室开发的相关优化技术。
Alicemind的家族：
CVPR 2024 ）EMNLP 2023 ）ICML 2023 ）EMNLP 2022 ）Under Review ）NAACL 2021 ）ACL 2021 ）CVPR 2020 VQA Challenge Runner-up ）ACL 2021 ）EMNLP 2020 ）ICLR 2020 ）IJCAI 2022 ）EMNLP 2021 ）AAAI 2022 ） Mplug-Owl （2023年4月27日）：一种新的培训范式，具有用于大型多模式模型的模块化设计。学习视觉知识的同时支持由不同方式组成的多转向对话。观察到的能力，例如多图像相关性和场景文本理解，基于视觉的文档理解。释放与视觉相关的指令评估集Owleval。 mplug-owl：模块化使大型语言模型具有多模型
ChatPlug （2023年4月16日）：一种用于数字人类应用的中国开放式对话系统，该对话系统以统一的Internet-Intiagement格式指导各种对话任务。与其他开放域对话模型不同，这些模型的重点是大规模的预训练和扩大模型大小或对话语料库，我们旨在通过通过Internet agn-augment-aign-augn-aughtiment的指导调整来建立具有多样化技能和良好多任务概括的数字人类的强大而实用的对话系统。聊天式：开放域生成对话系统，具有互联网增强的指令调整数字人
MPLUG （2022年9月1日）：视力理解和产生的大规模预训练模型。 MPLUG是与歧视性和生成目标的大型图像文本对端到端的预训练。它在各种视觉语言下游任务上实现了最新的结果，包括图像捕获，图像文本检索，视觉接地和视觉问题回答。 MPLUG：通过跨模式跳过连接的有效多模式学习（ EMNLP 2022 ）
插件（2022年9月1日）：大规模的中国预培训模型，用于理解和发电。 Plug（27b）是一种大规模的中文预训练模型，用于语言理解和产生。插头的训练是两个阶段，第一阶段是24层结构伯特编码器，第二阶段是24-6层的棕榈编码器。
SDCUP （2021年9月6日）：用于理解表的预训练模型。我们设计一个模式依赖性预训练目标，以将所需的电感偏置强加于学到的表格预训练表示。我们进一步提出了一种架构感知的课程学习方法，以减轻噪声的影响，并以易于匹配的方式从训练前数据中有效学习。与各种基层相比，对Squall和Spider的实验结果证明了我们的训练目标和课程的有效性。 “ SDCUP：示意图依赖性增强了桌子语义解析的课程预培训”（ Under Review ）
Latticebert （2021年3月15日）：我们提出了一种新颖的中文训练范式 - Lattice-Bert，该范围将单词表示与人物的词表示结合在一起，因此可以以多种范围的方式对句子进行建模。 “晶格 - 伯特：利用中国预训练的语言模型中的多族长表示”（ NAACL 2021 ）
Structurallm （2021年3月15日）：用于文档图像理解的预训练模型。我们提出了一种新的预训练方法，即结构构造，以共同利用扫描文档的单元格和布局信息。预先训练的结构可实现新的最新最先进，从而实现了不同类型的下游任务。 “结构性：理解形式的结构预训练”（ ACL 2021 ）
Structvbert （2021年3月15日）：视觉理解的预训练模型。我们通过利用多阶段进行性培训和多任务学习来提出一种新的单流视觉语言预训练方案。 Structvbert获得了2020 VQA挑战亚军奖，SOTA在VQA 2020公共测试标准标准基准（2020年6月）上获得了结果。 “谈话幻灯片”（ CVPR 2020 VQA Challenge Runner-up ）。
VECO V0 （2021年3月15日）：跨语义（X）自然语言理解（X-NLU）和Generation（X-NLG）的预训练模型。 Veco（V0）实现了新的SOTA结果，以Xtreme基准的各种跨语性理解任务，涵盖文本分类，序列标签，问题答案和句子检索。对于跨语性生成任务，它还胜过WMT14英语对德语和英语对英语的所有现有跨语性模型和最先进的变压器变体，并具有高达1〜2 bleu的增长。 “ VECO：可变编码器训练预训练，用于跨语性理解和产生”（ ACL 2021 ）
Palm （2021年3月15日）：自然语言产生的预训练模型（NLG） 。我们提出了一种新型方案，该方案共同预先培训在大型未标记语料库上进行自动编码和自回归语言模型，该模型专门设计用于生成在上下文中的新文本。它实现了新的SOTA会导致几个下游任务。 “棕榈：上下文条件生成的自动编码和自回归语言模型”（ EMNLP 2020 ）
Structbert （2021年3月15日）：自然语言理解的预训练模型（NLU） 。我们通过将语言结构纳入预训练中，将BERT扩展到新的模型structbert。具体来说，我们将训练构造构成两个辅助任务，以充分利用单词和句子的顺序顺序，这些单词和句子分别在单词和句子级别上利用语言结构。 “结构伯特：将语言结构纳入预训练中，以进行深入的语言理解”（ ICLR 2020 ）
EMNLP 2021 ） 对比度修复（2021年12月17日）：对比度修剪（CAP）是培训前和微调范式下的一般修剪框架，旨在维持修剪过程中特定于任务和任务敏捷的知识。 CAP被设计为一般框架，与结构化和非结构化的修剪兼容。与对比学习统一，CAP鼓励修剪模型从预先训练的模型，快照（修剪过程中的中间模型）和微调模型中学习。 “从茂密到稀疏：对比度修剪以进行更好的预训练的语言模型压缩”（ AAAI 2022 ）
PST （2022年5月23日）：参数有效的稀疏训练（PST）是在下游任务中稀疏感知训练期间减少可训练参数的数量。它结合了无数据和数据驱动的标准，以有效，准确地衡量权重的重要性，并研究数据驱动的权重重要性的内在冗余，并得出了两个明显的特征，即低阶和结构性，因此使稀疏的训练资源效率和参数效率变得稀疏。 “大语言模型的参数效率稀疏性”（ IJCAI 2022 ）
Alicemind官方网站：https：//nlp.aliyun.com/portal#/alice
Alicemind Open平台：https：//alicemind.aliyuncs.com
如果您有帮助或使用爱丽丝遇到问题，请提交GitHub问题。
有关更多信息，您可以加入DingTalk上的AliceMind Users Group以与我们联系。 DingTalk组的数量为35738533。
有关其他业务通信，请联系[email protected]
Alicemind在Apache 2.0许可下发布。
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
