AliceMind
v1.0
該存儲庫提供了預先訓練的編碼器模型及其由阿里巴巴的思想（Damo的機器智能）實驗室開發的相關優化技術。
Alicemind的家族：
CVPR 2024 ）EMNLP 2023 ）ICML 2023 ）EMNLP 2022 ）Under Review ）NAACL 2021 ）ACL 2021 ）CVPR 2020 VQA Challenge Runner-up ）ACL 2021 ）EMNLP 2020 ）ICLR 2020 ）IJCAI 2022 ）EMNLP 2021 ）AAAI 2022 ） Mplug-Owl （2023年4月27日）：一種新的培訓範式，具有用於大型多模式模型的模塊化設計。學習視覺知識的同時支持由不同方式組成的多轉向對話。觀察到的能力，例如多圖像相關性和場景文本理解，基於視覺的文檔理解。釋放與視覺相關的指令評估集Owleval。 mplug-owl：模塊化使大型語言模型具有多模型
ChatPlug （2023年4月16日）：一種用於數字人類應用的中國開放式對話系統，該對話系統以統一的Internet-Intiagement格式指導各種對話任務。與其他開放域對話模型不同，這些模型的重點是大規模的預訓練和擴大模型大小或對話語料庫，我們旨在通過通過Internet agn-augment-aign-augn-aughtiment的指導調整來建立具有多樣化技能和良好多任務概括的數字人類的強大而實用的對話系統。聊天式：開放域生成對話系統，具有互聯網增強的指令調整數字人
MPLUG （2022年9月1日）：視力理解和產生的大規模預訓練模型。 MPLUG是與歧視性和生成目標的大型圖像文本對端到端的預訓練。它在各種視覺語言下游任務上實現了最新的結果，包括圖像捕獲，圖像文本檢索，視覺接地和視覺問題回答。 MPLUG：通過跨模式跳過連接的有效多模式學習（ EMNLP 2022 ）
插件（2022年9月1日）：大規模的中國預培訓模型，用於理解和發電。 Plug（27b）是一種大規模的中文預訓練模型，用於語言理解和產生。插頭的訓練是兩個階段，第一階段是24層結構伯特編碼器，第二階段是24-6層的棕櫚編碼器。
SDCUP （2021年9月6日）：用於理解表的預訓練模型。我們設計一個模式依賴性預訓練目標，以將所需的電感偏置強加於學到的表格預訓練表示。我們進一步提出了一種架構感知的課程學習方法，以減輕噪聲的影響，並以易於匹配的方式從訓練前數據中有效學習。與各種基層相比，對Squall和Spider的實驗結果證明了我們的訓練目標和課程的有效性。 “ SDCUP：示意圖依賴性增強了桌子語義解析的課程預培訓”（ Under Review ）
Latticebert （2021年3月15日）：我們提出了一種新穎的中文訓練範式 - Lattice-Bert，該範圍將單詞表示與人物的詞表示結合在一起，因此可以以多種範圍的方式對句子進行建模。 “晶格 - 伯特：利用中國預訓練的語言模型中的多族長表示”（ NAACL 2021 ）
Structurallm （2021年3月15日）：用於文檔圖像理解的預訓練模型。我們提出了一種新的預訓練方法，即結構構造，以共同利用掃描文檔的單元格和佈局信息。預先訓練的結構可實現新的最新最先進，從而實現了不同類型的下游任務。 “結構性：理解形式的結構預訓練”（ ACL 2021 ）
Structvbert （2021年3月15日）：視覺理解的預訓練模型。我們通過利用多階段進行性培訓和多任務學習來提出一種新的單流視覺語言預訓練方案。 Structvbert獲得了2020 VQA挑戰亞軍獎，SOTA在VQA 2020公共測試標準標準基準（2020年6月）上獲得了結果。 “談話幻燈片”（ CVPR 2020 VQA Challenge Runner-up ）。
VECO V0 （2021年3月15日）：跨語義（X）自然語言理解（X-NLU）和Generation（X-NLG）的預訓練模型。 Veco（V0）實現了新的SOTA結果，以Xtreme基準的各種跨語性理解任務，涵蓋文本分類，序列標籤，問題答案和句子檢索。對於跨語性生成任務，它還勝過WMT14英語對德語和英語對英語的所有現有跨語性模型和最先進的變壓器變體，並具有高達1〜2 bleu的增長。 “ VECO：可變編碼器訓練預訓練，用於跨語性理解和產生”（ ACL 2021 ）
Palm （2021年3月15日）：自然語言產生的預訓練模型（NLG） 。我們提出了一種新型方案，該方案共同預先培訓在大型未標記語料庫上進行自動編碼和自回歸語言模型，該模型專門設計用於生成在上下文中的新文本。它實現了新的SOTA會導致幾個下游任務。 “棕櫚：上下文條件生成的自動編碼和自回歸語言模型”（ EMNLP 2020 ）
Structbert （2021年3月15日）：自然語言理解的預訓練模型（NLU） 。我們通過將語言結構納入預訓練中，將BERT擴展到新的模型structbert。具體來說，我們將訓練構造構成兩個輔助任務，以充分利用單詞和句子的順序順序，這些單詞和句子分別在單詞和句子級別上利用語言結構。 “結構伯特：將語言結構納入預訓練中，以進行深入的語言理解”（ ICLR 2020 ）
EMNLP 2021 ） 對比度修復（2021年12月17日）：對比度修剪（CAP）是培訓前和微調範式下的一般修剪框架，旨在維持修剪過程中特定於任務和任務敏捷的知識。 CAP被設計為一般框架，與結構化和非結構化的修剪兼容。與對比學習統一，CAP鼓勵修剪模型從預先訓練的模型，快照（修剪過程中的中間模型）和微調模型中學習。 “從茂密到稀疏：對比度修剪以進行更好的預訓練的語言模型壓縮”（ AAAI 2022 ）
PST （2022年5月23日）：參數有效的稀疏訓練（PST）是在下游任務中稀疏感知訓練期間減少可訓練參數的數量。它結合了無數據和數據驅動的標準，以有效，準確地衡量權重的重要性，並研究數據驅動的權重重要性的內在冗餘，並得出了兩個明顯的特徵，即低階和結構性，因此使稀疏的訓練資源效率和參數效率變得稀疏。 “大語言模型的參數效率稀疏性”（ IJCAI 2022 ）
Alicemind官方網站：https：//nlp.aliyun.com/portal#/alice
Alicemind Open平台：https：//alicemind.aliyuncs.com
如果您有幫助或使用愛麗絲遇到問題，請提交GitHub問題。
有關更多信息，您可以加入DingTalk上的AliceMind Users Group以與我們聯繫。 DingTalk組的數量為35738533。
有關其他業務通信，請聯繫[email protected]
Alicemind在Apache 2.0許可下發布。
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
