AliceMind
v1.0
このリポジトリは、事前に訓練されたエンコーダーデコーダーモデルと、AlibabaのMind（DAMOのMachine Intelligence）Labによって開発された関連する最適化技術を提供します。
Alicemindの家族：
CVPR 2024 ）EMNLP 2023 ）ICML 2023 ）EMNLP 2022 ）Under Review ）NAACL 2021 ）ACL 2021 ）CVPR 2020 VQA Challenge Runner-up ）ACL 2021 ）EMNLP 2020 ）ICLR 2020 ）IJCAI 2022 ）EMNLP 2021 ）AAAI 2022 ） MPLUG-OWL （2023年4月27日）：大規模なマルチモーダル言語モデルのモジュール化された設計を備えた新しいトレーニングパラダイム。さまざまなモダリティで構成されるマルチターン会話をサポートしながら、視覚的知識を学びます。マルチイメージ相関やシーンテキストの理解、ビジョンベースのドキュメント理解などの観察された能力。視覚的に関連する命令評価セットOwlevalをリリースします。 mplug-owl：モジュール化は、マルチモダリティの大規模な言語モデルに力を与えます
ChatPlug （2023年4月16日）：統一されたインターネットを支援した形式で幅広いダイアログタスクでFinetunesを指導するデジタルヒューマンアプリケーション向けの中国のオープンドメインダイアログシステム。モデルサイズまたはダイアログコーパスの大規模な事前トレーニングとスケールアップに焦点を当てた他のオープンドメインダイアログモデルとは異なり、私たちは、インターネットを支援した指導チューニングによる多様なスキルと優れたマルチタスク一般化を備えたデジタルヒューマン向けの強力で実用的なダイアログシステムを構築することを目指しています。チャットプラグ：インターネット編成された指導を備えたオープンドメイン生成対話システムデジタル人間のための調整
MPLUG （2022年9月1日）：ビジョン言語の理解と生成のための大規模な事前訓練モデル。 MPLUGは、識別目標と生成目標の両方を備えた大規模な画像テキストペアで事前に訓練されたエンドツーエンドです。画像キャプション、画像テキストの検索、視覚的接地、視覚的な質問の回答など、幅広いビジョン言語の下流タスクで最新の結果を達成します。 MPLUG：クロスモーダルスキップ接続による効果的なマルチモーダル学習（ EMNLP 2022 ）
プラグ（2022年9月1日）：理解と生成のための大規模な中国の事前訓練モデル。プラグ（27b）は、言語の理解と生成のための大規模な中国の事前訓練モデルです。プラグのトレーニングは2段階で、最初の段階は24層のstructbertエンコーダーで、2番目のステージは24-6層のパームエンコーダーデコーダーです。
SDCUP （2021年9月6日）：テーブル理解のための事前に訓練されたモデル。スキーマ依存性トレーニング前の目的を設計して、テーブルのトレーニングの学習表現に望ましい誘導バイアスを課します。さらに、ノイズの影響を軽減し、トレーニング前のデータから効果的に学習するためのスキーマ認識カリキュラム学習アプローチを提案します。スコールとスパイダーの実験結果は、さまざまなベースラインと比較して、トレーニング前の目標とカリキュラムの有効性を示しています。 「SDCUP：スキーマ依存関係の強化されたカリキュラムテーブルセマンティック解析のための事前トレーニング」（ Under Review ）
latticebert （2021年3月15日）：中国語の新しいトレーニング前パラダイムを提案します。ラティスバートは、単語表現を文字の表現と明示的に組み込み、したがって、多粒度で文をモデル化できます。 「ラティスバート：中国の訓練前の言語モデルにおける多粒度表現の活用」（ NAACL 2021 ）
structurallm （2021年3月15日）：ドキュメントイメージ理解のための事前に訓練されたモデル。スキャンされたドキュメントからセルとレイアウト情報を共同で活用するために、新しいトレーニング前のアプローチであるStructurallmを提案します。事前に訓練されたStructurallmは、さまざまなタイプのダウンストリームタスクで新しい最新の結果を達成します。 「structurallm：フォーム理解のための構造前トレーニング」（ ACL 2021 ）
structvbert （2021年3月15日）：視覚言語理解のための事前に訓練されたモデル。マルチステージのプログレッシブプリトレーニングおよびマルチタスク学習を活用することにより、新しいシングルストリームの視覚的に言語的プリトレーニングスキームを提案します。 StructVbertは2020 VQA Challenge準優勝賞を受賞し、SOTAはVQA 2020パブリックテスト標準ベンチマーク（2020年6月）で結果を得ました。 「トークスライド」（ CVPR 2020 VQA Challenge Runner-up ）。
VECO V0 （2021年3月15日）：横断的（X）自然言語理解（X-NLU）および生成（X-NLG）の事前に訓練されたモデル。 VECO（V0）は、テキスト分類、シーケンスのラベル付け、質問回答、および文の取得をカバーする、Xtremeベンチマークのさまざまな言語的理解タスクに関する新しいSOTA結果を達成します。間違い性の生成タスクの場合、WMT14英語からドイツへの最先端の変圧器バリアントと、最大1〜2ブルーのゲインを持つ、英語からドイツへの翻訳データセットのすべての既存のクロスルーチャモデルと最先端の変圧器バリアントよりも優れています。 「veco：横断的理解と生成のための可変エンコーダーデコーダー事前トレーニング」（ ACL 2021 ）
Palm （2021年3月15日）：自然言語生成のための事前に訓練されたモデル（NLG） 。私たちは、コンテキストに条件付けられた新しいテキストを生成するために特別に設計された、大きな非標識コーパス上の自動エンコードと自己回帰の言語モデルを共同で事前にトレインする新しいスキームを提案します。いくつかの下流タスクで新しいSOTA結果を達成します。 「Palm：コンテキスト条件付きの世代のための自動エンコードと自動回復言語モデルの事前トレーニング」（ EMNLP 2020 ）
structbert （2021年3月15日）：自然言語理解のための事前に訓練されたモデル（NLU） 。言語構造を事前トレーニングに組み込むことにより、Bertを新しいモデルのStructbertに拡張します。具体的には、Structbertを2つの補助タスクで事前に訓練して、単語と文のレベルでそれぞれ言語構造を活用する単語と文の順序を最大限に活用します。 「structbert：言語構造を深い言語理解のために事前トレーニングに組み込む」（ ICLR 2020 ）
EMNLP 2021 ） ContrastivePruning （2021年12月17日）：Contrastive Pruning（CAP）は、トレーニング前および微調整パラダイムの下で一般的な剪定フレームワークであり、剪定中のタスク固有およびタスク診断の両方の知識を維持することを目的としています。 CAPは、一般的なフレームワークとして設計されており、構造化されたプルーニングと非構造化された剪定の両方と互換性があります。対照的な学習において統一されたCAPは、剪定されたモデルが事前に訓練されたモデル、スナップショット（剪定中の中間モデル）、および微調整されたモデルから学習することを奨励します。 「密集から疎で：訓練を受けた事前の言語モデルの圧縮のためのコントラストプルーニング」（ AAAI 2022 ）
PST （2022年5月23日）：パラメーター効率の高いスパーストレーニング（PST）は、下流タスクでのスパースアウェアトレーニング中にトレーニング可能なパラメーターの数を減らすことです。データフリーとデータ駆動型の基準を組み合わせて、重みの重要性を効率的かつ正確に測定し、データ駆動型の重みの重要性の本質的な冗長性を調査し、2つの明白な特性、つまり低格子と構造性を導き出すため、まばらなトレーニングリソース効果とパラメーター効率を高めます。 「大規模な言語モデルのパラメーター効率の高いスパース微調整」（ IJCAI 2022 ）
Alicemind公式ウェブサイト：https：//nlp.aliyun.com/portal#/alice
Alicemind Open Platform ：https：//alicemind.aliyuncs.com
ヘルプが必要な場合、またはアリスを使用して問題がある場合は、GitHubの問題を提出してください。
詳細については、DingTalkのAliceMind Users Groupに参加してお問い合わせください。 DingTalkグループの数は35738533です。
他のビジネスコミュニケーションについては、[email protected]にお問い合わせください
AlicemindはApache 2.0ライセンスの下でリリースされます。
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
