AliceMind
v1.0
Dieses Repository bietet vorgeschriebene Encoder-Decoder-Modelle und seine damit verbundenen Optimierungstechniken, die vom Alibaba Mind (Machine Intelligence of Damo) Labor entwickelt wurden.
Die Familie von Alicemind:
CVPR 2024 )EMNLP 2023ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-UWL (27. April 2023): Ein neues Trainingsparadigma mit einem modularisierten Design für große multimodale Sprachmodelle. Lernt visuelles Wissen, während sie mit verschiedenen Modalitäten ein Multiturn-Gespräch unterstützen. Beobachtete Fähigkeiten wie Multi-Image-Korrelation und Szenetextverständnis, Vision-basiertes Dokumentverständnis. Veröffentlichen Sie eine visuell bezogene Befehlsbewertungsset Owleval. Mplug-UW
CHATPLUG (16. April 2023): Ein chinesisches Dialogsystem für digitale menschliche Anwendungen, die in einem einheitlichen Internet-ausgerüsteten Format ein breites Spektrum von Dialogaufgaben unterrichtet. Anders als bei anderen Dialogmodellen mit offener Domänen, die sich auf groß angelegte Voraussetzungen und Skalierung der Modellgröße oder des Dialogkorpus konzentrieren, wollen wir ein leistungsstarkes und praktisches Dialogsystem für digitale Menschen mit vielfältigen Fähigkeiten und einer guten Verallgemeinerung mit mehreren Aufgaben durch Internet-ausgerichtete Unterrichtsstimmung aufbauen. Chatplug: Open-Domain-Generativdialogsystem mit Internet-ausgereiften Anweisungen für digitaler Mensch
MPLUG (1. September 2022): Großes Vorausgebildesmodell für das Verständnis und die Erzeugung von Visionsprachen. MPLUG ist von End-to-End-Bild-Text-Paaren mit diskriminativen und generativen Zielen voreingeschaltet. Es erzielt hochmoderne Ergebnisse bei einer Vielzahl von Sehvermögen nachgelagerten Aufgaben, einschließlich Bildkapitionen, Bildtextabruf, visueller Erdung und visueller Beantwortung. MPLUG: Effektives multi-modales Lernen durch quer-modale Skip-Verbindungen ( EMNLP 2022 )
Plug (1. September 2022): Großes chinesisches vorgebildetes Modell für Verständnis und Generation . Plug (27b) ist ein großes chinesisches Vorausbildungsmodell für Sprachverständnis und Generation. Das Training des Steckers ist zweistufig, die erste Stufe ist ein 24-Schicht-Struktur-Encoder und die zweite Stufe ist ein 24-6-layerer Palm-Encoder-Decoder.
SDCUP (6. September 2021): Vorausgebildete Modelle für das Verständnis von Tabellen . Wir entwerfen ein Schemaabhängigkeitsziel vor dem Training, um die gewünschten induktiven Verzerrungen in die gelernten Darstellungen für die Tabelle vor der Ausbildung aufzunehmen. Wir schlagen ferner einen schema-fähigen Lehrplanlernenansatz vor, um die Auswirkungen von Rauschen zu lindern und effektiv aus den Voraussetzungsdaten auf leicht zu starken Weise zu lernen. Die Experimentergebnisse zu Squall und Spinne zeigen die Wirksamkeit unseres Vorbildungsziels und unseres Lehrplans im Vergleich zu einer Vielzahl von Baselines. "SDCUP: Schema-Abhängigkeit verbesserte Lehrplan vor der Training für die semantische Parsen von Tabellen" ( Under Review )
LatticeBert (15. März 2021): Wir schlagen ein neuartiges Paradigma vor der Ausbildung von Chinesen vor-Gitter-Bert, das ausdrücklich Wortdarstellungen mit denen von Charakteren enthält und somit einen Satz in mehreren Granularität modellieren kann. "Gitter-Bert: Nutzung von Multi-Granularitäts-Darstellungen in chinesischen vorgebrachten Sprachmodellen" ( NAACL 2021 )
Structurallm (15. März 2021): Vorausgebildete Modelle für das Verständnis von Dokumenten . Wir schlagen einen neuen Ansatz vor dem Training vor, Structurallm, um gemeinsam Zell- und Layoutinformationen aus gescannten Dokumenten zu nutzen. Das vorgebreitete Structurallm erzielt neue hochmoderne Ergebnisse in verschiedenen Arten von nachgeschalteten Aufgaben. "Structurallm: Strukturelle Vorverschleppung für das Verständnis" ( ACL 2021 )
Structvbert (15. März 2021): Vorausgebildete Modelle zum Verständnis von Visionsprachen . Wir schlagen ein neues, einstreames visuelles Vorbildungsschema vor, indem wir mehrstufige progressive Voraussetzungen und Multitasking-Lernen nutzen. Structvbert erhielt den VQA Challenge-Preis 2020 und SOTA-Ergebnis bei VQA 2020 Public Test-Standard Benchmark (Juni 2020). "Talk Slides" ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15. März 2021): Vorausgebildete Modelle für das Verständnis des interlenuellen (x) natürlichen Sprachverständnisses (X-NLU) und Generation (X-NLG) . VECO (V0) erzielt die neuen SOTA-Ergebnisse zu verschiedenen übersprachigen Verständnisaufgaben des Xtreme-Benchmarks, die die Textklassifizierung, die Beschriftung von Sequenz, die Beantwortung von Fragen und den Satz Abrufen abdecken. Bei Aufgaben der Kreuzung der Generation übertreffen sie auch alle vorhandenen intersprachigen Modelle und hochmodernen Transformatorvarianten auf WMT14-Datensätzen mit Englisch und German und englisch bis französisch, mit Gewinnen von bis zu 1 ~ 2 Bleu. "VECO: Variabler Encoder-Decoder-Voraberziehung für das interlingliche Verständnis und die Erzeugung" ( ACL 2021 )
Palm (15. März 2021): Vorausgebildete Modelle für die Erzeugung natürlicher Sprache (NLG) . Wir schlagen ein neuartiges Schema vor, das gemeinsam ein autocodierendes und autoregressives Sprachmodell auf einem großen, unbezeichneten Korpus vorbereitet, das speziell für die Erzeugung neuer Text im Kontext entwickelt wurde. Es erreicht neue SOTA -Ergebnisse zu mehreren nachgeschalteten Aufgaben. "Palm: Vorausbildung eines autocodierenden und autoregressiven Sprachmodells für die kontextbezogene Generation" ( EMNLP 2020 )
Structbert (15. März 2021): Vorausgebildete Modelle für das Verständnis der natürlichen Sprache (NLU) . Wir erweitern Bert auf ein neues Modell, Structbert, indem wir Sprachstrukturen in die Vorausbildung einbeziehen. Insbesondere vor dem Training mit zwei Hilfsaufgaben, um die aufeinanderfolgende Reihenfolge von Wörtern und Sätzen optimal zu nutzen, die Sprachstrukturen auf Wort- und Satzebenen nutzen. "Structbert: Einbeziehung von Sprachstrukturen in die Vorausbildung für das Verständnis des tiefen Sprachgebiets" ( ICLR 2020 )
EMNLP 2021 ) Kontrastivesprunieren (17. Dezember 2021): Kontrastives Beschneidung (CAP) ist ein allgemeines Beschneidungsrahmen im Rahmen des Paradigmas vor der Ausbildung und des Feinabstimmung , das darauf abzielt, sowohl aufgabenspezifische als auch aufgaben-agnostische Kenntnisse während des Beschneidens aufrechtzuerhalten. CAP ist als allgemeiner Rahmen konzipiert, das sowohl mit strukturiertem als auch mit unstrukturiertem Beschneidung kompatibel ist. Unified im kontrastiven Lernen ermutigt Cap das beschnittene Modell, aus dem vorgebildeten Modell, den Schnappschüssen (Zwischenmodelle während des Beschneidens) und dem feinstimmigen Modell zu lernen. "Von dicht bis spärlich: kontrastives Beschneiden für eine bessere vorgebrachte Sprachmodellkomprimierung" ( AAAI 2022 )
PST (23. Mai 2022): Parameter-effizientes spärliches Training (PST) besteht darin, die Anzahl der trainierbaren Parameter während des spärlichen Trainings in nachgeschalteten Aufgaben zu verringern. Es kombiniert die datenfreien und datengesteuerten Kriterien, um die Bedeutung von Gewichten effizient und genau zu messen und die intrinsische Redundanz der datengesteuerten Gewichts Bedeutung zu untersuchen und zwei offensichtliche Eigenschaften zu ergeben, dh, dh niedrigem Rang und Strukturheit, die ressourceneffiziente und parametere Effizienz des Sparse-Trainings macht. "Parameter-effizientes Sparsity für große Sprachmodelle Feinabstimmung" ( IJCAI 2022 )
Alicemind Offizielle Website : https://nlp.aliyun.com/portal#/alice
Alicemind Offene Plattform : https://alicemind.aliyuncs.com
Bitte senden Sie ein GitHub -Problem, wenn Sie Hilfe haben oder Probleme mit Alice haben möchten.
Für weitere Informationen können Sie sich der AliceMind Users Group auf Dingtalk anschließen, um uns mit uns zu kontaktieren. Die Anzahl der Dingtalk -Gruppe beträgt 35738533.
Für andere Unternehmenskommunikation wenden Sie sich bitte an [email protected]
Alicemind wird unter der Apache 2.0 -Lizenz veröffentlicht.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
