AliceMind
v1.0
Этот репозиторий предоставляет предварительно обученные модели энкодера-декодера и связанные с ними методы оптимизации, разработанные лабораторией Alibaba Mind (Machine Intelligence of Damo).
Семья Алисминда:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) Mplug-Owl (27 апреля 2023 г.): новая тренировочная парадигма с модульной конструкцией для крупных мультимодальных языковых моделей. Учит визуальные знания, поддерживая многократный разговор, состоящий из разных модальностей. Наблюдаемые способности, такие как корреляция с несколькими изображениями и понимание текста сцены, понимание документов на основе зрения. Выпустите визуально связанный с набором оценки инструкций Owleval. Mplug-Owl: модуляризация расширяет возможности крупных языковых моделей с мультимодальностью
Chatplug (16 апреля 2023 г.): китайская система диалога с открытым доменом для цифровых человеческих приложений, которая обучает кончину по широкому диапазону задач диалога в едином формате интернета. В отличие от других моделей диалога с открытым доменом, которые сосредоточены на крупномасштабном предварительном обучении и масштабировании размера модели или диалоговом корпусе, мы стремимся создать мощную и практическую систему диалога для цифрового человека с разнообразными навыками и хорошим обобщением многозадачника с помощью настройки инструкций в Интернете. Chatpplug: система генеративной диалога с открытым доменом с настройкой инструкций для цифрового человека для цифрового человека
MPLUG (1 сентября 2022 г.): крупномасштабная предварительно обученная модель для понимания и поколения на языке зрения. Mplug предварительно обучен сквозной на крупномасштабных парах изображений как с дискриминационными, так и с генеративными целями. Он достигает самых современных результатов по широкому диапазону задач на языке зрения, в том числе в поисках изображений, поиске изображений, визуальном заземлении и ответе на визуальные вопросы. Mplug: эффективное многомодальное обучение с помощью кросс-модальных скип-соединений ( EMNLP 2022 )
Подключение (1 сентября 2022 года): крупномасштабная предварительно обученная китайская модель для понимания и генерации . Plug (27b)-крупномасштабная китайская модель предварительного обучения для понимания языка и поколения. Обучение заглушки составляет двухэтапный, первая стадия представляет собой 24-слойный энкодер Structbert, а второй этап-24-6-слойный ладон-энкодер.
SDCUP (6 сентября 2021 г.): предварительно обученные модели для понимания таблицы . Мы разрабатываем предварительную цель зависимости схемы, чтобы навязывать желаемое индуктивное смещение в ученые представления для предварительного обучения таблицы. Мы также предлагаем подход к обучению учебным программам с учетом схемы, чтобы облегчить влияние шума и эффективно учиться на данных перед обучением в простых в жестких условиях. Эксперимент приводит к Squall и Spider демонстрирует эффективность нашей предварительной цели и учебной программы по сравнению с различными базовыми показателями. «SDCUP: Схема зависит от зависимости для обучения учебной программе для получения таблицы семантического анализа» ( Under Review )
Latticebert (15 марта 2021 года): мы предлагаем новую парадигму предварительной тренировки для китайской-решетчатой берт, которая явно включает в себя представления слов с представлениями символов, таким образом, может моделировать предложение в манере многонародности. «Решетка-берт: использование многонародочных представлений в китайских предварительно обученных языковых моделях» ( NAACL 2021 )
Structurallm (15 марта 2021 года): предварительно обученные модели для понимания документов . Мы предлагаем новый подход предварительного обучения, структуру, чтобы совместно использовать информацию о ячейке и макете из отсканированных документов. Предварительно обученный структуру достигает новых современных результатов в различных типах нижестоящих задач. «Structurallm: структурная предварительная тренировка для понимания формы» ( ACL 2021 )
Structvbert (15 марта 2021 г.): предварительно обученные модели для понимания зрения . Мы предлагаем новую схему предварительного обучения с одним потоком, используя многоэтапное прогрессивное предварительное обучение и многозадачное обучение. Structvbert получил премию VQA Challenge, занявшую премию VQA Challenge, и результат SOTA на VQA 2020 Public Test Standard (июнь 2020 г.). «Слайды разговоров» ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15 марта 2021 г.): предварительно обученные модели для межязычного (x) понимания естественного языка (X-NLU) и поколения (X-NLG) . VECO (V0) достигает новых результатов SOTA по различным межзывенному пониманию задач Xtreme, охватывающего текстовую классификацию, маркировку последовательностей, ответ на вопросы и поиск предложения. Для межсовых задач генерации он также превосходит все существующие кросс-лингальные модели и современные варианты трансформатора на WMT14 от английского на герман и на наборе данных по английскому языку, с увеличением до 1 ~ 2 Bleu. «VECO: переменная предварительная тренировка энкодера-декодера для межязычного понимания и генерации» ( ACL 2021 )
Palm (15 марта 2021 г.): предварительно обученные модели для генерации естественного языка (NLG) . Мы предлагаем новую схему, которая совместно обучает модель автоэинкодирования и авторегрессии на большом немаянном корпусе, специально разработанной для создания нового текста, обусловленного контекстом. Это достигает нового SOTA приводит к нескольким нижестоящим задачам. «Palm: предварительное обучение модели автоэноэкодирования и авторегрессии для поколения контекста» ( EMNLP 2020 )
Structbert (15 марта 2021 г.): предварительно обученные модели для понимания естественного языка (NLU) . Мы распространяем BERT на новую модель, Structbert, включив языковые структуры в предварительное обучение. В частности, мы предварительно продемонстрируем структуру с двумя вспомогательными задачами, чтобы максимально использовать последовательный порядок слов и предложений, которые используют языковые структуры на уровне слова и предложений соответственно. «Structbert: включение языковых структур в предварительное обучение для понимания глубокого языка» ( ICLR 2020 )
EMNLP 2021 ) ContrastivePruning (17 декабря 2021 года): контрастная обрезка (CAP)-это общая рамка обрезки в рамках парадигмы перед тренировкой и тонкой настройкой , которая направлена на поддержание как конкретных, так и агрессивных знаний во время обрезки. Крышка разработан как общая структура, совместимая как структурированная, так и неструктурированная обрезка. Unified На контрастном обучении, CAP поощряет обрезку модели учиться на предварительно обученной модели, снимков (промежуточные модели во время обрезки) и тонко настроенную модель соответственно. «От плотного до разреженного: контрастная обрезка для лучшего предварительно обученного сжатия на языке» ( AAAI 2022 )
PST (23 мая 2022 г.): Параметр-эффективное разреженное обучение (PST) заключается в уменьшении количества обучаемых параметров во время разреженных тренировок по задачам в нижних направлениях. Он объединяет критерии без данных и управляемых данными, чтобы эффективно и точно измеряют важность весов, и исследует внутреннюю избыточность значения веса, основанного на данных, и получает две очевидные характеристики, т. Е., Низкая расточительность и структурирование, которые, следовательно, делают разреженные учебные ресурсные ресурсные и фактические. «Параметр-эффективная разреженность для больших языковых моделей тонкая настройка» ( IJCAI 2022 )
Официальный веб -сайт Alicemind : https://nlp.aliyun.com/portal#/alice
Alicemind Open Platform : https://alicemind.aliyuncs.com
Пожалуйста, отправьте проблему GitHub, если вам нужна помощь, или у вас есть проблемы с использованием Алисы.
Для получения дополнительной информации вы можете присоединиться к AliceMind Users Group на Dingtalk, чтобы связаться с нами. Количество группы Dingtalk составляет 35738533.
Для других бизнес-коммуникаций, пожалуйста, свяжитесь с [email protected]
Alicemind выпускается по лицензии Apache 2.0.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
