AliceMind
v1.0
Esse repositório fornece modelos de codificadores de codificadores pré-treinados e suas técnicas de otimização relacionadas desenvolvidas pelo laboratório da Mente (Machine Intelligence of Damo) do Alibaba.
A família de Alicemind:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-AWL (27 de abril de 2023): Um novo paradigma de treinamento com um design modularizado para grandes modelos de linguagem multimodal. Aprende o conhecimento visual enquanto suporta conversas com várias turnos que consistem em diferentes modalidades. Habilidades observadas, como correlação de várias imagens e entendimento do texto da cena, compreensão de documentos baseados na visão. Libere um conjunto de avaliação de instruções relacionado visualmente relacionado. Mplug-awl: A modularização capacita grandes modelos de linguagem com multimodalidade
ChatPlug (16 de abril de 2023): Um sistema de diálogo em domínio aberto chinês para aplicações humanas digitais que instruem os Finetunes em uma ampla gama de tarefas de diálogo em um formato unificado na Internet agente. Diferente de outros modelos de diálogo em domínio aberto que se concentram em pré-treinamento em larga escala e dimensionar tamanho do modelo ou corpus de diálogo, pretendemos construir um sistema de diálogo poderoso e prático para o ser humano digital, com diversas habilidades e boa generalização multitarefa pelo ajuste de instrução com agitação da Internet. ChatPlug: Sistema de diálogo generativo de domínio aberto com instrução de instrução agente da Internet para Human Digital
Mplug (1 de setembro de 2022): modelo pré-treinado em larga escala para entendimento e geração em linguagem da visão. O MPLUG é pré-treinado de ponta a ponta em pares de texto em larga escala com objetivos discriminativos e generativos. Ele atinge os resultados de última geração em uma ampla gama de tarefas a jusante em linguagem de visão, incluindo captação de imagens, recuperação de imagem de imagem, aterramento visual e resposta visual de perguntas. MPLUG: Aprendizagem multimodal eficaz por conexões de salto cruzadas ( EMNLP 2022 )
Plug (1 de setembro de 2022): modelo pré-treinado em larga escala para compreensão e geração . O Plug (27b) é um modelo de pré-treinamento chinês em larga escala para entendimento e geração de idiomas. O treinamento do plug é de dois estágios, o primeiro estágio é um codificador Strucbert de 24 camadas e o segundo estágio é um codificador de palmeira de 24-6 camadas.
SDCUP (6 de setembro de 2021): Modelos pré-treinados para entendimento da tabela . Projetamos um objetivo de pré-treinamento de dependência de esquema de impor o viés indutivo desejado às representações aprendidas para o pré-treinamento da tabela. Propomos ainda uma abordagem de aprendizado do currículo com reconhecimento de esquema para aliviar o impacto do ruído e aprender efetivamente com os dados pré-treinamento de uma maneira fácil de difícil. Os resultados do experimento em Squall e Spider demonstram a eficácia de nosso objetivo e currículo de pré-treinamento em comparação com uma variedade de linhas de base. "SDCUP: dependência do esquema aprimorou o pré-treinamento do currículo para análise semântica da tabela" ( Under Review )
Latticebert (15 de março de 2021): Propomos um novo paradigma pré-treinamento para chinês-Lattice-Bert, que incorpora explicitamente representações de palavras com as dos personagens, assim pode modelar uma frase de maneira multi-granularidade. "Lattice-Bert: alavancando representações multi-granularidade em modelos de idiomas pré-treinados chineses" ( NAACL 2021 )
Structurallm (15 de março de 2021): Modelos pré-treinados para entendimento de imagem de documentos . Propomos uma nova abordagem de pré-treinamento, Structurallm, para aproveitar em conjunto as informações de células e layout de documentos digitalizados. A estrutura pré-treinada atinge novos resultados de última geração em diferentes tipos de tarefas a jusante. "Structurallm: Pré-treinamento estrutural para compreensão da forma" ( ACL 2021 )
Structvbert (15 de março de 2021): Modelos pré-treinados para o entendimento da linguagem da visão . Propomos um novo esquema de pré-treinamento visual-linguístico de fluxo único, aproveitando o aprendizado progressivo de pré-treinamento e várias tarefas. A Structvbert obteve o prêmio VQA Challenge de 2020 VQA e o resultado do SOTA no benchmark VQA 2020 Test-Standard (junho de 2020). "Talk Slides" ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15 de março de 2021): Modelos pré-treinados para compreensão da linguagem natural cruzada (x) (X-NLU) e geração (X-NLG) . A VECO (V0) atinge os novos resultados do SOTA em várias tarefas de entendimento transversal do benchmark Xtreme, cobrindo a classificação de texto, a marcação de sequência, o atendimento de perguntas e a recuperação de sentenças. Para tarefas de geração transversal, ele também supera todos os modelos cruzados existentes e variantes de transformadores de última geração nos conjuntos de dados de tradução em inglês para alemão e inglês para francês, com ganhos de até 1 ~ 2 bleu. “VECO: pré-treinamento do Encoder-Decoder variável para compreensão e geração cruzada” ( ACL 2021 )
Palm (15 de março de 2021): Modelos pré-treinados para geração de linguagem natural (NLG) . Propomos um novo esquema que pré-treine em conjunto um modelo de linguagem autoegressiva e auto-regressivo em um grande corpus não marcado, projetado especificamente para gerar um novo texto condicionado ao contexto. Ele atinge o novo SOTA resulta em várias tarefas a jusante. "Palm: pré-treinamento de um modelo de idioma de autoencodificação e auto-regressivo para geração condicionada ao contexto" ( EMNLP 2020 )
Strucbert (15 de março de 2021): Modelos pré-treinados para entendimento da linguagem natural (NLU) . Estendemos Bert a um novo modelo, Strucbert, incorporando estruturas de linguagem no pré-treinamento. Especificamente, pré-trepbert com duas tarefas auxiliares para aproveitar ao máximo a ordem seqüencial de palavras e frases, que aproveitam as estruturas da linguagem na palavra e nos níveis de sentença, respectivamente. "Strucbert: incorporando estruturas de linguagem no pré-treinamento para compreensão profunda da linguagem" ( ICLR 2020 )
EMNLP 2021 ) Contraste-Puning (17 de dezembro de 2021): A poda contrastiva (CAP) é uma estrutura geral de poda sob o paradigma pré-treinamento e ajuste fino , que visa manter o conhecimento específico da tarefa e agnóstico durante a poda. O CAP é projetado como uma estrutura geral, compatível com a poda estruturada e não estruturada. Unificado em aprendizado contrastante, o CAP incentiva o modelo podado a aprender com o modelo pré-treinado, os instantâneos (modelos intermediários durante a poda) e o modelo de ajuste fino, respectivamente. “De denso a esparso: poda contrastiva para melhor compressão do modelo de idioma pré-treinado" ( AAAI 2022 )
PST (23 de maio de 2022): O treinamento esparso eficiente em parâmetro (PST) é reduzir o número de parâmetros treináveis durante o treinamento escasso e consciente em tarefas a jusante. Combina os critérios livres de dados e orientados a dados para medir de maneira eficiente e precisão a importância dos pesos e investiga a redundância intrínseca da importância do peso orientada por dados e derivam duas características óbvias, ou seja, baixa classificação e estruturação, o que torna o treinamento espacial de treinamento eficiente e parâmetro eficientes. “Esparsidade com eficiência de parâmetro para grandes modelos de linguagem fino” ( IJCAI 2022 )
Site oficial da Alicemind : https://nlp.aliyun.com/portal#/alice
Alicemind Plataforma aberta : https://alicemind.aliyuncs.com
Envie um problema do GitHub se quiser ajuda ou tiver problemas usando Alice.
Para obter mais informações, você pode ingressar no AliceMind Users Group no DingTalk para entrar em contato conosco. O número do grupo DingTalk é 35738533.
Para outras comunicações comerciais, entre em contato com [email protected]
Alicemind é liberado sob a licença Apache 2.0.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
