AliceMind
v1.0
Este repositorio proporciona modelos de codificador codificadores previamente capacitados y sus técnicas de optimización relacionadas desarrolladas por el laboratorio Mind (Machine Intelligence of Damo) de Alibaba.
La familia de Alicemind:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) MPLUG-BOWL (27 de abril de 2023): un nuevo paradigma de entrenamiento con un diseño modularizado para grandes modelos de lenguaje multimodal. Aprende el conocimiento visual mientras admite una conversación múltiple que consiste en diferentes modalidades. Habilidades observadas, como la correlación de múltiples imágenes y la comprensión del texto de la escena, la comprensión de documentos basada en la visión. Libere un conjunto de evaluación de instrucciones relacionado con visuales Owleval. MPLUG-BOWL: la modularización empodera modelos de lenguaje grandes con multimodalidad
ChatPlug (16 de abril de 2023): un sistema de diálogo de dominio abierto chino para aplicaciones humanas digitales que instruyen finetunes en una amplia gama de tareas de diálogo en un formato unificado de Internet augmentado. A diferencia de otros modelos de diálogo de dominio abierto que se centran en el pre-entrenamiento a gran escala y la ampliación del tamaño del modelo o el corpus de diálogo, nuestro objetivo es construir un sistema de diálogo poderoso y práctico para humanos digitales con diversas habilidades y una buena generalización de varias tareas mediante el ajuste de instrucciones augsada a Internet. ChatPlug: sistema de diálogo generativo de dominio abierto con ajuste de instrucciones acomodados por Internet para humanos digitales
MPLUG (1 de septiembre de 2022): Modelo previamente capacitado a gran escala para la comprensión y generación del idioma de la visión. MPLUG es pre-entrenado de extremo a extremo en pares de texto de imagen a gran escala con objetivos discriminativos y generativos. Logra resultados de última generación en una amplia gama de tareas aguas abajo en el idioma de la visión, incluida la capacidad de imagen, la recuperación de texto de imagen, la base visual y la respuesta de preguntas visuales. MPLUG: aprendizaje multimodal efectivo por conexiones de omisión intermodal ( EMNLP 2022 )
Plug (1 de septiembre de 2022): Modelo pre-capacitado chino a gran escala para la comprensión y generación . Plug (27B) es un modelo de pre-entrenamiento chino a gran escala para la comprensión y generación del idioma. El entrenamiento del enchufe es de dos etapas, la primera etapa es un codificador Structbert de 24 capas, y la segunda etapa es un codificador de codificador de palma de 24-6 capas.
SDCUP (6 de septiembre de 2021): modelos previamente capacitados para la comprensión de la tabla . Diseñamos un objetivo de pre-entrenamiento de dependencia del esquema para imponer el sesgo inductivo deseado en las representaciones aprendidas para la capacitación de la tabla. Además, proponemos un enfoque de aprendizaje del plan de estudios consciente del esquema para aliviar el impacto del ruido y aprender de manera efectiva de los datos de pre-entrenamiento de una manera fácil de hacer. Los resultados del experimento en Squall and Spider demuestran la efectividad de nuestro objetivo de pre-entrenamiento y plan de estudios en comparación con una variedad de líneas de base. "SDCUP: pre-entrenamiento del plan de estudios mejorado por dependencia del esquema para el análisis semántico de la tabla" ( Under Review )
Latticebert (15 de marzo de 2021): Proponemos un nuevo paradigma de pre-entrenamiento para chino-Lattice-Bert que incorpora explícitamente representaciones de palabras con las de los caracteres, por lo tanto, puede modelar una oración de una manera multiganularidad. "Lattice-Bert: aprovechando las representaciones de la granularidad múltiple en modelos de idiomas pre-capacitados chinos" ( NAACL 2021 )
StructureLLM (15 de marzo de 2021): modelos previamente capacitados para la comprensión de la imagen de documentos . Proponemos un nuevo enfoque de pre-entrenamiento, StructurAllm, para aprovechar conjuntamente la información de celda y diseño de documentos escaneados. El structureLM de pre-entrenado logra nuevos resultados de última generación en diferentes tipos de tareas aguas abajo. "StructurAllm: pre-entrenamiento estructural para la comprensión de la forma" ( ACL 2021 )
Structvbert (15 de marzo de 2021): modelos previamente capacitados para la comprensión del idioma de la visión . Proponemos un nuevo esquema de pretruación de pretratación visual-lingüística de un solo flujo al aprovechar el aprendizaje previo progresivo de la etapa múltiple y el aprendizaje de tareas múltiples. Structvbert obtuvo el premio VQA Challenge Subcubo-UP y el resultado de SOTA en VQA 2020 Public Test Standard Benchmark (junio de 2020). "Talk Slides" ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15 de marzo de 2021): Modelos previamente capacitados para comprensión del lenguaje natural (x) de forma natural (X-NLU) y generación (X-NLG) . VECO (V0) logra los nuevos resultados de SOTA en varias tareas de comprensión interlingüística del punto de referencia XTreme, que cubre la clasificación de texto, el etiquetado de secuencias, la respuesta a las preguntas y la recuperación de oraciones. Para las tareas de generación interlingüística, también supera a todos los modelos interlingües existentes y variantes de transformadores de última generación en WMT14 conjuntos de datos de traducción de inglés a alemán e inglés a francés, con ganancias de hasta 1 ~ 2 bleu. "VECO: Variable codificador del codificador previo para la comprensión y generación interlingüística" ( ACL 2021 )
Palm (15 de marzo de 2021): Modelos previamente capacitados para la generación del lenguaje natural (NLG) . Proponemos un esquema novedoso que prioriza conjuntamente un modelo de lenguaje automático y autorregresivo en un gran corpus no etiquetado, diseñado específicamente para generar nuevos texto condicionado en contexto. Logra nuevos resultados de SOTA en varias tareas aguas abajo. "Palm: pre-entrenamiento de un modelo de lenguaje automático y autointerpretado para la generación condicionada con contexto" ( EMNLP 2020 )
Structbert (15 de marzo de 2021): Modelos previamente capacitados para la comprensión del lenguaje natural (NLU) . Extendemos BERT a un nuevo modelo, Structbert, incorporando estructuras del lenguaje en la capacitación previa. Específicamente, pre-entrenamos a Structbert con dos tareas auxiliares para aprovechar al máximo el orden secuencial de palabras y oraciones, que aprovechan las estructuras del lenguaje en los niveles de palabras y oraciones, respectivamente. "Structbert: incorporación de estructuras del lenguaje en el entrenamiento previo para la comprensión del lenguaje profundo" ( ICLR 2020 )
EMNLP 2021 ) Pruning contrastive (17 de diciembre de 2021): la poda contrastante (CAP) es un marco general de poda bajo el paradigma de pre-entrenamiento y ajuste fino , cuyo objetivo es mantener el conocimiento tanto específico como de tarea y agnóstico de tareas durante la poda. CAP está diseñado como un marco general, compatible con la poda estructurada y no estructurada. Unificado en aprendizaje contrastante, CAP alienta al modelo podado a aprender del modelo previamente capacitado, las instantáneas (modelos intermedios durante la poda) y el modelo ajustado, respectivamente. "De denso a escaso: poda contrastante para una mejor compresión del modelo de lenguaje previamente capacitado" ( AAAI 2022 )
PST (23 de mayo de 2022): el entrenamiento disperso de los parámetros-eficiente (PST) es reducir el número de parámetros capacitables durante el entrenamiento de escasos en las tareas aguas abajo. Combina los criterios libres de datos y basados en datos para medir de manera eficiente y precisa la importancia de los pesos, e investiga la redundancia intrínseca de la importancia de peso basada en datos y obtiene dos características obvias, es decir, baja rango y estructuración, lo que hace que el recurso de capacitación escasa-eficiente en los recursos y los parámetros de los parámetros. "Escasez de parámetros y eficiencia para modelos de idiomas grandes ajustados" ( IJCAI 2022 )
Sitio web oficial de Alicemind : https://nlp.aliyun.com/portal#/alice
Plataforma abierta Alicemind : https://alicemind.aliyunc.com
Envíe un problema de GitHub si tiene ayuda o tiene problemas con Alice.
Para obtener más información, puede unirse al AliceMind Users Group en Dingtalk para contactarnos. El número del grupo Dingtalk es 35738533.
Para otras comunicaciones comerciales, comuníquese con [email protected]
Alicemind se lanza bajo la licencia Apache 2.0.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
