El editor de Downcodes se enteró de que Tencent Youtu Lab cooperó con el equipo de investigación de la Universidad Jiao Tong de Shanghai para desarrollar un método innovador de mejora del conocimiento, que trajo cambios revolucionarios a la optimización de modelos grandes. Este método no requiere un ajuste del modelo tradicional, extrae directamente conocimiento de datos de código abierto, simplifica significativamente el proceso de optimización y supera la tecnología de punta (SOTA) en múltiples tareas. Esta tecnología innovadora resuelve eficazmente el problema de la dependencia de los métodos tradicionales de ajuste fino de grandes cantidades de datos anotados y recursos informáticos, y proporciona nuevas posibilidades para la promoción de modelos grandes en aplicaciones prácticas.
Tencent Youtu Lab y el equipo de investigación de la Universidad Jiao Tong de Shanghai lanzaron conjuntamente un método revolucionario de mejora del conocimiento, abriendo un nuevo camino para la optimización de modelos grandes. Esta tecnología innovadora abandona las limitaciones del ajuste de modelos tradicional, extrae conocimiento directamente de datos de código abierto, simplifica enormemente el proceso de optimización del modelo y logra un rendimiento sobresaliente más allá de la tecnología de punta (SOTA) en múltiples tareas.
En los últimos años, aunque los modelos de lenguajes grandes (LLM) han logrado avances significativos en varios campos, todavía enfrentan muchos desafíos en las aplicaciones prácticas. Los métodos tradicionales de ajuste de modelos requieren una gran cantidad de datos anotados y recursos informáticos, lo que a menudo es difícil de lograr para muchas empresas prácticas. Aunque la comunidad de código abierto proporciona una gran cantidad de modelos de ajuste y conjuntos de datos de instrucciones, cómo utilizar eficazmente estos recursos y mejorar las capacidades de las tareas y el rendimiento de generalización del modelo con muestras etiquetadas limitadas siempre ha sido un problema al que se ha enfrentado la industria.
En respuesta a este problema, el equipo de investigación propuso un marco experimental novedoso que se centra en el uso de conocimiento de código abierto para mejorar las capacidades del modelo bajo la condición de datos comerciales reales etiquetados con K-shot. Este marco aprovecha al máximo el valor de muestras limitadas y proporciona mejoras de rendimiento para modelos de lenguaje grandes en tareas direccionales.
Las principales innovaciones de esta investigación incluyen:
Selección eficiente de modelos: maximice el potencial de los modelos existentes en condiciones de datos limitados mediante la evaluación integral de la perplejidad de la inferencia, el rendimiento del modelo y la riqueza del conocimiento.
Optimización de la extracción de conocimiento: diseñó un método para extraer conocimiento relevante de datos de fuente abierta. A través de una estrategia de detección de datos que equilibra la similitud y la diversidad, proporciona información complementaria al modelo y al mismo tiempo reduce el riesgo de sobreajuste.
Sistema de modelo adaptativo: se construye un sistema adaptativo basado en una estructura de modelo experto híbrido para realizar la complementación del conocimiento entre múltiples modelos efectivos y mejorar el rendimiento general.
Durante la fase experimental, el equipo de investigación realizó una evaluación exhaustiva utilizando seis conjuntos de datos de código abierto. Los resultados muestran que este nuevo método supera las líneas de base y otros métodos de última generación en diversas tareas. Al visualizar los patrones de activación de los expertos, el estudio también encontró que la contribución de cada experto al modelo es indispensable, lo que confirma aún más la eficacia del método.
Esta investigación no sólo demuestra el enorme potencial del conocimiento de código abierto en el campo de los modelos grandes, sino que también proporciona nuevas ideas para el desarrollo futuro de la tecnología de inteligencia artificial. Rompe las limitaciones de la optimización de modelos tradicionales y proporciona una solución factible para que empresas e instituciones de investigación mejoren el rendimiento del modelo con recursos limitados.
A medida que esta tecnología continúa mejorándose y promoviéndose, tenemos motivos para creer que desempeñará un papel importante en la actualización inteligente de diversas industrias. Esta cooperación entre Tencent Youtu y la Universidad Jiao Tong de Shanghai no es solo un modelo de cooperación entre la academia y la industria, sino también un paso importante en la promoción de la tecnología de inteligencia artificial a un nivel superior.
Dirección del artículo: https://www.arxiv.org/pdf/2408.15915
El resultado de esta investigación proporciona una nueva idea y una solución factible para la optimización de modelos grandes. Tiene un enorme potencial en aplicaciones prácticas y vale la pena esperar más aplicaciones y desarrollo en el futuro. El editor de Downcodes seguirá prestando atención a los últimos avances en este campo y traerá informes más interesantes a los lectores.