Kunlun Wanwei cooperó con la Universidad Tecnológica de Nanyang en Singapur y desarrolló con éxito un algoritmo llamado Q*, que puede mejorar significativamente las capacidades de razonamiento de los grandes modelos existentes. Este avance revolucionario permite que los modelos pequeños alcancen o incluso superen las capacidades de razonamiento de los modelos con parámetros docenas o incluso cientos de veces mayores, al tiempo que reducen significativamente la demanda de recursos informáticos. La aparición del algoritmo Q* ha abierto un nuevo capítulo para la aplicación generalizada de la inteligencia artificial, presagiando la llegada de una nueva era de inteligencia eficiente. El resultado de esta investigación se publicó en el artículo "Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning" y proporciona una explicación técnica detallada.
Los investigadores mejoraron sutilmente el rendimiento del modelo de código abierto en tareas de inferencia descomponiendo la trayectoria de inferencia del modelo de lenguaje grande en varios estados y utilizando el algoritmo de búsqueda A* para lograr una planificación general. Al definir la función de costo de ruta y la función de recompensa acumulada, se logró una consideración integral de los rendimientos del estado histórico y los rendimientos futuros esperados, y se lograron mejoras significativas en la precisión en los experimentos, superando algunos modelos bien conocidos. En la actualidad, la investigación de Q* está todavía en su infancia, pero su potencial es enorme. En el futuro, se espera que mejore aún más las capacidades de razonamiento de los modelos nacionales de código abierto y contribuya más al desarrollo de la tecnología de inteligencia artificial.
Específicamente, Q* optimiza el proceso de razonamiento al considerar de manera integral los rendimientos estatales históricos y los rendimientos futuros esperados. Los resultados experimentales muestran que Q* ha logrado importantes mejoras de rendimiento en múltiples conjuntos de datos, lo que proporciona una nueva dirección para el avance de la tecnología de inteligencia artificial.
Actualmente, la investigación sobre Q* está todavía en sus inicios y todavía hay margen de mejora. En el futuro, Kunlun Wanwei continuará realizando investigaciones en profundidad para mejorar las capacidades de razonamiento de los modelos nacionales de código abierto y brindar más posibilidades al desarrollo de tecnología de inteligencia artificial.
Enlace del artículo:
https://arxiv.org/abs/2406.14283
El desarrollo exitoso del algoritmo Q* marca un progreso importante en el campo de la inteligencia artificial y señala la dirección para el desarrollo futuro de la tecnología de inteligencia artificial. Vale la pena esperar sus aplicaciones y avances en más campos.