Kunlun Wanwei cooperou com a Universidade Tecnológica de Nanyang em Cingapura e desenvolveu com sucesso um algoritmo chamado Q*, que pode melhorar significativamente as capacidades de raciocínio dos grandes modelos existentes. Este progresso revolucionário permite que modelos pequenos alcancem ou até superem as capacidades de raciocínio de modelos com parâmetros dezenas ou mesmo centenas de vezes maiores, ao mesmo tempo que reduz significativamente a demanda por recursos computacionais. O surgimento do algoritmo Q* abriu um novo capítulo para a aplicação generalizada da inteligência artificial, anunciando a chegada de uma nova era de inteligência eficiente. O resultado desta pesquisa foi publicado no artigo "Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning" e fornece uma explicação técnica detalhada.
Os pesquisadores melhoraram sutilmente o desempenho do modelo de código aberto em tarefas de inferência, decompondo a trajetória de inferência do modelo de linguagem grande em vários estados e usando o algoritmo de busca A* para alcançar o planejamento geral. Ao definir a função Custo do Caminho e a função Recompensa Acumulada, foi alcançada a consideração abrangente dos retornos históricos do estado e dos retornos futuros esperados, e melhorias significativas na precisão foram alcançadas nos experimentos, superando alguns modelos bem conhecidos. Actualmente, a investigação Q* ainda está na sua infância, mas o seu potencial é enorme. No futuro, espera-se que melhore ainda mais as capacidades de raciocínio dos modelos nacionais de código aberto e contribua mais para o desenvolvimento da tecnologia de inteligência artificial.
Especificamente, Q* otimiza o processo de raciocínio considerando de forma abrangente os retornos históricos do estado e os retornos futuros esperados. Os resultados experimentais mostram que o Q* alcançou melhorias significativas de desempenho em vários conjuntos de dados, o que fornece uma nova direção para o avanço da tecnologia de inteligência artificial.
Atualmente, a investigação sobre Q* ainda está numa fase inicial e ainda há espaço para melhorias. No futuro, Kunlun Wanwei continuará a realizar pesquisas aprofundadas para melhorar as capacidades de raciocínio dos modelos domésticos de código aberto e trazer mais possibilidades para o desenvolvimento de tecnologia de inteligência artificial.
Link do papel:
https://arxiv.org/abs/2406.14283
O desenvolvimento bem-sucedido do algoritmo Q* marca um progresso importante no campo da inteligência artificial e aponta a direção para o desenvolvimento futuro da tecnologia de inteligência artificial. Vale a pena aguardar com expectativa as suas aplicações e avanços em mais campos.