Recentemente, uma equipe de pesquisa do Instituto Tubingen Ellis, do Laboratório Nacional da Universidade de Maryland e Lawrence Livermore, desenvolveu com sucesso um novo modelo de idioma chamado Huginn. Este modelo adota uma arquitetura recursiva única que melhora significativamente sua capacidade de inferência em tarefas complexas. Ao contrário dos modelos de idiomas tradicionais, o Huginn não precisa confiar no treinamento especial de "cadeia de inferência", mas pode raciocinar independentemente no "espaço latente" da rede neural e gerar os resultados. Esse design inovador abre novas direções para o desenvolvimento de modelos de idiomas.
O processo de treinamento do modelo Huginn foi realizado no supercomputador de fronteira, e os pesquisadores usaram GPUs 4096 AMD para treinamento em larga escala. Seu método de treinamento é único e adota uma estratégia de número de cálculo variável de iterações. O sistema pode determinar aleatoriamente o número de módulos de cálculo repetidos, para que o modelo possa se adaptar melhor à complexidade de diferentes tarefas. Esse método de treinamento flexível estabelece as bases para a capacidade eficiente de raciocínio da Huginn.
Huginn teve um desempenho particularmente bem nas tarefas de matemática e programação durante o teste. Nos benchmarks GSM8K e Math, o desempenho da Huginn supera os modelos de código aberto com tamanho de parâmetro e volume de dados de treinamento várias vezes mais altos que os seus. Os pesquisadores descobriram que a Huginn foi capaz de ajustar dinamicamente a profundidade da computação com base na complexidade da tarefa e desenvolver independentemente cadeias de inferência no "espaço potencial". Análises adicionais mostram que o modelo forma padrões computacionais complexos no "espaço latente", como apresentar uma trajetória circular ao resolver problemas matemáticos. Essa descoberta prova que a Huginn tem a capacidade de aprender de forma independente e é capaz de raciocinar de maneiras novas.
Embora o desempenho absoluto de Huginn ainda tenha espaço para melhorias, ele já mostrou um potencial incrível como um modelo de prova de conceito. Os pesquisadores acreditam que, à medida que o tempo de raciocínio é estendido e a capacidade é melhorada, os grandes modelos usando a arquitetura Huginn devem se tornar uma alternativa aos modelos de inferência tradicionais. A equipe também enfatizou que a abordagem de Huginn pode capturar alguns tipos indescritíveis de raciocínio e planos para continuar estudando em profundidade no futuro para explorar métodos de escala, como o aprendizado de reforço para melhorar ainda mais o desempenho do modelo.