Recentemente, a Tencent lançou oficialmente a versão mais recente da grande série de modelos Hunyuan - Hunyuan -T1. Este modelo é baseado na base de média escala Hunyuan. Após o pós-treinamento em larga escala, melhora significativamente sua capacidade de raciocínio, especialmente em pensamentos profundos e solução complexa de problemas. Desde o lançamento do Hunyuan T1-Preview em fevereiro deste ano, os usuários experimentaram um processo de pensamento mais rápido e profundo, e o lançamento desta versão oficial marca uma atualização adicional desta série de produtos.
A equipe de pesquisa e desenvolvimento da Hunyuan-T1 adotou o mais recente Dock Turbos, um modelo de MOE de transformador híbrido-transformador-transformador-Mamba MOE, em escala de ultra-grande escala. Os turbos mostram vantagens únicas ao lidar com longa inferência de texto, resolvendo efetivamente os problemas de perda de contexto e dependência de informações de longa distância. Além disso, a arquitetura Mamba também foi especialmente otimizada para reduzir significativamente o consumo de recursos de computação, mantendo os recursos de captura de informações. De acordo com dados oficiais, nas mesmas condições de implantação, a velocidade de decodificação de Hunyuan-T1 é duas vezes mais rápida.
Na fase pós-treinamento, a equipe investiu 96,7% do poder de computação para treinamento de aprendizado de reforço, concentrando-se em melhorar as capacidades de raciocínio e otimizar o alinhamento das preferências humanas. A equipe coletou um grande número de problemas científicos mundiais, cobrindo campos como matemática, raciocínio lógico, ciência e código, para garantir que o modelo mostre excelente desempenho em várias tarefas de raciocínio. O método de aprendizado do curso é adotado no treinamento para aumentar gradualmente a dificuldade dos dados, para que o modelo possa lidar melhor com tarefas complexas de inferência.
Entrada de experiência: https://llm.hunyuan.tencent.com/?ref=producthunt#/chat/hy-t1