A equipe de pesquisa do Google lançou recentemente um modelo inovador - Transnar, que combina inteligentemente a arquitetura de transformadores com a tecnologia de raciocínio do algoritmo neural (NAR), melhorando significativamente o desempenho em tarefas complexas de algoritmo. Essa inovação não apenas resolve as limitações dos transformadores tradicionais no raciocínio algorítmico, mas também fornece uma solução completamente nova para o processamento de dados estruturados.
Os transformadores tradicionais geralmente enfrentam o desafio de não ser capaz de capturar efetivamente dados estruturados ao lidar com problemas de algoritmo, enquanto a tecnologia NAR tem um bom desempenho nesse sentido, especialmente nas capacidades de generalização. O Transnar integra com sucesso os recursos de processamento de texto do Transformer aos recursos de representação gráfica da NAR, introduzindo um mecanismo de atimento cruzado. Essa combinação permite que o modelo processe a descrição do texto e os dados da estrutura do gráfico simultaneamente, mostrando vantagens sem precedentes em tarefas de inferência algorítmica.
A estratégia de treinamento da Transnar também é única. Durante a fase de pré-treinamento, o módulo NAR é treinado de forma independente e aprende as etapas de lógica e cálculo inerentes ao executar várias tarefas algorítmicas. Esse processo estabelece uma base algorítmica sólida para o modelo. No estágio de ajuste fino, o Transnar recebe entradas duplas da descrição do texto e da representação do gráfico e usa as informações de incorporação do nó fornecidas pelo módulo NAR pré-treinado para ajustar dinamicamente sua própria marca incorporada através de mecanismos de atendimento cruzado. Esse método de treinamento em vários níveis permite que o modelo se adapte melhor a tarefas algorítmicas complexas.
Nos testes reais, o desempenho da Transnar excede em muito o do modelo de transformador tradicional, especialmente na capacidade de generalização fora da distribuição, mostrando uma melhoria de desempenho superior a 20%. Essa conquista não apenas verifica os poderosos recursos do modelo, mas também fornece um forte suporte para uma aplicação futura em uma ampla gama de tarefas de algoritmo.
Pontos -chave:
⭐ O Google lançou o modelo Transnar, combinando o transformador com a tecnologia NAR, melhorando significativamente os recursos de raciocínio do algoritmo.
⭐ O Transnar adota um mecanismo de atendimento cruzado, integra profundamente os recursos de processamento de texto e representação de gráficos e tem um desempenho excelentemente em tarefas complexas de algoritmo.
⭐ A estratégia de treinamento em vários níveis torna o Transnar significativamente melhor do que os transformadores tradicionais em tarefas algorítmicas, especialmente nas capacidades de generalização.