Исследовательская группа Google недавно выпустила прорывную модель - Transnar, которая умно сочетает в себе архитектуру трансформатора с технологией рассуждений нейронных алгоритмов (NAR), что значительно повышая производительность в задачах сложных алгоритмов. Это инновация не только решает ограничения традиционных трансформаторов в алгоритмических рассуждениях, но также предоставляет совершенно новое решение для обработки структурированных данных.
Традиционные трансформаторы часто сталкиваются с проблемой неспособности эффективно собирать структурированные данные при решении проблем алгоритма, в то время как технология NAR работает хорошо в этом отношении, особенно в возможностях обобщения. Transnar успешно интегрирует возможности обработки текста Transformer с возможностями представления графика NAR, внедряя механизм перекрестного привлечения. Эта комбинация позволяет одновременно обрабатывать описание текста и структуры графика, тем самым показывая беспрецедентные преимущества в задачах алгоритмических выводов.
Стратегия обучения Transnar также уникальна. Во время фазы предварительного обучения модуль NAR обучается независимо и изучает этапы присущей логике и расчетам, выполняя несколько алгоритмических задач. Этот процесс закладывает прочную алгоритмическую основу для модели. На стадии тонкой настройки Transnar получает двойные входы от описания текста и представления графика и использует информацию о встроении узла, предоставленную предварительно обученным модулем NAR для динамической регулировки собственного маркировки, встраиваемого посредством механизмов поперечного привлечения. Этот многоуровневый метод обучения позволяет модели лучше адаптироваться к сложным алгоритмическим задачам.
В фактическом тестировании производительность Transnar намного превышает результативность традиционной модели трансформатора, особенно в возможностях обобщения вне распределения, показывая повышение производительности более чем на 20%. Это достижение не только проверяет мощные возможности модели, но также обеспечивает сильную поддержку будущего применения в более широком диапазоне задач алгоритма.
Ключевые моменты:
⭐ Google запустил модель Transnar, объединив трансформатор с технологией NAR, значительно улучшив возможности рассуждения алгоритма.
⭐ Transnar принимает механизм перекрестного анимации, глубоко интегрирует возможности обработки текста и представления графика и превосходно выполняет сложные задачи алгоритма.
⭐ Многоуровневая стратегия обучения делает Transnar значительно лучше, чем традиционные трансформаторы в алгоритмических задачах, особенно в возможностях обобщения.