Recientemente, un equipo de investigación del Instituto Tubingen Ellis, el Laboratorio Nacional de la Universidad de Maryland y Lawrence Livermore desarrolló con éxito un nuevo modelo de idioma llamado Huginn. Este modelo adopta una arquitectura recursiva única que mejora significativamente su capacidad de inferencia en tareas complejas. A diferencia de los modelos de idiomas tradicionales, Huginn no necesita confiar en una capacitación especial de "cadena de inferencias", pero puede razonar independientemente dentro del "espacio latente" de la red neuronal y generar los resultados. Este diseño innovador abre nuevas direcciones para el desarrollo de modelos de idiomas.
El proceso de entrenamiento del modelo Huginn se llevó a cabo en la supercomputadora fronteriza, y los investigadores utilizaron 4096 GPU AMD para capacitación a gran escala. Su método de entrenamiento es único y adopta una estrategia de número de cálculo variable de iteraciones. El sistema puede determinar aleatoriamente el número de módulos de cálculo repetidos, para que el modelo pueda adaptarse mejor a la complejidad de diferentes tareas. Este método de entrenamiento flexible establece la base de la capacidad de razonamiento eficiente de Huginn.
Huginn se desempeñó particularmente bien en las tareas de matemáticas y programación durante la prueba. En los puntos de referencia GSM8K y Math, el rendimiento de Huginn incluso supera los modelos de código abierto con el tamaño de los parámetros y el volumen de datos de entrenamiento varias veces más alto que el suyo. Los investigadores encontraron que Huginn podía ajustar dinámicamente la profundidad de cálculo en función de la complejidad de la tarea y desarrollar de forma independiente las cadenas de inferencia dentro del "espacio potencial". Un análisis posterior muestra que el modelo forma patrones computacionales complejos en el "espacio latente", como presentar una trayectoria circular al resolver problemas matemáticos. Este descubrimiento demuestra que Huginn tiene la capacidad de aprender de forma independiente y es capaz de razonar de manera novedosa.
Si bien el rendimiento absoluto de Huginn todavía tiene margen de mejora, ya ha mostrado un potencial sorprendente como un modelo de prueba de concepto. Los investigadores creen que a medida que se extiende el tiempo de razonamiento y la capacidad se mejora aún más, se espera que los modelos grandes que usen arquitectura Huginn se conviertan en una alternativa a los modelos de inferencia tradicionales. El equipo también enfatizó que el enfoque de Huginn puede capturar algunos tipos indescriptibles de razonamiento y planes para continuar estudiando en profundidad en el futuro para explorar métodos de escala como el aprendizaje de refuerzo para mejorar aún más el rendimiento del modelo.