Récemment, une équipe de recherche du Tubingen Ellis Institute, de l'Université du Maryland et du Lawrence Livermore National Laboratory a réussi à développer avec succès un nouveau modèle linguistique appelé Huginn. Ce modèle adopte une architecture récursive unique qui améliore considérablement sa capacité d'inférence dans des tâches complexes. Contrairement aux modèles de langue traditionnels, Huginn n'a pas besoin de s'appuyer sur une formation spéciale de "chaîne d'inférence", mais peut raisonner indépendamment dans "l'espace latent" du réseau neuronal et produire les résultats. Cette conception innovante ouvre de nouvelles directions pour le développement de modèles linguistiques.
Le processus de formation du modèle HUGINN a été effectué sur le supercalculateur Frontier, et les chercheurs ont utilisé des GPU 4096 AMD pour une formation à grande échelle. Sa méthode de formation est unique et adopte une stratégie du nombre de calculs variables d'itérations. Le système peut déterminer au hasard le nombre de modules de calcul répétés, afin que le modèle puisse mieux s'adapter à la complexité des différentes tâches. Cette méthode de formation flexible jette les bases de la capacité de raisonnement efficace d'Huginn.
Huginn a particulièrement bien performé en mathématiques et en programmation des tâches pendant le test. Dans GSM8K et les références mathématiques, les performances d'Huginn dépassent même les modèles open source avec la taille des paramètres et le volume de données de formation plusieurs fois plus élevés que les siennes. Les chercheurs ont constaté que Huginn était en mesure d'ajuster dynamiquement la profondeur du calcul en fonction de la complexité de la tâche et de développer indépendamment les chaînes d'inférence dans «l'espace potentiel». Une analyse plus approfondie montre que le modèle forme des modèles de calcul complexes dans «l'espace latent», comme la présentation d'une trajectoire circulaire lors de la résolution de problèmes mathématiques. Cette découverte prouve que Huginn a la capacité d'apprendre de manière indépendante et est capable de raisonner de manière nouvelle.
Bien que les performances absolues de Huginn aient toujours une place à l'amélioration, il a déjà montré un potentiel incroyable en tant que modèle de preuve de concept. Les chercheurs pensent que, comme le temps de raisonnement est prolongé et que la capacité est encore améliorée, les grands modèles utilisant l'architecture Huginn devraient devenir une alternative aux modèles d'inférence traditionnels. L'équipe a également souligné que l'approche de Huginn pourrait capturer certains types de raisonnement indescriptibles et prévoit de continuer à étudier en profondeur à l'avenir pour explorer des méthodes de mise à l'échelle telles que l'apprentissage du renforcement pour améliorer davantage les performances du modèle.