Flood Sung, chercheur du côté obscur de la lune, a récemment publié un long article de 10 000 mots, qui a révélé pour la première fois les idées de recherche et développement du modèle K1.5 et profondément réfléchies sur les implications techniques apportées par O1 d'Openai modèle. Cette divulgation révèle non seulement les derniers progrès du côté obscur de la lune dans le domaine de l'intelligence artificielle, mais fournit également à l'industrie une référence technique précieuse.
Flood Sung a mentionné dans l'article que l'importance de la longueur longue (pensée à longue chaîne) a en fait été vérifiée par Tim Zhou Xinyu, co-fondateur du côté obscur de la lune il y a plus d'un an. En utilisant de petits modèles pour former des opérations à plusieurs chiffres et convertir les processus informatiques à grain fin en données de réflexion à longue chaîne pour SFT (réglage fin supervisé), l'équipe a obtenu des résultats significatifs. Cette découverte fournit une base théorique importante pour l'optimisation ultérieure du modèle.
Cependant, en raison des limitations des coûts, le côté obscur de la lune s'est précédemment concentré sur l'optimisation du contexte long (entrée de texte longue). Flood Sung a expliqué que le contexte long traite principalement les entrées, et grâce à la technologie de pré-remplissage et de gâteau de lune, l'équipe peut mieux contrôler les coûts et la vitesse. En revanche, Long Cot se concentre davantage sur la sortie, et bien qu'il soit significatif, il nécessite des coûts plus élevés et des délais de traitement plus longs, ce qui limite son application dans une certaine mesure.
Cependant, la publication du modèle Openai O1 a amené l'équipe de Dark Side à repenser les priorités de la direction technique. Flood Sung a souligné: "Les performances sont la chose la plus importante, le coût et la vitesse seront continuellement optimisés avec les progrès technologiques. La clé est de réaliser des performances percées d'abord." -Cot Research. Cet ajustement stratégique marque une nouvelle percée pour l'équipe dans le domaine de l'intelligence artificielle.
La libération de cet article technique de décryptage marque non seulement que le côté obscur de la lune a commencé à comparer systématiquement le modèle O1 d'Openai, mais mène également des recherches substantielles dans des domaines connexes. Le long article de Flood Sung fournit à l'industrie des informations techniques approfondies et fournit de nouvelles idées pour les futures orientations de recherche.
Pour les lecteurs qui souhaitent avoir une compréhension approfondie du processus de craquage du modèle O1, l'article de 10 000 mots de Flood Sung est accessible par le lien suivant: Décrécation de l'article de 10 000 mots du processus de fissuration de l'O1 .