Récemment, l'équipe du Sky Computing Lab à l'Université de Californie à Berkeley a publié Sky-T1-32B-Preview, un modèle d'intelligence artificielle d'inférence open source qui marque le développement d'une IA de l'inférence plus facile et moins chère. Le modèle a bien fonctionné dans plusieurs repères clés, même comparables aux versions antérieures des versions OpenAI de O1.
Les coûts de formation du Sky-T1 sont impressionnants, avec seulement 450 $, ce qui signifie que la réplication des capacités de raisonnement de haut niveau est devenue plus abordable et efficace. Bien que les frais de 450 $ puissent ne pas sembler bas, c'est une énorme baisse par rapport au coût de formation qui coûte des centaines de millions de dollars il y a quelques années. À l'aide de données de formation synthétiques, c'est-à-dire les données de formation générées par d'autres modèles, le coût est considérablement réduit. L'écrivain de société AI a récemment publié le Palmyra X004, qui repose presque entièrement sur les données synthétiques, et le coût de développement n'est que de 700 000 $.
Contrairement à la plupart des AIS, les modèles d'inférence sont capables de se procurer efficacement, ce qui les rend plus fiables lorsqu'ils traitent des problèmes courants. Les modèles d'inférence prennent généralement plus de temps lors de la dérivation de solutions, qui peuvent prendre des secondes à quelques minutes, mais dans des domaines tels que la physique, la science et les mathématiques, les avantages de fiabilité sont importants.
L'équipe Novasky a utilisé un autre modèle d'inférence - QWQ-32B-32B d'Alibaba pour générer les données de formation initiales de Sky-T1 et "planifiée" les données. plus de format opérationnel. Il ne faut que 19 heures pour entraîner Sky-T1 avec 3,2 milliards de paramètres, en utilisant un ensemble de 8 Nvidia H100GPUS. Le nombre de paramètres est à peu près lié à la capacité de résolution de problèmes du modèle.
Selon l'équipe Novasky, Sky-T1 a surperformé la version prévisionnelle précoce d'O1 sur une collection MATH500 de défis mathématiques «au niveau du concours». De plus, Sky-T1 a rencontré plus de difficultés dans LivecodeBench que la version Aperçu de l'O1. Cependant, Sky-T1 a permis de faire moins que l'aperçu de l'O1 dans les tests GPQA-Diamond en ce qui concerne les problèmes concernant la physique, la biologie et la chimie.
Il convient de noter que la version GA d'Openai O1 est plus puissante que la version de prévisualisation, et OpenAI devrait publier un modèle d'inférence encore meilleur O3 dans les prochaines semaines. Cependant, l'équipe de Novasky a déclaré que Sky-T1 n'était que le début de leur parcours pour développer un modèle open source avec des capacités de raisonnement avancées.
"Dans l'attente, nous nous concentrerons sur le développement de modèles plus efficaces pour maintenir de solides performances d'inférence et explorer les technologies avancées qui améliorent encore l'efficacité du modèle et la précision", a écrit l'équipe dans un blog. «Restez à l'écoute pour nos progrès sur ces projets passionnants.»