Recientemente, el equipo de Sky Computing Lab en la Universidad de California, Berkeley, lanzó Sky-T1-32B-Preview, un modelo de inteligencia artificial de inferencia de código abierto que marca el desarrollo de una IA de inferencia más fácil y más barata. El modelo funcionó bien en múltiples puntos de referencia clave, incluso comparables a las versiones anteriores de las versiones de OpenAI de O1.
Los costos de capacitación del Sky-T1 son impresionantes, con solo $ 450, lo que significa que la replicación de capacidades de razonamiento de alto nivel se ha vuelto más asequible y eficiente. Si bien la tarifa de $ 450 puede no sonar baja, es una gran caída en comparación con el costo de capacitación que costó cientos de millones de dólares hace unos años. Con la ayuda de datos de entrenamiento sintético, es decir, datos de capacitación generados por otros modelos, el costo se reduce significativamente. El escritor de la compañía AI lanzó recientemente el Palmyra X004, que se basa casi por completo en datos sintéticos, y el costo de desarrollo es de solo $ 700,000.
A diferencia de la mayoría de los AIS, los modelos de inferencia son capaces de auto-cheque de manera efectiva, lo que los hace más confiables cuando se trata de algunos problemas comunes. Los modelos de inferencia generalmente llevan más tiempo al derivar soluciones, lo que puede tardar de unos segundos, pero en campos como física, ciencia y matemáticas, las ventajas de confiabilidad son significativas.
El equipo de Novasky utilizó otro modelo de inferencia: la previa de la presa QWQ-32B de Alibaba para generar los datos de entrenamiento iniciales de Sky-T1 y "planificó" los datos. más formato operativo. Solo lleva aproximadamente 19 horas entrenar Sky-T1 con 3,2 mil millones de parámetros, utilizando un conjunto de 8 NVIDIA H100GPUS. El número de parámetros está aproximadamente relacionado con la capacidad de resolución de problemas del modelo.
Según el equipo de Novoky, Sky-T1 superó la versión previa temprana de O1 en una colección Math500 de desafíos matemáticos "a nivel de concurso". Además, Sky-T1 ha encontrado más dificultades en LivecodeBench que la versión de vista previa de O1. Sin embargo, Sky-T1 se desempeñó peor que la vista previa de O1 en las pruebas GPQA-Diamond cuando se trata de problemas que involucran física, biología y química.
Cabe señalar que la versión O1 de OpenAI GA es más potente que la versión de vista previa, y se espera que OpenAI lance un modelo de inferencia O3 aún mejor en las próximas semanas. Sin embargo, el equipo de Novoky dijo que Sky-T1 es solo el comienzo de su viaje para desarrollar un modelo de código abierto con capacidades de razonamiento avanzado.
"Mirando hacia el futuro, nos centraremos en desarrollar modelos más eficientes para mantener un rendimiento de inferencia sólido y explorar tecnologías avanzadas que mejoran aún más la eficiencia y la precisión del modelo", escribió el equipo en un blog. "Estén atentos para nuestro progreso en estos emocionantes proyectos".