Flood Sung, un investigador en el lado oscuro de la luna, publicó recientemente un artículo largo de 10,000 palabras, que reveló las ideas de investigación y desarrollo del modelo K1.5 por primera vez y se reflejó profundamente en las implicaciones técnicas traídas por O1 de OpenAi's O1 modelo. Esta divulgación no solo revela el último progreso del lado oscuro de la luna en el campo de la inteligencia artificial, sino que también proporciona a la industria una valiosa referencia técnica.
Flood Sung mencionó en el artículo que Tim Zhou Xinyu, cofundador del lado oscuro de la luna, verificó la importancia del longitud (pensamiento de la cadena larga). Al usar modelos pequeños para entrenar operaciones de múltiples dígitos y convertir procesos de computación de grano fino en datos de pensamiento de cadena larga para SFT (ajuste supervisado), el equipo logró resultados significativos. Este descubrimiento proporciona una base teórica importante para la posterior optimización del modelo.
Sin embargo, debido a las limitaciones de costos, el lado oscuro de la luna se ha centrado previamente en la optimización del contexto largo (entrada de texto largo). Flood Sung explicó que el contexto largo procesa principalmente entradas, y a través de la tecnología de pre-relleno preventiva y del pastel de luna, el equipo puede controlar mejor los costos y la velocidad. Por el contrario, el cuna largo se centra más en la salida, y aunque es significativo, requiere costos más altos y tiempos de procesamiento más largos, lo que limita su aplicación hasta cierto punto.
Sin embargo, el lanzamiento del modelo Operai O1 ha provocado que el equipo del lado oscuro repense las prioridades de la dirección técnica. Flood Sung enfatizó: "El rendimiento es lo más importante, el costo y la velocidad se optimizarán continuamente con el progreso tecnológico. La clave es lograr el rendimiento innovador primero". -Cot Investigación. Este ajuste estratégico marca un mayor avance para el equipo en el campo de la inteligencia artificial.
La publicación de este artículo de descifrado técnico no solo marca que el lado oscuro de la luna ha comenzado a comparar sistemáticamente el modelo O1 de OpenAI, sino que también realiza una investigación sustancial en los campos relacionados. El largo artículo de Flood Sung proporciona a la industria información técnica en profundidad y proporciona nuevas ideas para futuras direcciones de investigación.
Para los lectores que desean tener una comprensión profunda del proceso de agrietamiento del modelo O1, se puede acceder al artículo de 10,000 palabras de Flood Sung a través del siguiente enlace: descifrar el artículo de 10,000 palabras del proceso de agrietamiento O1 .