O Flood Sung, um pesquisador do lado sombrio da lua, publicou recentemente um longo artigo de 10.000 palavras, que divulgou as idéias de pesquisa e desenvolvimento do modelo K1.5 pela primeira vez e refletiu profundamente as implicações técnicas trazidas pelo OpenAI O1 modelo. Essa divulgação não apenas revela o mais recente progresso do lado sombrio da lua no campo da inteligência artificial, mas também fornece à indústria uma valiosa referência técnica.
A inundação cantada mencionou no artigo que a importância do longo alcance (pensamento da cadeia longa) foi realmente verificado por Tim Zhou Xinyu, co-fundador do lado sombrio da lua há mais de um ano. Usando modelos pequenos para treinar operações de vários dígitos e converter processos de computação de granulação fina em dados de pensamento de cadeia longa para a SFT (ajuste fino supervisionado), a equipe alcançou resultados significativos. Essa descoberta fornece uma base teórica importante para a otimização subsequente do modelo.
No entanto, devido a limitações de custos, o lado sombrio da lua já havia se concentrado na otimização de um longo contexto (entrada de texto longo). A inundação Sung explicou que o contexto longo processa principalmente as entradas e, através da tecnologia de pré-preenchimento e bola de moo, a equipe pode controlar melhor os custos e a velocidade. Por outro lado, a linha longa se concentra mais na saída e, embora seja significativa, requer custos mais altos e tempos de processamento mais longos, o que limita sua aplicação em certa medida.
No entanto, o lançamento do modelo OpenAI O1 fez com que a equipe do Side Dark repensasse as prioridades da direção técnica. A inundação Sung enfatizou: "O desempenho é a coisa mais importante, o custo e a velocidade serão otimizados continuamente com o progresso tecnológico. A chave é alcançar o desempenho inovador primeiro". -Cot Pesquisa. Esse ajuste estratégico marca um avanço adicional para a equipe no campo da inteligência artificial.
O lançamento deste artigo de descriptografia técnica não apenas marca que o lado sombrio da Lua começou a comparar sistematicamente o modelo O1 do OpenAI, mas também realiza pesquisas substanciais em campos relacionados. O longo artigo da Flood Sung fornece ao setor insights técnicos detalhados e fornece novas idéias para futuras direções de pesquisa.
Para os leitores que desejam ter uma compreensão profunda do processo de rachaduras do modelo O1, o artigo de 10.000 palavras de Flood Sung pode ser acessado através do seguinte link: Descriptografar o artigo de 10.000 palavras do processo de rachaduras de O1 .