달의 어두운면에있는 연구원 인 Flood Sung은 최근 10,000 단어의 긴 기사를 발표했으며,이 기사는 K1.5 모델의 연구 개발 아이디어를 처음으로 공개했으며 Openai의 O1이 가져온 기술적 의미에 깊이 반영되었습니다. 모델. 이 공개는 인공 지능 분야에서 달의 어두운면의 최신 진보를 보여줄뿐만 아니라 업계에 귀중한 기술 참조를 제공합니다.
이 기사에서 Long-Cot (Long Chain Thinking)의 중요성은 실제로 1 년 전에 Moon of the Moon의 공동 창립자 인 Tim Zhou Xinyu가 실제로 확인했다는 기사에서 언급했습니다. 소규모 모델을 사용하여 다중 자리 숫자 작업을 훈련시키고 세밀한 컴퓨팅 프로세스를 SFT (감독 된 미세 조정)에 대한 장기 사고 데이터로 변환함으로써 중요한 결과를 얻었습니다. 이 발견은 후속 모델 최적화를위한 중요한 이론적 근거를 제공합니다.
그러나 비용 제한으로 인해 달의 어두운면은 이전에 긴 상황의 최적화 (긴 텍스트 입력)에 초점을 맞추 었습니다. Flood Sung은 긴 맥락이 주로 입력을 처리하고 프리 필드 미리 채무 및 문 케이크 기술을 통해 비용과 속도를 더 잘 제어 할 수 있다고 설명했습니다. 대조적으로, Long-Cot은 출력에 더 중점을두고 있으며, 중요하지만, 더 높은 비용과 더 긴 처리 시간이 필요하므로 적용을 어느 정도 제한합니다.
그러나 OpenAi O1 모델의 출시로 인해 Dark Side 팀은 기술 방향의 우선 순위를 다시 생각하게했습니다. Flood Sung은 다음과 같이 강조했습니다. "성능은 가장 중요한 것입니다. 비용 및 속도는 기술 진보로 지속적으로 최적화 될 것입니다. 핵심은 이러한 이해를 바탕으로 획기적인 성능을 달성하는 것입니다. -코트 연구. 인간에게 더 가까운 자유 사고 능력을 달성하기 위해 모델을 가져 오기 위해 노력했습니다. 이 전략적 조정은 인공 지능 분야의 팀에게 더 큰 돌파구를 표시합니다.
이 기술적 인 해독 기사의 출시는 달의 어두운면이 OpenAI의 O1 모델을 체계적으로 벤치마킹하기 시작했을뿐만 아니라 관련 분야에서 실질적인 연구를 수행한다는 것을 나타냅니다. Flood Sung의 Long Article은 업계에 심층적 인 기술적 통찰력을 제공하고 향후 연구 방향을위한 새로운 아이디어를 제공합니다.
O1 모델의 크래킹 과정을 심도있게 이해하려는 독자의 경우 Flood Sung의 10,000 단어 긴 기사는 다음 링크를 통해 액세스 할 수 있습니다. O1 크래킹 프로세스의 10,000 단어 긴 기사를 해독합니다 .