최근 Tencent는 공식적으로 Hunyuan Big Model Series -Hunyuan -T1의 최신 버전을 발표했습니다. 이 모델은 Hunyuan 중형 기반을 기반으로합니다. 훈련 후 대규모 스케일 후, 특히 깊은 사고와 복잡한 문제 해결에서 추론 능력을 크게 향상시킵니다. 올해 2 월 Hunyuan T1-Preview가 출시 된 이후, 사용자는 더 빠르고 깊은 사고 과정을 경험 했으며이 공식 버전의 출시는이 일련의 제품을 추가로 업그레이드했습니다.
Hunyuan-T1의 연구 개발 팀은 업계 최고의 초대형 하이브리드 트랜스 포어머-햄바 MOE 모델 인 최신 Turbos Dock을 채택했습니다. Turbos는 긴 텍스트 추론을 다룰 때 독특한 이점을 보여주고 상황 손실 및 장거리 정보 의존성 문제를 효과적으로 해결합니다. 또한 Mamba 아키텍처는 정보 캡처 기능을 유지하면서 컴퓨팅 리소스 소비를 크게 줄이기 위해 특별히 최적화되었습니다. 공식 데이터에 따르면, 동일한 배포 조건에서 Hunyuan-T1의 디코딩 속도는 두 배나 빠릅니다.
훈련 후 단계에서 팀은 강화 학습 교육을 위해 컴퓨팅 능력의 96.7%를 투자하여 추론 능력을 향상시키고 인간 선호도의 정렬을 최적화하는 데 중점을 두었습니다. 이 팀은 수학, 논리적 추론, 과학 및 코드와 같은 분야를 다루는 많은 세계 과학 문제를 수집하여 모델이 다양한 추론 작업에서 뛰어난 성능을 보여줄 수 있도록했습니다. 코스 학습 방법은 데이터의 어려움을 점차적으로 증가시키기 위해 교육에서 채택되어 모델이 복잡한 추론 작업에 더 잘 대처할 수 있습니다.
경험 입학 : https://llm.hunyuan.tencent.com/?ref=productunt#/chat/hy-t1