Microsoft는 최근 Hugging Face 플랫폼에서 PHI-4라는 작은 언어 모델을 출시했지만 많은 성능 테스트에서도 잘 수행되었습니다 QWEN2.5 및 LLAMA-3.1과 같은 오픈 소스 모델. 이 획기적인 성과는 언어 처리 분야에서 PHI-4의 강력한 잠재력을 보여줍니다.
American Mathematics Competition AMC의 시험에서 PHI-4는 91.8 점으로 눈에 띄었습니다. 또한 MMLU 테스트에서 PHI-4는 84.8의 높은 점수를 얻었으며, 추론 및 수학적 처리에서 뛰어난 능력을 완전히 보여주었습니다. 이러한 업적은 인상적 일뿐 만 아니라 미래의 응용 분야에서 PHI-4의 견고한 토대를 마련했습니다.
PHI-4는 유기 데이터 소스에 의존하는 많은 모델과 달리 다중 에이전트 프롬프트, 교육 반전 및 자기 교정을 포함한 혁신적인 합성 데이터 생성 방법을 채택합니다. 이러한 접근 방식은 복잡한 작업에서 PHI-4의 성능을 크게 향상시켜 추론 및 문제 해결을 다루는 데보다 효율적이고 정확합니다. 이 고유 한 데이터 생성 전략은 PHI-4의 성공을위한 중요한 지원을 제공합니다.
PHI-4는 디코더 전용 변압기 아키텍처를 채택하여 최대 16K의 컨텍스트 길이를 지원하므로 대규모 입력 데이터를 처리하는 데 이상적입니다. 사전 훈련 프로세스 동안 PHI-4는 약 10 조 토큰을 사용하여 합성 데이터와 엄격하게 스크리닝 된 유기 데이터를 결합하여 MMLU 및 HumaneVal과 같은 벤치 마크 테스트에서 우수한 성능을 보장했습니다. 이 효율적인 아키텍처 및 데이터 전략은 PHI-4를 유사한 모델과 차별화시킵니다.
PHI-4의 특징과 장점은 소비자 하드웨어에서 실행할 수있게되며, PHI-4의 추론 기능은 이전 세대와 더 큰 모델을 능가합니다 세대 및 더 큰 모델; 4는 특정 필드의 요구를 충족시키기 위해 다양한 합성 데이터 세트로 미세 조정을 지원합니다. 개발자는 또한 Hugging Face 플랫폼의 자세한 문서 및 API를 통해 PHI-4를 쉽게 통합하여 응용 프로그램 시나리오를 더욱 확장 할 수 있습니다.
기술 혁신 측면에서, PHI-4의 개발은 주로 합성 데이터를 생성하기위한 다중 에이전트와 자체 조정 기법, 거부 샘플링 및 직접 선호도 최적화 (DPO) 및 엄격하게 훈련 된 후 향상 방법의 세 가지 기둥에 주로 의존합니다. 필터링 교육 데이터는 벤치 마크와의 중첩 데이터가 최소화되어 모델의 일반화 능력을 향상시킵니다. 또한 PHI-4는 키 마커 검색 (PTS)을 사용하여 의사 결정 프로세스에서 중요한 노드를 식별하여 복잡한 추론 작업을 처리하는 능력을 최적화합니다. 이러한 기술 혁신은 PHI-4의 성공을위한 견고한 기술 기반을 제공합니다.
PHI-4의 오픈 소스로 개발자의 기대가 마침내 실현되었습니다. 이 모델은 Hugging Face 플랫폼에서 다운로드 할 수있을뿐만 아니라 MIT 라이센스에 따라 상업용 사용을 지원합니다. 이 공개 정책은 많은 개발자와 AI 애호가들의 관심을 끌었으며, 포옹 페이스의 공식 소셜 미디어는 그것을 "역사상 최고의 14B 모델"이라고 부르며 축하했습니다. PHI-4의 오픈 소스는 개발자에게 강력한 도구를 제공 할뿐만 아니라 AI 분야의 새로운 활력을 혁신에 주입합니다.
모델 입구 : https://huggingface.co/microsoft/phi-4
핵심 사항 :
** Microsoft는 소규모 매개 변수 모델 PHI-4를 출시했으며 매개 변수는 140 억에 불과했지만 잘 알려진 많은 모델을 능가했습니다. **
** PHI-4는 여러 성능 테스트, 특히 수학 및 추론에서 잘 수행되었습니다. **
PHI-4는 이제 오픈 소스이며 상업용 사용을 지원하여 많은 개발자의 관심과 사용을 유치합니다.