HPT

HPT- 오픈 멀티 모달 대형 언어 모델

HPT (Hyper-exprained Transformers)는 Hypergai의 새로운 멀티 모달 LLM 프레임 워크이며 텍스트 및 시각적 입력을 모두 이해할 수있는 비전 언어 모델에 대해 교육을 받았습니다. HPT는 다양한 멀티 모달 LLM 벤치 마크에서 최첨단 모델로 경쟁력있는 결과를 얻었습니다. 이 저장소에는 다른 벤치 마크에서 HPT의 평가 결과를 재현하기위한 추론 코드의 오픈 소스 구현이 포함되어 있습니다.

풀어 주다

• [6/06] Edge 장치에 맞게 조정 된 최신 오픈 소스 모델 HPT 1.5 Edge 릴리스. 크기 (<5b)에도 불구하고 Edge는 매우 효율적이면서 인상적인 기능을 보여줍니다. HPT 1.5 Edge는 [Huggingface Repository]에서 공개적으로 제공됩니다. 자세한 내용은 [기술 블로그 게시물]를 읽으십시오.
• [5/03] HPT 1.5 Air , LLAMA 3을 갖춘 최고의 오픈 소스 8B 멀티 모달 LLM. 메타 라마 3으로 제작 된 Hyper Parible HPT 1.5 에어 팩은 실제 이해와 복잡한 추론에 펀치를냅니다. HPT Air 1.5는 광범위한 도전적인 벤치 마크 (MMMU, Pope, Seed-I 등)에서 <10B 모델 중 최상의 결과를 얻습니다. HPT 1.5 Air는 [Huggingface Repository]에서 공개적으로 제공됩니다. 자세한 내용은 [기술 블로그 게시물]를 읽으십시오.
• [3/16] HPT 1.0 공기 가 나왔는데, 광범위한 비전 및 언어 작업을 해결할 수있는 비용 효율적인 솔루션으로 가장 효율적인 모델입니다. HPT 1.0 Air는 공개적으로 이용 가능하며 도전적인 MMMU 벤치 마크에서 유사하거나 작은 크기의 모든 오픈 소스 멀티 모달 LLM 모델 중 최첨단 결과를 달성합니다. 자세한 내용은 [기술 블로그 게시물] 및 [Huggingface Repository]를 읽으십시오.

Edge 장치에 맞게 조정 된 최신 Open-Sources 모델로 HPT 1.5 Edge를 출시합니다. 크기 (<5b)에도 불구하고 Edge는 매우 효율적이면서 인상적인 기능을 보여줍니다. 우리는 Apache 2.0 라이센스에 따라 Huggingf

목차

• 모델 성취의 개요
• 빠른 시작
  • 설치
  • 모델을 준비하십시오
  • 데모
• 평가
• 벤치 마크
• 사용 된 사전 모델
• 면책 조항 및 책임있는 용도
• 저희에게 연락하십시오
• 특허
• 감사의 말

모델 성취의 개요

빠른 시작

설치

 pip install -r requirements.txt
pip install -e .

모델을 준비하십시오

HF에서 [로컬 경로]로 모델 가중치를 다운로드하고 모델 구성 파일에서 global_model_path [로컬 경로]로 설정할 수 있습니다.

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

기본 설정과 다른 구성 파일에서 다른 전략을 설정할 수도 있습니다.

데모

구성 파일을 설정 한 후 빠른 시험을 위해 모델 데모를 시작하십시오.

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

예:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

평가

평가 모델을 시작하십시오.

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

HPT 1.5 에지의 예 :

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

벤치 마크

HPT 1.5 에지의 경우

• 제시된 결과의 대부분은 모델의 원본 보고서에서 가져온 반면 다른 결과는 PHI-3 vision 평가에서 나온 것으로, 우리는 별표 (*)로 표시됩니다.
• HPT1.5 AIR 및 HPT1.0의 벤치 마크 결과는 자산 디렉토리에 있습니다.

사용 된 사전 모델

HPT 1.5 엣지

• 사전 상사 LLM : PHI-3-MINI-4K-비율

• 사전에 시각적 인 시각적 엔코더 : Siglip-SO400M-PATCH14-384

HPT 1.5 공기

• 사전 상사 LLM : LLAMA3-8B 비축

• 사전에 시각적 인 시각적 엔코더 : Siglip-SO400M-PATCH14-384

HPT 1.0 에어

• 사전에 사전 LLM : Yi-6B-Chat

• 사전에 미리 시각적 인 인코더 : 클립-비트-래지-패치 14-336

면책 조항 및 책임있는 용도

HPT Air는 개방적이고 책임있는 AI 연구 및 지역 사회 개발을 용이하게하기 위해 우리 모델을 빠르게 공개합니다. 중재 메커니즘이 없으며 결과에 대한 보장을 제공하지 않습니다. 우리는 커뮤니티와 교류하여 모델이 가드 레일을 잘 존중하여 중재 된 출력이 필요한 실제 응용 프로그램에서 실질적인 채택을 허용하기를 희망합니다.

저희에게 연락하십시오

• 연락처 : [email protected]
• 트위터에서 우리를 따르십시오.
• LinkedIn에서 우리를 따르십시오.
• 우리에 대해 자세히 알아 보려면 웹 사이트를 방문하십시오.

특허

이 프로젝트는 Apache 2.0 라이센스에 따라 릴리스됩니다. 이 프로젝트의 일부에는 해당 라이센스가 적용되는 다른 소스의 코드 및 모델이 포함되어 있으며 상업적 목적으로 사용하려는 경우 해당 라이센스를 적용해야합니다.

감사의 말

이 데모를 실행하기위한 평가 코드는 VLMevalkit 프로젝트를 기반으로 확장되었습니다. 또한 대형 언어 모델 오픈 소싱을 위해 Visual Encoder 모델, 01.ai, Meta 및 Microsoft 오픈 소싱에 대한 OpenAi에 감사드립니다.