HPT

HPT - Model Bahasa Besar Multimodal Terbuka

Hyper-pretrained transformers (HPT) adalah kerangka kerja LLM multimodal baru dari Hypergai, dan telah dilatih untuk model bahasa penglihatan yang mampu memahami input tekstual dan visual. HPT telah mencapai hasil yang sangat kompetitif dengan model canggih pada berbagai tolok ukur LLM multimodal. Repositori ini berisi implementasi open-source dari kode inferensi untuk mereproduksi hasil evaluasi HPT pada tolok ukur yang berbeda.

Melepaskan

• [6/06] Melepaskan HPT 1.5 Edge , model sumber terbuka terbaru kami yang disesuaikan dengan perangkat EDGE. Meskipun ukurannya (<5b), Edge menunjukkan kemampuan yang mengesankan sambil menjadi sangat efisien. HPT 1.5 Edge tersedia untuk umum di [Repositori Huggingface]. Silakan baca [posting blog teknis] kami untuk lebih jelasnya.
• [5/03] HPT 1.5 AIR , 8B multimodal llm terbaik kami dengan Llama 3. Dibangun dengan Meta Llama 3, HTPABLE HPT 1.5 Air kami yang sangat mampu membuat pukulan pada pemahaman dunia nyata dan penalaran yang kompleks. HPT AIR 1.5 mencapai hasil terbaik di antara model <10b di berbagai tolok ukur yang menantang (MMMU, Paus, Seed-I, dan banyak lagi). HPT 1.5 Air tersedia untuk umum di [Repositori Huggingface]. Silakan baca [posting blog teknis] kami untuk lebih jelasnya.
• [3/16] HPT 1.0 Air keluar, model kami yang paling efisien sebagai solusi hemat biaya yang mampu menyelesaikan berbagai tugas penglihatan dan bahasa. HPT 1.0 Air tersedia untuk umum dan mencapai hasil canggih di antara semua model LLM multimodal open-source dengan ukuran yang sama atau lebih kecil pada tolok ukur MMMU yang menantang. Silakan baca [posting blog teknis] dan [Repositori HuggingFace] kami untuk lebih jelasnya.

Kami merilis HPT 1.5 Edge sebagai model sumber terbuka terbaru kami yang dirancang untuk perangkat EDGE. Meskipun ukurannya (<5b), Edge menunjukkan kemampuan yang mengesankan sambil menjadi sangat efisien. Kami merilis HPT 1.5 Edge secara publik di Huggingface dan Github di bawah lisensi Apache 2.0.

Daftar isi

• Tinjauan Achitecture Model
• Awal yang cepat
  • Instalasi
  • Siapkan model
  • Demo
• Evaluasi
• Tolok ukur
• Model pretrained digunakan
• Penggunaan Penafian dan Bertanggung Jawab
• Hubungi kami
• Lisensi
• Ucapan Terima Kasih

Tinjauan Achitecture Model

Awal yang cepat

Instalasi

 pip install -r requirements.txt
pip install -e .

Siapkan model

Anda dapat mengunduh bobot model dari HF ke [jalur lokal] Anda dan mengatur global_model_path sebagai [jalur lokal] Anda di file konfigurasi model:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

Anda juga dapat menetapkan strategi lain dalam file konfigurasi yang berbeda dari pengaturan default kami.

Demo

Setelah menyiapkan file konfigurasi, luncurkan demo model untuk uji coba cepat:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Contoh:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Evaluasi

Luncurkan model untuk evaluasi:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Contoh untuk HPT 1.5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Tolok ukur

Untuk HPT 1.5 Edge

• Mayoritas hasil yang disajikan diambil dari laporan asli model sementara yang lain berasal dari evaluasi phi-3-vision, yang kami tandai dengan tanda bintang (*).
• Hasil patokan Air dan HPT1.0 HPT1.5 berada di direktori aset.

Model pretrained digunakan

HPT 1.5 Edge

• Pretrained llm: phi-3-mini-4k-instruct

• Encoder Visual Pretrained: Siglip-SO400M-Patch14-384

HPT 1,5 udara

• Pretrained llm: llama3-8b-instruct

• Encoder Visual Pretrained: Siglip-SO400M-Patch14-384

HPT 1.0 AIR

• Pretrained llm: yi-6b-chat

• Encoder visual pretrained: clip-vit-large-patch14-336

Penggunaan Penafian dan Bertanggung Jawab

Perhatikan bahwa HPT Air adalah rilis cepat dari model kami untuk memfasilitasi penelitian AI yang terbuka dan bertanggung jawab dan pengembangan masyarakat. Itu tidak memiliki mekanisme moderasi dan tidak memberikan jaminan pada hasilnya. Kami berharap dapat terlibat dengan masyarakat untuk membuat model ini menghormati pagar pembatas untuk memungkinkan adopsi praktis dalam aplikasi dunia nyata yang membutuhkan output moderat.

Hubungi kami

• Hubungi: [email protected]
• Ikuti kami di Twitter.
• Ikuti kami di LinkedIn.
• Kunjungi situs web kami untuk mempelajari lebih lanjut tentang kami.

Lisensi

Proyek ini dirilis di bawah lisensi Apache 2.0. Bagian dari proyek ini berisi kode dan model dari sumber lain, yang tunduk pada lisensi masing -masing dan Anda perlu menerapkan lisensi masing -masing jika Anda ingin menggunakan untuk tujuan komersial.

Ucapan Terima Kasih

Kode evaluasi untuk menjalankan demo ini diperluas berdasarkan proyek VLMevalkit. Kami juga berterima kasih kepada OpenAI untuk open-sourcing model enkoder visual mereka, 01.ai, Meta dan Microsoft untuk open-sourcing model bahasa besar mereka.