HPT

HPT - Modèles de grande langue ou ouverts

Les transformateurs hyper-prétraités (HPT) sont un nouveau cadre LLM multimodal d'Hypergai, et a été formé pour des modèles de vision qui sont capables de comprendre les entrées textuelles et visuelles. HPT a obtenu des résultats très compétitifs avec des modèles de pointe sur une variété de repères LLM multimodaux. Ce référentiel contient l'implémentation open source du code d'inférence pour reproduire les résultats d'évaluation de HPT sur différents repères.

Libérer

• [6/06] Libérant HPT 1.5 Edge , notre dernier modèle open source adapté aux périphériques Edge. Malgré sa taille (<5b), Edge montre des capacités impressionnantes tout en étant extrêmement efficace. HPT 1.5 Edge est accessible au public sur [Huggingface Repository]. Veuillez lire notre [article de blog technique] pour plus de détails.
• [5/03] HPT 1.5 Air , notre meilleur LLM multimodal 8b open source avec Llama 3. Construit avec Meta Llama 3, notre HPT 1.5 HPT 1.5 a un punch sur une compréhension du monde réel et un raisonnement complexe. HPT Air 1.5 obtient les meilleurs résultats parmi les modèles <10b dans une large gamme de références difficiles (MMMU, Pope, Seed-I, et plus). HPT 1.5 Air est accessible au public sur [Huggingface Repository]. Veuillez lire notre [article de blog technique] pour plus de détails.
• [3/16] L'air HPT 1.0 est sorti, notre modèle le plus efficace en tant que solution rentable capable de résoudre un large éventail de tâches de vision et de langage. L'air HPT 1.0 est accessible au public et obtient des résultats de pointe parmi tous les modèles LLM multimodaux open source de tailles similaires ou plus petites sur la référence MMMU difficile. Veuillez lire notre [article de blog technique] et [le référentiel Huggingface] pour plus de détails.

Nous publions HPT 1.5 Edge en tant que dernier modèle open-source adapté aux périphériques Edge. Malgré sa taille (<5b), Edge montre des capacités impressionnantes tout en étant extrêmement efficace. Nous publions publiquement HPT 1.5 Edge sur HuggingFace et GitHub sous la licence Apache 2.0.

Table des matières

• Aperçu de l'achitecture du modèle
• Démarrage rapide
  • Installation
  • Préparer le modèle
  • Démo
• Évaluations
• Repères
• Modèles pré-entraînés utilisés
• Avertissement et utilisation responsable
• Contactez-nous
• Licence
• Remerciements

Aperçu de l'achitecture du modèle

Démarrage rapide

Installation

 pip install -r requirements.txt
pip install -e .

Préparer le modèle

Vous pouvez télécharger les poids du modèle à partir de HF dans votre [chemin local] et définir le global_model_path comme [chemin local] dans le fichier de configuration du modèle:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

Vous pouvez également définir d'autres stratégies dans le fichier de configuration qui sont différentes de nos paramètres par défaut.

Démo

Après avoir configuré le fichier de configuration, lancez la démo du modèle pour un essai rapide:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Exemple:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Évaluations

Lancez le modèle d'évaluation:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Exemple pour HPT 1.5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Repères

Pour HPT 1.5 Edge

• La majorité des résultats présentés sont tirés des rapports originaux des modèles tandis que les autres proviennent d'évaluations PHI-3-Vision, que nous marquons avec un astérisque (*).
• Le résultat de référence de l'air HPT1.5 et HPT1.0 est dans le répertoire des actifs.

Modèles pré-entraînés utilisés

HPT 1.5 Edge

• LLM pré-entraîné: PHI-3-MINI-4K-INSTRUCT

• Encodeur visuel pré-entraîné: Siglip-SO400M-Patch14-384

HPT 1.5 Air

• Pré-entraînement LLM: LLAMA3-8B-INSTRUCT

• Encodeur visuel pré-entraîné: Siglip-SO400M-Patch14-384

HPT 1.0 Air

• LLM pré-entraîné: YI-6B-CHAT

• Encodeur visuel pré-entraîné: Clip-Vit-Garn-Patch14-336

Avertissement et utilisation responsable

Notez que le HPT Air est une version rapide de nos modèles pour faciliter la recherche ouverte et responsable de l'IA et le développement communautaire. Il n'a aucun mécanisme de modération et ne fournit aucune garantie sur leurs résultats. Nous espérons s'engager avec la communauté pour que le modèle respecte les garde-corps finement pour permettre des adoptions pratiques dans les applications du monde réel nécessitant des résultats modérés.

Contactez-nous

• Contact: [email protected]
• Suivez-nous sur Twitter.
• Suivez-nous sur LinkedIn.
• Visitez notre site Web pour en savoir plus sur nous.

Licence

Ce projet est publié sous la licence Apache 2.0. Certaines parties de ce projet contiennent du code et des modèles provenant d'autres sources, qui sont soumises à leurs licences respectives et vous devez appliquer leur licence respective si vous souhaitez utiliser à des fins commerciales.

Remerciements

Le code d'évaluation pour l'exécution de cette démo a été étendu sur la base du projet VLMevalkit. Nous remercions également Openai pour l'ouverture de leurs modèles d'encodeur visuels, 01.ai, Meta et Microsoft pour l'ouverture de leurs grands modèles de langue.