HPT

HPT - Offene multimodale Großsprachenmodelle offen

Hyper-vorab-Transformers (HPT) ist ein neuartiges multimodales LLM-Framework aus Hypergai und wurde für Visionsprachel-Modelle ausgebildet, die sowohl textliche als auch visuelle Eingaben verstehen können. HPT hat mit hochmodernen Modellen für eine Vielzahl multimodaler LLM-Benchmarks hoch wettbewerbsfähige Ergebnisse erzielt. Dieses Repository enthält die Open-Source-Implementierung von Inferenzcode, um die Bewertungsergebnisse von HPT an verschiedenen Benchmarks zu reproduzieren.

Freigeben

• [6/06] Veröffentlichung von HPT 1.5 Edge , unserem neuesten Open-Source-Modell, das auf Edge-Geräte zugeschnitten ist. Trotz seiner Größe (<5b) zeigt Edge beeindruckende Fähigkeiten und ist äußerst effizient. HPT 1.5 Edge ist öffentlich auf [Huggingface -Repository] verfügbar. Bitte lesen Sie unseren [technischen Blog -Beitrag] für weitere Details.
• [5/03] HPT 1.5 AIR , unser bestes Open-Sourced 8B Multimodal LLM mit LLAMA 3., gebaut mit Meta LLAMA 3, unser hyper-fähiges HPT 1.5 Air Packs einen Schlag auf das Verständnis der realen Welt und komplexe Argumentation. HPT Air 1.5 erzielt die besten Ergebnisse unter <10B-Modellen in einer Vielzahl herausfordernder Benchmarks (MMMU, Papst, Seed-I und mehr). HPT 1.5 AIR ist öffentlich auf [Huggingface -Repository] verfügbar. Bitte lesen Sie unseren [technischen Blog -Beitrag] für weitere Details.
• [3/16] HPT 1.0 Air ist ausfällt, unser effizienteste Modell als kostengünstigste Lösung, die in der Lage ist, eine breite Palette von Seh- und Sprachaufgaben zu lösen. HPT 1.0 AIR ist öffentlich verfügbar und erzielt hochmoderne Ergebnisse unter allen multimodalen LLM-Modellen mit Open-Source-Modellen ähnlicher oder kleinerer Größen auf dem herausfordernden MMMU-Benchmark. Bitte lesen Sie unseren [technischen Blog -Beitrag] und [Huggingface -Repository] für weitere Details.

Wir veröffentlichen HPT 1.5 Edge als unser neuestes Open-Sources-Modell, das auf Edge-Geräte zugeschnitten ist. Trotz seiner Größe (<5b) zeigt Edge beeindruckende Fähigkeiten und ist äußerst effizient. Wir veröffentlichen HPT 1.5 Edge öffentlich bei Huggingface und GitHub unter der Apache 2.0 -Lizenz.

Inhaltsverzeichnis

• Überblick über die Modell -Achitecture
• Schneller Start
  • Installation
  • Bereiten Sie das Modell vor
  • Demo
• Bewertungen
• Benchmarks
• Vorbereitete Modelle verwendet
• Haftungsausschluss und verantwortungsbewusste Verwendung
• Kontaktieren Sie uns
• Lizenz
• Anerkennung

Überblick über die Modell -Achitecture

Schneller Start

Installation

 pip install -r requirements.txt
pip install -e .

Bereiten Sie das Modell vor

Sie können die Modellgewichte von HF in Ihren [lokalen Pfad] herunterladen und den global_model_path als [lokaler Pfad] in der Modellkonfigurationsdatei festlegen:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

Sie können auch andere Strategien in der Konfigurationsdatei festlegen, die sich von unseren Standardeinstellungen unterscheiden.

Demo

Starten Sie nach dem Einrichten der Konfigurationsdatei die Modelldemo für eine kurze Testversion:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Beispiel:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Bewertungen

Starten Sie das Modell zur Bewertung:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Beispiel für HPT 1.5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Benchmarks

Für HPT 1.5 Kante

• Die Mehrheit der vorgestellten Ergebnisse stammen aus den ursprünglichen Berichten der Modelle, während die anderen aus pHi-3-Vision-Bewertungen stammen, die wir mit einem Sternchen (*) markieren.
• Das Benchmark -Ergebnis von HPT1.5 Air und HPT1.0 befindet sich im Verzeichnis von Vermögenswerten.

Vorbereitete Modelle verwendet

HPT 1,5 Kante

• Vorbereitetes LLM: PHI-3-Mini-4K-Instruktur

• Vorbereiteter visueller Encoder: Siglip-SO400M-Patch14-384

HPT 1.5 Luft

• Vorbereitetes LLM: LLAMA3-8B-Instruct

• Vorbereiteter visueller Encoder: Siglip-SO400M-Patch14-384

HPT 1.0 Luft

• Vorbereitetes LLM: Yi-6b-Chat

• PretRained Visual Encoder: Clip-Vit-Large-Patch14-336

Haftungsausschluss und verantwortungsbewusste Verwendung

Beachten Sie, dass die HPT Air eine schnelle offene Veröffentlichung unserer Modelle ist, um die offene, verantwortungsvolle AI -Forschung und die Entwicklung der Gemeinschaft zu erleichtern. Es hat keinen Mäßigungsmechanismus und bietet keine Garantien für ihre Ergebnisse. Wir hoffen, mit der Community in Kontakt zu treten, damit das Modell Leitplanken fein respektiert, um praktische Adoptionen in realen Anwendungen zu ermöglichen, die moderierte Ausgaben erfordern.

Kontaktieren Sie uns

• Kontakt: [email protected]
• Folgen Sie uns auf Twitter.
• Folgen Sie uns auf LinkedIn.
• Besuchen Sie unsere Website, um mehr über uns zu erfahren.

Lizenz

Dieses Projekt wird unter der Apache 2.0 -Lizenz veröffentlicht. Teile dieses Projekts enthalten Code und Modelle aus anderen Quellen, die ihren jeweiligen Lizenzen unterliegen, und Sie müssen ihre jeweilige Lizenz anwenden, wenn Sie für kommerzielle Zwecke verwenden möchten.

Anerkennung

Der Bewertungscode für die Ausführung dieser Demo wurde basierend auf dem VLMevalkit -Projekt erweitert. Wir danken auch Openai für das Open-Souring-Modellen für visuelle Encoder, 01.AI, Meta und Microsoft, für Open-Sourcing ihrer großen Sprachmodelle.