HPT

HPT-开放多模式大语言模型

HyperGai的超预言变压器（HPT）是一种新型的多模式LLM框架，已接受了能够理解文本和视觉输入的视觉模型的培训。 HPT通过各种多模式LLM基准的最先进模型取得了竞争激烈的结果。该存储库包含推理代码的开源实现，以重现不同基准上HPT的评估结果。

发布

• [6/06]释放HPT 1.5 Edge ，这是我们针对边缘设备量身定制的最新开源型号。尽管它的大小（<5b），但Edge表现出令人印象深刻的能力，同时非常有效。 HPT 1.5 Edge在[HuggingFace存储库]上公开可用。请阅读我们的[技术博客文章]以获取更多详细信息。
• [5/03] HPT 1.5 Air ，我们最好的开源8B多模式LLM与Llama 3。使用Meta Llama 3构建，我们的超强HPT HPT 1.5 Air包装对现实世界的理解和复杂的推理一拳。 HPT Air 1.5在<10B模型中取得了最佳的效果，跨越各种具有挑战性的基准（MMMU，POPE，SEED-I等）。 HPT 1.5空气可在[HuggingFace存储库]上公开使用。请阅读我们的[技术博客文章]以获取更多详细信息。
• [3/16] HPT 1.0 Air是我们最有效的模型，作为一种具有成本效益的解决方案，能够解决广泛的视觉和语言任务。 HPT 1.0空气是公开可用的，并在具有挑战性的MMMU基准上具有相似或较小尺寸的所有开源多模式LLM中的最先进的结果。有关更多详细信息，请阅读我们的[技术博客文章]和[HuggingFace存储库]。

我们将HPT 1.5 Edge发布为针对边缘设备量身定制的最新开源型号。尽管它的大小（<5b），但Edge表现出令人印象深刻的能力，同时非常有效。我们在Apache 2.0许可下在Huggingface和GitHub公开发布HPT 1.5 Edge。

目录

• 模型成就概述
• 快速开始
  • 安装
  • 准备模型
  • 演示
• 评估
• 基准
• 预验证的模型
• 免责声明和负责任的使用
• 联系我们
• 执照
• 致谢

模型成就概述

快速开始

安装

 pip install -r requirements.txt
pip install -e .

准备模型

您可以将模型权重从HF下载到[本地路径]中，并将global_model_path设置为模型配置文件中的[本地路径]：

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

您还可以在配置文件中设置与我们默认设置不同的其他策略。

演示

设置配置文件后，启动模型演示以进行快速试用：

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

例子：

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

评估

启动评估模型：

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

HPT 1.5边缘的示例：

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

基准

对于HPT 1.5边缘

• 呈现的大多数结果取自模型的原始报告，而其他结果来自Phi-3视频评估，我们使用星号（*）标记。
• HPT1.5 Air和Hpt1.0的基准结果是资产目录。

预验证的模型

HPT 1.5边缘

• 验证的LLM：PHI-3-MINI-4K教学

• 预审前的视觉编码器：Siglip-SO400M-Patch14-384

HPT 1.5空气

• 预验证的LLM：Llama3-8B教学

• 预审前的视觉编码器：Siglip-SO400M-Patch14-384

HPT 1.0空气

• 预验证的LLM：YI-6B-CHAT

• 预审前的视觉编码器：剪辑 - vit-large-patch14-336

免责声明和负责任的使用

请注意，HPT Air是我们模型的快速公开发布，以促进开放，负责的AI研究和社区发展。它没有任何审核机制，也没有保证其结果。我们希望与社区互动，使该模型很好地尊重护栏，以便在需要调节产出的现实世界应用程序中采用实际采用。

联系我们

• 联系人：[email protected]
• 在Twitter上关注我们。
• 在LinkedIn上关注我们。
• 访问我们的网站以了解有关我们的更多信息。

执照

该项目以Apache 2.0许可发布。该项目的一部分包含来自其他来源的代码和模型，这些代码和模型受其各自许可的约束，如果您想用于商业目的，则需要应用其各自的许可证。

致谢

根据VLMValkit项目扩展了用于运行此演示的评估代码。我们还要感谢Openai开源的视觉编码器模型，即01.AI，Meta和Microsoft开源的大型语言模型。