HPT

HPT - Modelos de linguagem grande multimodal aberta

Transformadores hiperpretiados (HPT) é uma nova estrutura multimodal de LLM da Hypergai e foi treinada para modelos de linguagem de visão capazes de entender as entradas textuais e visuais. O HPT alcançou resultados altamente competitivos com modelos de última geração em uma variedade de benchmarks multimodais LLM. Este repositório contém a implementação de código aberto do código de inferência para reproduzir os resultados da avaliação do HPT em diferentes benchmarks.

Liberar

• [6/06] Liberando o HPT 1.5 Edge , nosso mais recente modelo de código aberto adaptado para dispositivos de borda. Apesar de seu tamanho (<5b), o Edge demonstra recursos impressionantes e é extremamente eficiente. O HPT 1.5 Edge está disponível ao público no [Repositório do Huggingface]. Leia nosso [post técnico no blog] para mais detalhes.
• [5/03] HPT 1.5 Air , nosso melhor LLM multimodal de 8b de código aberto com llama 3. Construído com a meta llama 3, nosso HPT 1.5 Air Hyper Capable é um soco no entendimento do mundo real e um raciocínio complexo. O HPT Air 1.5 alcança os melhores resultados entre os modelos <10b em uma ampla gama de benchmarks desafiadores (MMMU, Pope, Seed-I e muito mais). O HPT 1.5 Air está disponível publicamente no [Repositório de Huggingface]. Leia nosso [post técnico no blog] para mais detalhes.
• [3/16] HPT 1.0 Air está fora, nosso modelo mais eficiente como uma solução econômica capaz de resolver uma ampla gama de tarefas de visão e linguagem. O HPT 1.0 Air está disponível ao público e atinge os resultados de última geração entre todos os modelos LLM multimodais de código aberto de tamanhos semelhantes ou menores no desafio de referência MMMU. Leia nosso [post técnico no blog] e [Repositório do Huggingface] para obter mais detalhes.

Lançamos o HPT 1.5 Edge como nosso mais recente modelo de código aberto, adaptado aos dispositivos de borda. Apesar de seu tamanho (<5b), o Edge demonstra recursos impressionantes e é extremamente eficiente. Lançamos o HPT 1.5 Edge publicamente no Huggingface e no GitHub sob a licença Apache 2.0.

Índice

• Visão geral da achitecture do modelo
• Início rápido
  • Instalação
  • Prepare o modelo
  • Demonstração
• Avaliações
• Benchmarks
• Modelos pré -tenhados usados
• Isenção de responsabilidade e uso responsável
• Contate-nos
• Licença
• Agradecimentos

Visão geral da achitecture do modelo

Início rápido

Instalação

 pip install -r requirements.txt
pip install -e .

Prepare o modelo

Você pode baixar os pesos do modelo de HF no seu [caminho local] e definir o global_model_path como seu [caminho local] no arquivo de configuração do modelo:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

Você também pode definir outras estratégias no arquivo de configuração que são diferentes das nossas configurações padrão.

Demonstração

Depois de configurar o arquivo de configuração, inicie a demonstração do modelo para uma avaliação rápida:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Exemplo:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Avaliações

Inicie o modelo para avaliação:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Exemplo para HPT 1.5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Benchmarks

Para HPT 1.5 Edge

• A maioria dos resultados apresentados é retirada dos relatórios originais dos modelos, enquanto os outros são de avaliações de Phi-3-Vision, que marcamos com um asterisco (*).
• O resultado da referência do HPT1.5 AIR e HPT1.0 está no diretório de ativos.

Modelos pré -tenhados usados

HPT 1.5 Edge

• LLM pré-treinado: phi-3-mini-4K-instruct

• Codificador visual pré-treinado: Siglip-SO400M-PACK14-384

HPT 1.5 Ar

• LLM pré-treinado: LLAMA3-8B-INSTRUTA

• Codificador visual pré-treinado: Siglip-SO400M-PACK14-384

HPT 1.0 Ar

• LLM pré-terenciado: Yi-6b-chat

• Codificador visual pré-treinado: clip-vit-large-Patch14-336

Isenção de responsabilidade e uso responsável

Observe que o HPT Air é um lançamento rápido de nossos modelos para facilitar a pesquisa aberta e responsável da IA ​​e o desenvolvimento da comunidade. Não possui nenhum mecanismo de moderação e não oferece garantias sobre seus resultados. Esperamos se envolver com a comunidade para fazer com que o modelo respeite o GuardaRails finamente para permitir adoções práticas em aplicativos do mundo real que requerem saídas moderadas.

Contate-nos

• Contato: [email protected]
• Siga -nos no Twitter.
• Siga -nos no LinkedIn.
• Visite nosso site para saber mais sobre nós.

Licença

Este projeto é lançado sob a licença Apache 2.0. Partes deste projeto contêm código e modelos de outras fontes, que estão sujeitas a suas respectivas licenças e você precisa aplicar a respectiva licença, se quiser usar para fins comerciais.

Agradecimentos

O código de avaliação para executar essa demonstração foi estendido com base no projeto VLMevalkit. Agradecemos também a OpenAI por saber seus modelos de codificadores visuais, 01.ai, Meta e Microsoft por fontes abertas de seus grandes modelos de idiomas.