HPT

HPT - Modelos de lenguaje grande abierta multimodal

Hyper Pretured Transformers (HPT) es un nuevo marco LLM multimodal de Hypergai, y ha sido entrenado para modelos en idioma de visión que son capaces de comprender las entradas textuales y visuales. HPT ha logrado resultados altamente competitivos con modelos de vanguardia en una variedad de puntos de referencia multimodales LLM. Este repositorio contiene la implementación de código abierto del código de inferencia para reproducir los resultados de evaluación de HPT en diferentes puntos de referencia.

Liberar

• [6/06] Lanzando HPT 1.5 Edge , nuestro último modelo de código abierto adaptado a dispositivos de borde. A pesar de su tamaño (<5b), Edge demuestra capacidades impresionantes mientras es extremadamente eficiente. HPT 1.5 Edge está disponible públicamente en [Repositorio de Huggingface]. Lea nuestra [publicación de blog técnico] para obtener más detalles.
• [5/03] HPT 1.5 Air , nuestro mejor LLM multimodal 8B de código abierto con LLAMA 3. Construido con Meta Llama 3, nuestro hiper capaz HPT 1.5 Air tiene un golpe en la comprensión del mundo real y el razonamiento complejo. HPT Air 1.5 logra los mejores resultados entre los modelos <10B en una amplia gama de puntos de referencia desafiantes (MMMU, Pope, Seed-I y más). HPT 1.5 AIR está disponible públicamente en [Repositorio de Huggingface]. Lea nuestra [publicación de blog técnico] para obtener más detalles.
• [3/16] HPT 1.0 Air está fuera, nuestro modelo más eficiente como una solución rentable que es capaz de resolver una amplia gama de tareas de visión y lenguaje. HPT 1.0 Air está disponible públicamente y logra resultados de última generación entre todos los modelos LLM multimodales de código abierto de tamaños similares o más pequeños en el desafiante punto de referencia MMMU. Lea nuestra [publicación técnica de blog] y [repositorio de Huggingface] para obtener más detalles.

Lanzamos HPT 1.5 Edge como nuestro último modelo de fuente abierta adaptada a dispositivos de borde. A pesar de su tamaño (<5b), Edge demuestra capacidades impresionantes mientras es extremadamente eficiente. Lanzamos HPT 1.5 Edge públicamente en Huggingface y Github bajo la licencia Apache 2.0.

Tabla de contenido

• Descripción general de la achitectura del modelo
• Comienzo rápido
  • Instalación
  • Preparar el modelo
  • Manifestación
• Evaluaciones
• Puntos de referencia
• Modelos previos a los productos utilizados
• Descargo de responsabilidad y uso responsable
• Contáctenos
• Licencia
• Expresiones de gratitud

Descripción general de la achitectura del modelo

Comienzo rápido

Instalación

 pip install -r requirements.txt
pip install -e .

Preparar el modelo

Puede descargar los pesos del modelo de HF en su [ruta local] y establecer el global_model_path como su [ruta local] en el archivo de configuración del modelo:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

También puede establecer otras estrategias en el archivo de configuración que son diferentes de nuestra configuración predeterminada.

Manifestación

Después de configurar el archivo de configuración, inicie la demostración del modelo para una prueba rápida:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Ejemplo:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Evaluaciones

Inicie el modelo para la evaluación:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Ejemplo para HPT 1.5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Puntos de referencia

Para HPT 1.5 Edge

• La mayoría de los resultados presentados se toman de los informes originales de los modelos, mientras que los otros son de evaluaciones de visión PHI-3, que marcamos con un asterisco (*).
• El resultado de referencia de HPT1.5 AIR y HPT1.0 está en el directorio de activos.

Modelos previos a los productos utilizados

HPT 1.5 Edge

• PROTRADO LLM: PHI-3-MINI-4K-INSTRUST

• Encoder visual previo a la aparición: Siglip-So400m-Patch14-384

HPT 1.5 AIR

• Pretrenado LLM: Llama3-8b-Instructo

• Encoder visual previo a la aparición: Siglip-So400m-Patch14-384

HPT 1.0 AIR

• Prained LLM: Yi-6b-chat

• Encoder visual previo a la aparición: Clip-Vit-Large-Patch14-336

Descargo de responsabilidad y uso responsable

Tenga en cuenta que el HPT AIR es un lanzamiento rápido de nuestros modelos para facilitar la investigación de IA abierta y responsable y el desarrollo comunitario. No tiene ningún mecanismo de moderación y no proporciona garantías sobre sus resultados. Esperamos comprometernos con la comunidad para que el modelo respete finamente las barandillas para permitir adopciones prácticas en aplicaciones del mundo real que requieren resultados moderados.

Contáctenos

• Contacto: [email protected]
• Síganos en Twitter.
• Síganos en LinkedIn.
• Visite nuestro sitio web para obtener más información sobre nosotros.

Licencia

Este proyecto se publica bajo la licencia Apache 2.0. Partes de este proyecto contienen código y modelos de otras fuentes, que están sujetas a sus respectivas licencias y debe aplicar su licencia respectiva si desea usar con fines comerciales.

Expresiones de gratitud

El código de evaluación para ejecutar esta demostración se extendió en función del proyecto VLMEVALKIT. También agradecemos a OpenAI por la obtención abierta de sus modelos de codificadores visuales, 01.AI, Meta y Microsoft por la obtención de sus grandes modelos de idiomas.