HPT

HPT - открытые мультимодальные большие языковые модели

Гипер-предшественные трансформаторы (HPT) представляют собой новую мультимодальную структуру LLM от Hypergai, и они были обучены моделям на языке зрения, которые способны понимать как текстовые, так и визуальные входные данные. HPT достиг высококонкурентных результатов с современными моделями на различных многомодальных критериях LLM. Этот репозиторий содержит реализацию кода вывода с открытым исходным кодом для воспроизведения результатов оценки HPT на разных критериях.

Выпускать

• [6/06] Выпуск HPT 1.5 Edge , наша последняя модель с открытым исходным кодом, адаптированная к устройствам Edge. Несмотря на его размер (<5b), Edge демонстрирует впечатляющие возможности, будучи чрезвычайно эффективными. HPT 1.5 Edge общедоступен в [HuggingFaceface Repository]. Пожалуйста, прочитайте наш [технический пост в блоге] для получения более подробной информации.
• [5/03] HPT 1.5 Air , наш лучший мультимодальный LLM с Llama 3. HPT Air 1.5 достигает наилучших результатов среди моделей <10B в широком спектре сложных тестов (MMMU, POPE, SEED-I и многое другое). HPT 1.5 Air общедоступен в [Huggingfice Repository]. Пожалуйста, прочитайте наш [технический пост в блоге] для получения более подробной информации.
• [3/16] HPT 1.0 Air вышел, наша наиболее эффективная модель как экономически эффективное решение, которое способно решать широкий спектр задач зрения и языка. HPT 1.0 Air доступен общедоступным и достигает современных результатов среди всех мультимодальных моделей LLM с открытым исходным кодом, аналогичных или меньших размеров по сложному эталону MMMU. Пожалуйста, прочитайте нашу техническое сообщение в блоге] и [Repository Guggingface] для более подробной информации.

Мы выпускаем HPT 1.5 Edge в качестве нашей последней модели с открытым исходным кодом, адаптированной к устройствам Edge. Несмотря на его размер (<5b), Edge демонстрирует впечатляющие возможности, будучи чрезвычайно эффективными. Мы публично выпускаем HPT 1.5 Edge в Huggingface и GitHub по лицензии Apache 2.0.

Оглавление

• Обзор модели ACHITECTURE
• Быстрый старт
  • Установка
  • Подготовьте модель
  • Демо
• Оценки
• Тесты
• Предварительные модели используются
• Отказ от ответственности и ответственного использования
• Связаться с нами
• Лицензия
• Благодарности

Обзор модели ACHITECTURE

Быстрый старт

Установка

 pip install -r requirements.txt
pip install -e .

Подготовьте модель

Вы можете скачать веса модели с HF в свой [локальный путь] и установить global_model_path в качестве [локальный путь] в файле конфигурации модели:

 git lfs install
git clone https://huggingface.co/HyperGAI/HPT1_5-Edge [Local Path]

Вы также можете установить другие стратегии в файле конфигурации, которые отличаются от наших настроек по умолчанию.

Демо

После настройки файла конфигурации запустите демонстрацию модели для быстрого испытания:

 python demo/demo.py --image_path [Image]  --text [Text]  --model [Config]

Пример:

 python demo/demo.py --image_path demo/einstein.jpg  --text 'What is unusual about this image?'  --model hpt-edge-1-5

Оценки

Запустите модель для оценки:

 torchrun --nproc-per-node=8 run.py --data [Dataset] --model [Config]

Пример для HPT 1,5 Edge:

 torchrun --nproc-per-node=8 run.py --data MMMU_DEV_VAL --model hpt-edge-1-5

Тесты

Для HPT 1,5 Edge

• Большинство представленных результатов взяты из оригинальных отчетов моделей, в то время как другие взяты из оценки PHI-3-Vision, которые мы отмечаем со звездочкой (*).
• Очередный результат HPT1.5 воздуха и HPT1.0 находится в каталоге активов.

Предварительные модели используются

HPT 1,5 Edge

• Предварительный LLM: Phi-3-Mini-4K-Instruct

• Предварительный визуальный энкодер: Siglip-So400m-Patch14-384

HPT 1,5 воздуха

• Предварительный LLM: Llama3-8B-Instruct

• Предварительный визуальный энкодер: Siglip-So400m-Patch14-384

HPT 1,0 воздух

• Предварительный LLM: YI-6B-чат

• Предварительный визуальный энкодер: клип-Vit-Large-Patch14-336

Отказ от ответственности и ответственного использования

Обратите внимание, что HPT Air - это быстрый открытый выпуск наших моделей для облегчения открытых, ответственных исследований ИИ и развития сообщества. У него нет механизма умеренности и не дает никаких гарантий на их результаты. Мы надеемся взаимодействовать с сообществом, чтобы сделать модель тонко уважать ограждения, чтобы разрешить практическое принятие в реальных приложениях, требующих модерируемых результатов.

Связаться с нами

• Контакт: [email protected]
• Следуйте за нами в Твиттере.
• Следуйте за нами на LinkedIn.
• Посетите наш сайт, чтобы узнать больше о нас.

Лицензия

Этот проект выпущен по лицензии Apache 2.0. Части этого проекта содержат код и модели из других источников, которые подлежат их соответствующим лицензиям, и вам необходимо применить их соответствующую лицензию, если вы хотите использовать в коммерческих целях.

Благодарности

Код оценки для запуска этой демонстрации был расширен на основе проекта vlmevalkit. Мы также благодарим Openai за открытые источники их визуальных моделей энкодеров, 01.AI, Meta и Microsoft за открытый источник их больших языковых моделей.