ml cvnets

CVNETS: библиотека для обучения компьютерных сетях зрения

CVNets- это инструментарий компьютерного зрения, который позволяет исследователям и инженерам обучать стандартные и новые модели мобильного и не-мобильного компьютерного зрения для разнообразных задач, включая классификацию объектов, обнаружение объектов, семантическую сегментацию и модели фундамента (например, клип).

Оглавление

• Что нового?
• Установка
• Начиная
• Поддерживаемые модели и задачи
• Содействия
• Исследовательские усилия в Apple с использованием CVNets
• Вклад в CVNets
• Лицензия
• Цитирование

Что нового?

• Июль 2023 : Версия 0,4 библиотеки CVNET включает
  • Байты - это все, что вам нужно: трансформаторы, работающие непосредственно на байтах файлов
  • Рангеауг: эффективное онлайн -увеличение с помощью обучения диапазоном
  • Обучение и оценка основных моделей (клип)
  • Маска R-CNN
  • EfficeNet, Swin Transformer и Vit
  • Усиленная поддержка дистилляции

Установка

Мы рекомендуем использовать Python 3.10+ и Pytorch (версия> = v1.12.0)

Инструкции, приведенные ниже, используют Conda, если у вас нет установки Conda, вы можете проверить, как установить Conda.

 # Clone the repo
git clone [email protected]:apple/ml-cvnets.git
cd ml-cvnets

# Create a virtual env. We use Conda
conda create -n cvnets python=3.10.8
conda activate cvnets

# install requirements and CVNets package
pip install -r requirements.txt -c constraints.txt
pip install --editable . 

Начиная

• Общие инструкции для работы с CVNets приведены здесь.
• Примеры обучения и оценки моделей представлены здесь и здесь.
• Примеры для преобразования модели Pytorch в Coreml представлены здесь.

Поддерживаемые модели и задачи

Чтобы увидеть список доступных моделей и тестов, пожалуйста, обратитесь к папке модели и примеров.

Модели классификации ImageNet

• CNNS
  • Mobilenetv1
  • Mobilenetv2
  • Mobilenetv3
  • EfficeNet
  • Resnet
  • Регнет
• Трансформеры
  • Vision Transformer
  • MobileVitv1
  • MobileVitv2
  • Swintransformer

Мультимодальная классификация

• Байтеформер

Обнаружение объекта

• SSD
• Маска R-CNN

Семантическая сегментация

• DeepLabv3
• Pspnet

Фонд -модели

• Клип

Автоматическое увеличение данных

• Рангоуг
• Автоауг
• Рэндзагмент

Дистилляция

• Мягкая дистилляция
• Жесткая дистилляция

Содействия

Этот код разрабатывается Сачином и в настоящее время поддерживается Сачином, Максвеллом Хортоном, Мохаммадом Секхаватом и Янзи Джин.

Предыдущие сопровождающие

• Фарзад

Исследовательские усилия в Apple с использованием CVNets

Ниже приведен список публикаций из Apple, в которых используется CVNets:

• MobileVit: легкий, общий назначен и мобильный вид Vision Transformer, ICLR'22
• CVNETS: Library High Performance для компьютерного зрения, ACM MM'22
• Разделяемое самопринятие для трансформаторов мобильного зрения (MobileVitv2)
• Рангеауг: эффективное онлайн -увеличение с помощью обучения диапазоном
• Байты - это все, что вам нужно: трансформаторы, работающие непосредственно на байтах файлов

Вклад в CVNets

Мы приветствуем PRS от сообщества! Вы можете найти информацию о участии в CVNets в нашем документе.

Пожалуйста, не забудьте следовать нашему кодексу поведения.

Лицензия

Для получения информации о лицензии см. Лицензию.

Цитирование

Если вы найдете нашу работу полезной, пожалуйста, укажите следующую статью:

 @inproceedings{mehta2022mobilevit,
     title={MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer},
     author={Sachin Mehta and Mohammad Rastegari},
     booktitle={International Conference on Learning Representations},
     year={2022}
}

@inproceedings{mehta2022cvnets, 
     author = {Mehta, Sachin and Abdolhosseini, Farzad and Rastegari, Mohammad}, 
     title = {CVNets: High Performance Library for Computer Vision}, 
     year = {2022}, 
     booktitle = {Proceedings of the 30th ACM International Conference on Multimedia}, 
     series = {MM '22} 
}