TNN

中文版本

Введение

TNN: высокопроизводительная, легкая структура вывода нейронной сети, открытая из Tencent Youtu Lab. У этого также есть много выдающихся преимуществ, таких как кроссплатформенная, высокая производительность, сжатие модели и пошив кода. Framework TNN еще больше усиливает оптимизацию поддержки и производительности мобильных устройств на основе исходных платформ Rapidnet и NCNN. В то же время, это относится к высокой производительности и хорошей масштабируемости основных фреймворков отрасли с открытым исходным кодом и расширяет поддержку графических процессоров X86 и NV. На мобильном телефоне TNN использовался многими приложениями, такими как мобильный QQ, Weishi и Pitu. В качестве основной структуры ускорения для AI Tencent Cloud, TNN оказал поддержку ускорения для реализации многих предприятий. Каждый может принять участие в совместной конструкции, чтобы способствовать дальнейшему улучшению структуры вывода TNN.

Эффект пример

Обнаружение лица (Blazeface)	Выравнивание лица (из лаборатории Tencent Youtu)	Сегментация волос (из лаборатории Tencent Guanging)
Ссылка на модель: tflite tnn	Ссылка на модель: TNN	Ссылка на модель: TNN

Поза оценка (от Tencent Guangliu)	Поза оценка (Блейзепоза)	Китайский OCR
Ссылка на модель: TNN	Ссылка на модель: tflite tnn	Ссылка на модель: ONNX TNN

Обнаружение объекта (Yolov5s)	Обнаружение объекта (MobilEnetv2-SSD)	Понимание прочитанного
Ссылка на модель: ONNX TNN	Ссылка на модель: TensorFlow TNN	Ссылка на модель: ONNX TNN

Китайская демонстрация OCR - это реализация TNN проекта CilinaCR_LITE. Он легкий и поддерживает наклоненные, повернутые и вертикальные текстовые распознавания.

Поддержка для каждой демонстрации показана в следующей таблице. Вы можете щелкнуть ✅ и найти входной код для каждой демонстрации.

демо	РУКА	Opencl	Металл	Huawei NPU	Apple NPU	X86	Куда
Обнаружение лица (Blazeface)	✅	✅	✅	✅	✅	✅	✅
Обнаружение объекта (Yolov5s)	✅	✅	✅	✅	✅	✅	✅
Выравнивание лица	✅	✅	✅	✅	✅	✅	✅
Сегментация волос	✅	✅	✅	✅	✅	✅	✅
Поза оценка (от Tencent Guangliu)	✅	✅	✅	✅	✅	✅	✅
Поза оценки (плазепоза)	✅	✅	✅	✅	✅	✅	✅
Китайский OCR	✅	✅	✅			✅	✅
Понимание прочитанного						✅	✅

Быстрый старт

Это очень просто использовать TNN. Если у вас есть обученная модель, модель может быть развернута на целевой платформе через три этапа.

1. Преобразовать обученную модель в модель TNN. Мы предоставляем множество инструментов, которые помогут вам выполнить этот шаг, независимо от того, используете ли вы Tensorflow, Pytorch или Caffe, вы можете легко завершить конверсию. Подробные практические уроки можно найти здесь, как создать модель TNN.

2. Когда вы закончите преобразовать модель, второй шаг состоит в том, чтобы собрать двигатель TNN целевой платформы. Вы можете выбрать среди различных решений для ускорения, таких как ARM/OpenCl/Metal/NPU/X86/CUDA в соответствии с аппаратной поддержкой. Для этих платформ TNN предоставляет удобные сценарии одного щелчка для компиляции. Для получения подробных шагов, пожалуйста, обратитесь к тому, как скомпилировать TNN.

3. Последним шагом является использование скомпилированного двигателя TNN для вывода. Вы можете сделать программные вызовы в TNN в вашем приложении. Мы предоставляем богатую и подробную демонстрацию в качестве ссылки, чтобы помочь вам завершить.

   • Запустить демо iOS
   • Запустить демо -Android
   • Запустите демонстрацию Linux/Windows

Технические решения

В настоящее время TNN был запущен в различных крупных предприятиях, и его следующие характеристики были широко оценены.

• Оптимизация вычислений

  • Операторы бэкэнд в основном оптимизированы для наилучшего использования вычислительной мощности в разных архитектурах, касающихся проблемы с инструкциями, пропускной способности, задержки, пропускной способности кэша, задержки кэша, регистров и т. Д.
  • Производительность TNN на основных аппаратных платформах (CPU: ARMV7, ARMV8 ， X86, GPU: Mali, Adreno, Apple ， NV GPU ， NPU) были значительно настроены и улучшены.
  • Функция свертки реализована различными алгоритмами, такими как Winograd, Tile-Gemm, Direct Conv и т. Д., Для обеспечения эффективности под различными параметрами и размерами.
  • OP Fusion: TNN может выполнять автономный анализ сетевого графа, объединить несколько простых операций и уменьшить накладные расходы, такие как избыточный доступ к памяти и стоимость запуска ядра.

• Низкая точность вычисления ускорения

  • TNN поддерживает режим Int8/FP16, уменьшает размер модели и потребление памяти и использует конкретные аппаратные инструкции с низким характером для ускорения расчетов.
  • TNN поддерживает алгоритм Winograd Int8 (вход 6 бит), дополнительно уменьшает сложность расчета модели, не жертвуя точностью.
  • TNN поддерживает данные смешанного определения в одной модели, ускоряя скорость расчета модели, сохраняя при этом ее точность.

• Оптимизация памяти

  • Эффективная реализация «пула памяти»: на основе полного сетевого анализа DAG реализация повторно использует память между независимыми узлами, которые снижают стоимость памяти на 90%.
  • Поперечная память уменьшается: это поддерживает внешний дизайн в реальном времени для сетевой памяти, чтобы несколько моделей могли делиться взаимной памятью.

• Производительность основных моделей на TNN: эталонные данные

• Диаграмма архитектуры TNN ：

  

• TNN поддерживает Tensorflow, Pytorch, MXNet, Caffe и другие учебные рамки через ONNX, используя постоянное улучшение общества ONNX с открытым исходным кодом. В настоящее время TNN поддерживает более 100 операторов ONNX, состоящих из большинства основных операторов CNN, необходимых операторов NLP.

• TNN работает в основных операционных системах (Android, iOS, Embedded Linux, Windows, Linux) и совместим с процессором ARM, x86 GPU, аппаратной платформы NPU.

• TNN строится с помощью модульной конструкции, которая абстрагирует и изолирует компоненты, такие как анализ модели, конструкция графика, оптимизация графика, аппаратная адаптация низкого уровня и ядро высокого уровня. Он использует «фабричный режим» для регистрации и создания устройств, которые пытаются минимизировать стоимость поддержки большего оборудования и решений для ускорения.

• Размер мобильной динамической библиотеки составляет всего около 400 КБ, и она обеспечивает основные операции преобразования изображений, которые являются легкими и удобными. TNN использует унифицированные модели и интерфейсы на разных платформах и может легко переключаться, настройка только одного параметра.

Узнайте о способностях TNN

• Поддержка оператора
• Модель поддержки
• Поддержка устройства
• Профилирование

Руководство

• Компилировать TNN
• Инструменты
  • Создать модель TNN
  • Квантование модели
  • Модель визуализации Netron
  • Анализ производительности
  • Выравнивание модели
• Учебник
  • Преобразование и развертывание модели TNN для SSD

API документ

• API звонок

Внести свой вклад в TNN

• Основы развития
• Подробная архитектура
• Добавить нового оператора
• Модульный тест

Дорожная карта

• Дорожная карта

Подтверждение

TNN ссылался на следующие проекты:

• ncnn
• булава
• Мнн
• Caffe-Onnx
• Tensorflow-onnx
• Onnx
• Onnxruntime
• OpenVino
• xbyak
• Тенсорт

Лицензия

• BSD 3 пункт

Часто задаваемые вопросы

• Часто задаваемые вопросы

Присоединяйтесь к нам

• Каждый может участвовать, чтобы построить лучшую структуру вывода в отрасли.

• Техническое обсуждение QQ Группа: 704900079 Ответ: TNN

• Сканировать QR -код, чтобы присоединиться к дискуссионной группе TNN: