TNN

中文版本

Introducción

TNN: un marco de inferencia de red neuronal de alto rendimiento y de alto rendimiento abierto de Tencent YouTu Lab. También tiene muchas ventajas sobresalientes, como plataforma cruzada, alto rendimiento, compresión del modelo y adaptación de código. El marco TNN fortalece aún más la optimización de soporte y rendimiento de dispositivos móviles sobre la base de los marcos RapidNet y NCNN originales. Al mismo tiempo, se refiere a las características de alto rendimiento y buena escalabilidad de los marcos de código abierto convencionales de la industria, y expande el soporte para las GPU X86 y NV. En el teléfono móvil, TNN ha sido utilizado por muchas aplicaciones como Mobile QQ, Weishi y Pitu. Como marco de aceleración básica para Tencent Cloud AI, TNN ha brindado soporte de aceleración para la implementación de muchas empresas. Todos son bienvenidos a participar en la construcción colaborativa para promover la mejora adicional del marco de inferencia TNN.

Ejemplo de efecto

Detección de cara (Blazeface)	Alineación de la cara (de Tencent YouTu Lab)	Segmentación del cabello (del laboratorio de guangishing de Tencent)
Enlace del modelo: Tflite TNN	Enlace del modelo: TNN	Enlace del modelo: TNN

Poseer estimación (de Tencent Guangliu)	Poseer estimación (Blazepose)	OCR chino
Enlace del modelo: TNN	Enlace del modelo: Tflite TNN	Enlace del modelo: ONNX TNN

Detección de objetos (yolov5s)	Detección de objetos (MobileNetv2-SSD)	Comprensión de lectura
Enlace del modelo: ONNX TNN	Enlace del modelo: TensorFlow TNN	Enlace del modelo: ONNX TNN

La demostración de OCR china es la implementación de TNN del proyecto chinocr_lite. Es liviano y admite el reconocimiento de texto inclinado, girado y vertical.

El soporte para cada demostración se muestra en la siguiente tabla. Puede hacer clic en el ✅ ✅ y encontrar el código de entrada para cada demostración.

manifestación	BRAZO	Opencl	Metal	Huawei npu	NPU de manzana	X86	Cuda
Detección de cara (Blazeface)	✅	✅	✅	✅	✅	✅	✅
Detección de objetos (yolov5s)	✅	✅	✅	✅	✅	✅	✅
Alineación de la cara	✅	✅	✅	✅	✅	✅	✅
Segmentación del cabello	✅	✅	✅	✅	✅	✅	✅
Poseer estimación (de Tencent Guangliu)	✅	✅	✅	✅	✅	✅	✅
Pose Estimación (Blazeposa)	✅	✅	✅	✅	✅	✅	✅
OCR chino	✅	✅	✅			✅	✅
Comprensión de lectura						✅	✅

Comienzo rápido

Es muy simple de usar TNN. Si tiene un modelo capacitado, el modelo se puede implementar en la plataforma de destino a través de tres pasos.

1. Convierta el modelo entrenado en un modelo TNN. Proporcionamos una gran cantidad de herramientas para ayudarlo a completar este paso, ya sea que esté utilizando TensorFlow, Pytorch o Caffe, puede completar fácilmente la conversión. Se pueden encontrar tutoriales prácticos detallados aquí cómo crear un modelo TNN.

2. Cuando haya terminado de convertir el modelo, el segundo paso es compilar el motor TNN de la plataforma de destino. Puede elegir entre diferentes soluciones de aceleración, como ARM/OpenCL/Metal/NPU/X86/CUDA de acuerdo con el soporte de hardware. Para estas plataformas, TNN proporciona scripts convenientes de un solo clic para compilar. Para pasos detallados, consulte cómo compilar TNN.

3. El paso final es usar el motor TNN compilado para la inferencia. Puede hacer llamadas de programa a TNN dentro de su aplicación. Proporcionamos una demostración rica y detallada como referencia para ayudarlo a completar.

   • Ejecutar una demostración de iOS
   • Ejecutar una demostración de Android
   • Ejecute una demostración de Linux/Windows

Soluciones técnicas

En la actualidad, TNN se ha lanzado en varios negocios importantes, y sus siguientes características han sido ampliamente elogiadas.

• Optimización de cálculo

  • Los operadores de back -end están optimizados para aprovechar al máximo la potencia informática en diferentes arquitecturas, con respecto al problema de la instrucción, el rendimiento, el retraso, el ancho de banda de la caché, el retraso en el caché, los registros, etc.
  • El rendimiento de TNN en las plataformas de hardware convencionales (CPU: ARMV7, ARMV8, X86, GPU: Mali, Adreno, Apple, NV GPU, NPU) se ha ajustado y mejorado enormemente.
  • La función de convolución es implementada por varios algoritmos como Winograd, Tile-GemM, Conv, etc. directo, etc., para garantizar la eficiencia bajo diferentes parámetros y tamaños.
  • OP Fusion: TNN puede realizar un análisis fuera de línea del gráfico de red, fusionar múltiples operaciones simples y reducir la sobrecarga, como el acceso a la memoria redundante y el costo de inicio del núcleo.

• Aceleración de cálculo de baja precisión

  • TNN admite el modo INT8/FP16, reduce el tamaño del modelo y el consumo de memoria, y utiliza instrucciones específicas de baja precisión de hardware para acelerar los cálculos.
  • TNN admite el algoritmo INT8 Winograd, (entrada 6 bits), reduce aún más la complejidad del cálculo del modelo sin sacrificar la precisión.
  • TNN admite datos de precisión mixta en un modelo, acelerando la velocidad de cálculo del modelo al tiempo que preserva su precisión.

• Optimización de memoria

  • Implementación eficiente del "grupo de memoria": según un análisis completo de DAG de red, la implementación reutiliza la memoria entre nodos no dependientes que reduce el costo de la memoria en un 90%.
  • La memoria del modelo cruzado se reduce: esto admite un diseño externo en tiempo real para la memoria de red para que múltiples modelos puedan compartir la memoria mutua.

• El rendimiento de los modelos convencionales en TNN: datos de referencia

• Diagrama de arquitectura TNN:

  

• TNN admite TensorFlow, Pytorch, MXNET, Caffe y otros marcos de capacitación a través de ONNX, aprovechando la mejora continua de la Sociedad ONNX Open-Source. Actualmente, TNN admite más de 100 operadores ONNX, que consisten en la mayoría de los operadores de CNN, NLP, necesarios.

• TNN se ejecuta en sistemas operativos principales (Android, iOS, Linux incrustado, Windows, Linux), y es compatible con CPU ARM, GPU x86, plataforma de hardware NPU.

• TNN se construye a través de un diseño modular, que abstrae y aísla los componentes como el análisis del modelo, la construcción de gráficos, la optimización de gráficos, la adaptación de hardware de bajo nivel y el núcleo de alto rendimiento. Utiliza el "modo de fábrica" para registrar y crear dispositivos, que intenta minimizar el costo de admitir más soluciones de hardware y aceleración.

• El tamaño de la biblioteca dinámica móvil es solo de alrededor de 400 kb, y proporciona operaciones básicas de conversión de imágenes, que son ligeras y convenientes. TNN utiliza modelos e interfaces unificados en todas las plataformas y puede cambiar fácilmente configurando un solo parámetro.

Aprenda sobre las habilidades de TNN

• Soporte del operador
• Soporte modelo
• Soporte del dispositivo
• Perfil

Manual

• Compilar TNN
• Herramientas
  • Crear un modelo TNN
  • Cuantización del modelo
  • Visualización del modelo Netron
  • Análisis de rendimiento
  • Alineación del modelo
• Tutorial
  • Conversión y implementación del modelo TNN para SSD

Documento API

• Llamada de API

Contribuir a TNN

• Conceptos básicos de desarrollo
• Arquitectura detallada
• Agregar un nuevo operador
• Prueba unitaria

Hoja de ruta

• Mapa vial

Reconocimiento

TNN hizo referencia a los siguientes proyectos:

• ncnn
• maza
• MNN
• tope-onnx
• tensorflow-onnx
• ONNX
• onnxruntime
• abierto
• XBYAK
• Tensor

Licencia

• Cláusula BSD 3

Preguntas frecuentes

• Preguntas frecuentes

Unirse a nosotros

• Todos son bienvenidos a participar para construir el mejor marco de inferencia en la industria.

• Discusión técnica Grupo QQ: 704900079 Respuesta: TNN

• Escanee el código QR para unirse al grupo de discusión TNN: