TNN

中文版本

Einführung

TNN: Ein hochleistungsfähiges, leichtes Neural-Netzwerk-Inferenz-Framework von Tencent YouTu Lab. Es hat auch viele herausragende Vorteile wie plattformübergreifende, hohe Leistung, Modellkomprimierung und Code-Anpassung. Das TNN -Framework stärkt die Unterstützung und Leistungsoptimierung von Mobilgeräten auf der Grundlage der ursprünglichen Rapidnet- und NCNN -Frameworks weiter. Gleichzeitig bezieht es sich auf die hohen Leistung und die guten Skalierbarkeitsmerkmale der Mainstream -Open -Source -Frameworks der Branche und erweitert die Unterstützung für X86- und NV -GPUs. Auf dem Mobiltelefon wurde TNN von vielen Anwendungen wie Mobile QQ, Weishi und PITU verwendet. Als grundlegender Beschleunigungsrahmen für Tencent Cloud AI hat TNN Beschleunigungsunterstützung für die Implementierung vieler Unternehmen geliefert. Jeder ist herzlich eingeladen, an der kollaborativen Konstruktion teilzunehmen, um die weitere Verbesserung des TNN -Inferenz -Frameworks zu fördern.

Effektbeispiel

Gesichtserkennung (Blazeface)	Gesichtsausrichtung (aus Tencent YouTu Lab)	Haarsegmentierung (aus Tencent Guangying Lab)
Modelllink: Tflite TNN	Modelllink: tnn	Modelllink: tnn

POSE -Schätzung (von Tencent Guangliu)	POSE -Schätzung (Blazepose)	Chinesische OCR
Modelllink: tnn	Modelllink: Tflite TNN	Modelllink: Onnx TNN

Objekterkennung (Yolov5s)	Objekterkennung (Mobilenetv2-SSD)	Leseverständnis
Modelllink: Onnx TNN	Modelllink: TensorFlow TNN	Modelllink: Onnx TNN

Die chinesische OCR -Demo ist die TNN -Implementierung des chinesischen Projekts. Es ist leicht und unterstützt geneigte, gedrehte und vertikale Texterkennung.

Die Unterstützung für jede Demo ist in der folgenden Tabelle angezeigt. Sie können auf ✅ klicken und den Eingangscode für jede Demo finden.

Demo	ARM	Opencl	Metall	Huawei npu	Apple NPU	X86	CUDA
Gesichtserkennung (Blazeface)	✅	✅	✅	✅	✅	✅	✅
Objekterkennung (Yolov5s)	✅	✅	✅	✅	✅	✅	✅
Gesichtsausrichtung	✅	✅	✅	✅	✅	✅	✅
Haarsegmentierung	✅	✅	✅	✅	✅	✅	✅
POSE -Schätzung (von Tencent Guangliu)	✅	✅	✅	✅	✅	✅	✅
Posenschätzung (Blazepose)	✅	✅	✅	✅	✅	✅	✅
Chinesische OCR	✅	✅	✅			✅	✅
Leseverständnis						✅	✅

Schneller Start

Es ist sehr einfach, TNN zu verwenden. Wenn Sie ein geschultes Modell haben, kann das Modell in drei Schritten auf der Zielplattform eingesetzt werden.

1. Umwandeln Sie das trainierte Modell in ein TNN -Modell. Wir bieten eine Fülle von Werkzeugen, mit denen Sie diesen Schritt abschließen können, unabhängig davon, ob Sie TensorFlow, Pytorch oder Caffe verwenden, die Konvertierung problemlos abschließen können. Detaillierte praktische Tutorials finden Sie hier, wie Sie ein TNN-Modell erstellen.

2. Wenn Sie das Modell beendet haben, besteht der zweite Schritt darin, die TNN -Engine der Zielplattform zu kompilieren. Sie können zwischen verschiedenen Beschleunigungslösungen wie Arm/OpenCL/Metal/NPU/X86/CUDA gemäß der Hardware -Unterstützung wählen. Für diese Plattformen bietet TNN bequeme Ein-Klick-Skripte zum Kompilieren. Ausführliche Schritte finden Sie unter der Kompilierung von TNN.

3. Der letzte Schritt besteht darin, den kompilierten TNN -Motor für die Inferenz zu verwenden. Sie können Programmanrufe bei TNN in Ihrer Anwendung tätigen. Wir bieten eine reichhaltige und detaillierte Demo als Referenz, um Ihnen zu helfen.

   • Führen Sie eine iOS -Demo durch
   • Führen Sie eine Android -Demo durch
   • Führen Sie eine Linux/Windows -Demo aus

Technische Lösungen

Derzeit wurde TNN in verschiedenen großen Unternehmen eingeführt, und seine folgenden Merkmale wurden weit verbreitet.

• Berechnungsoptimierung

  • Die Backend -Operatoren sind grundlegend optimiert, um die Rechenleistung in verschiedenen Architekturen in Bezug auf den Anweisungs Problem, den Durchsatz, die Verzögerung, die Cache -Bandbreite, die Cache -Verzögerung, die Register usw. optimal zu nutzen.
  • Die TNN -Leistung auf Mainstream -Hardware -Plattformen (CPU: ARMV7, ARMV8 ， X86, GPU: Mali, Adreno, Apple ， NV GPU ， NPU) wurde stark abgestimmt und verbessert.
  • Die Faltungsfunktion wird von verschiedenen Algorithmen wie Winograd, Fliesen-GEMM, Direct Conv usw. implementiert, um die Effizienz unter verschiedenen Parametern und Größen zu gewährleisten.
  • OP -Fusion: TNN kann eine Offline -Analyse des Netzwerkdiagramms durchführen, mehrere einfache Vorgänge abschließen und Overhead wie redundanter Speicherzugriff und Kernel -Startkosten reduzieren.

• Berechnungsbeschleunigung mit geringer Präzision

  • TNN unterstützt den INT8/FP16-Modus, reduziert die Modellgröße und den Speicherverbrauch und verwendet spezifische Anweisungen mit niedriger Voraussetzungen, um Berechnungen zu beschleunigen.
  • TNN unterstützt den INT8 -Winograd -Algorithmus (Eingabe 6bit) und reduziert die Komplexität der Modellberechnung weiter, ohne die Genauigkeit zu beeinträchtigen.
  • TNN unterstützt Mixed-Precision-Daten in einem Modell und beschleunigt die Berechnungsgeschwindigkeit des Modells und die Genauigkeit.

• Speicheroptimierung

  • Effiziente "Speicherpool" -Implementierung: Basierend auf einer vollständigen Netzwerk-DAG-Analyse wiederverwendet die Implementierung den Speicher zwischen nicht abhängigen Knoten, wodurch die Speicherkosten um 90%gesenkt werden.
  • Der Cross-Model-Speicher reduziert: Dies unterstützt das externe Echtzeit-Design für den Netzwerkspeicher, sodass mehrere Modelle gegenseitige Speicher teilen können.

• Die Leistung von Mainstream -Modellen auf TNN: Benchmark -Daten

• TNN Architekturdiagramm:

  

• TNN unterstützt TensorFlow, Pytorch, MXNET, Caffe und andere Trainingsrahmen über ONNX und nutzt die kontinuierliche Verbesserung der Open-Source-Gesellschaft von ONNX. Derzeit unterstützt TNN mehr als 100 ONNX -Operatoren, die aus den meisten Mainstream -CNN -NLP -Operatoren bestehen.

• TNN läuft auf Mainstream -Betriebssystemen (Android, iOS, eingebetteter Linux, Windows, Linux) und ist mit ARM -CPU, X86 GPU, NPU -Hardware -Plattform kompatibel.

• TNN wird durch modulares Design konstruiert, das Komponenten wie Modellanalyse, Diagrammkonstruktion, Diagrammoptimierung, Hardwareanpassung auf niedriger Ebene und Hochleistungskern abstrahiert und isoliert. Es verwendet "Werksmodus", um Geräte zu registrieren und zu erstellen, um die Kosten für die Unterstützung mehr Hardware- und Beschleunigungslösungen zu minimieren.

• Die Größe der mobilen dynamischen Bibliothek beträgt nur etwa 400 KB und bietet grundlegende Bildumwandlungsvorgänge, die leicht und bequem sind. TNN verwendet einheitliche Modelle und Schnittstellen über Plattformen hinweg und kann einfach wechseln, indem nur ein einzelner Parameter konfiguriert wird.

Erfahren Sie mehr über die Fähigkeiten der TNN

• Betreiberunterstützung
• Modellunterstützung
• Geräteunterstützung
• Profilerstellung

Handbuch

• TNN kompilieren
• Werkzeuge
  • Erstellen Sie ein TNN -Modell
  • Modellquantisierung
  • Modellvisualisierung Netron
  • Leistungsanalyse
  • Modellausrichtung
• Tutorial
  • TNN -Modellkonvertierung und -Verberierung für SSD

API -Dokument

• API -Anruf

Beitragen zu tnn

• Entwicklungsgrundlagen
• Detaillierte Architektur
• Fügen Sie einen neuen Bediener hinzu
• Einheitstest

Roadmap

• Straßenkarte

Anerkennung

TNN bezog sich auf die folgenden Projekte::

• ncnn
• Keule
• Mnn
• Kaffe-Onnx
• Tensorflow-onnx
• Onnx
• Onnxruntime
• OpenVino
• XBYAK
• Tensorrt

Lizenz

• BSD 3 Klausel

FAQ

• FAQ

Begleiten Sie uns

• Jeder ist herzlich eingeladen, sich am besten Inferenz -Framework der Branche zu entwickeln.

• Technische Diskussion QQ Group: 704900079 Antwort: TNN

• Scannen Sie den QR -Code, um der TNN -Diskussionsgruppe beizutreten: