TNN

中文版本

介紹

TNN：由Tencent Youtu Lab開源的高性能，輕巧的神經網絡推理框架。它還具有許多出色的優勢，例如跨平台，高性能，模型壓縮和代碼裁縫。 TNN框架進一步增強了基於原始RapidNet和NCNN框架的移動設備的支持和性能優化。同時，它指的是該行業主流開源框架的高性能和良好的可擴展性特徵，並擴展了對X86和NV GPU的支持。在手機上，Mobile QQ，Weishi和Pitu等許多應用程序都使用了TNN。作為騰訊雲AI的基本加速框架，TNN為實施許多企業提供了加速支持。歡迎每個人參加協作建設，以促進TNN推理框架的進一步改進。

效果示例

面部檢測（Blazeface）	面對對齊 （來自Tencent Youtu Lab）	頭髮細分 （摘自Tencent Guangying Lab）
型號鏈接：Tflite TNN	型號鏈接：TNN	型號鏈接：TNN

姿勢估計 （摘自騰訊廣告）	姿勢估計 （Blazepose）	中國OCR
型號鏈接：TNN	型號鏈接：Tflite TNN	型號鏈接：ONNX TNN

對象檢測（yolov5s）	對象檢測（MobilenetV2-SSD）	閱讀理解
型號鏈接：ONNX TNN	型號鏈接：TensorFlow TNN	型號鏈接：ONNX TNN

中國OCR演示是中國ock_lite項目的TNN實施。它是輕巧的，支持傾斜，旋轉和垂直文本識別。

下表顯示了每個演示的支持。您可以單擊✅並找到每個演示的入口代碼。

演示	手臂	OPENCL	金屬	華為NPU	蘋果NPU	x86	庫達
面部檢測（Blazeface）	✅	✅	✅	✅	✅	✅	✅
對象檢測（yolov5s）	✅	✅	✅	✅	✅	✅	✅
面對對齊	✅	✅	✅	✅	✅	✅	✅
頭髮細分	✅	✅	✅	✅	✅	✅	✅
姿勢估計 （摘自騰訊廣告）	✅	✅	✅	✅	✅	✅	✅
姿勢估計（Blazepose）	✅	✅	✅	✅	✅	✅	✅
中國OCR	✅	✅	✅			✅	✅
閱讀理解						✅	✅

快速開始

使用TNN非常簡單。如果您有訓練有素的模型，則可以通過三個步驟將模型部署在目標平台上。

1. 將訓練的模型轉換為TNN模型。我們提供大量工具來幫助您完成此步驟，無論您是使用TensorFlow，Pytorch還是Caffe，都可以輕鬆完成轉換。可以在此處找到詳細的動手教程如何創建TNN模型。

2. 完成模型轉換後，第二步是編譯目標平台的TNN引擎。您可以根據硬件支持在不同的加速解決方案中進行選擇，例如ARM/OPENCL/METAR/NPU/X86/CUDA。對於這些平台，TNN提供了方便的一鍵式腳本來編譯。有關詳細的步驟，請參閱如何編譯TNN。

3. 最後一步是使用編譯的TNN引擎進行推理。您可以在應用程序內對TNN進行程序調用。我們提供豐富而詳細的演示，以幫助您完成。

   • 運行iOS演示
   • 運行Android演示
   • 運行Linux/Windows演示

技術解決方案

目前，TNN已在各種主要業務中啟動，其以下特徵得到了廣泛讚揚。

• 計算優化

  • 後端操作員經過優化，以充分利用不同體系結構中的計算能力，涉及指令問題，吞吐量，延遲，高速緩存帶寬，緩存延遲，寄存器等。
  • 主流硬件平台（CPU：ARMV7，ARMV8，X86，GPU：Mali，Adreno，Apple，Apple，NV GPU，NPU，NPU）上的TNN性能得到了極大的調整和改進。
  • 卷積函數由Winograd，Tile-Gemm，Direct Conv等等各種算法實現，以確保在不同的參數和大小下的效率。
  • OP Fusion：TNN可以對網絡圖進行離線分析，融合多個簡單操作並減少開銷，例如冗餘內存訪問和內核啟動成本。

• 低精度計算加速度

  • TNN支持INT8/FP16模式，降低模型大小和內存消耗，並利用特定的硬件低精度說明來加速計算。
  • TNN支持INT8 Winograd算法（輸入6位），進一步降低了模型計算複雜性而無需犧牲準確性。
  • TNN支持一個模型中的混合精確數據，在保留其準確性的同時加快了模型的計算速度。

• 內存優化

  • 有效的“內存池”實現：基於完整的網絡DAG分析，該實現將不依賴性節點之間的內存重新降低了內存成本90％。
  • 跨模型內存減少：這支持網絡內存的外部實時設計，以便多個模型可以共享相互存儲器。

• TNN上主流模型的性能：基準數據

• TNN體系結構圖：

  

• TNN通過ONNX支持Tensorflow，Pytorch，Mxnet，Caffe和其他培訓框架，利用ONNX開源協會的持續改進。目前，TNN支持100多個ONNX運營商，由大多數主流CNN，NLP操作員組成。

• TNN在主流操作系統（Android，iOS，Embedded Linux，Windows，Linux）上運行，並且與ARM CPU，X86 GPU，NPU硬件平台兼容。

• TNN是通過模塊化設計構建的，該設計構建了諸如模型分析，圖形構造，圖形優化，低級硬件適應和高性能內核等組件的分離。它使用“工廠模式”進行註冊和構建設備，以最大程度地減少支持更多硬件和加速解決方案的成本。

• 移動動態庫的大小僅約400kb，並且提供了輕巧和方便的基本圖像轉換操作。 TNN使用跨平台的統一模型和接口，可以通過僅配置一個參數來輕鬆切換。

了解TNN能力

• 操作員支持
• 模型支持
• 設備支持
• 分析

手動的

• 編譯TNN
• 工具
  • 創建一個TNN模型
  • 模型量化
  • 模型可視化網絡
  • 績效分析
  • 模型對準
• 教程
  • SSD的TNN模型轉換和部署

API文檔

• API呼叫

為TNN做出貢獻

• 發展基礎知識
• 詳細的體系結構
• 添加新操作員
• 單位測試

路線圖

• 路線圖

致謝

TNN引用了以下項目：

• NCNN
• 錘
• MNN
• Caffe-onnx
• TensorFlow-onnx
• onnx
• Onnxruntime
• Openvino
• Xbyak
• 張力

執照

• BSD 3子句

常問問題

• 常問問題

加入我們

• 歡迎每個人參加，以建立行業中最佳推理框架。

• 技術討論QQ組：704900079答案：TNN

• 掃描QR碼加入TNN討論組：