Beranda>Terkait pemrograman>ular piton
Unduh

中文版本

Perkenalan

TNN: Kerangka inferensi jaringan saraf yang berkinerja tinggi dan berkinerja tinggi bersumber dari laboratorium tencent youtu. Ini juga memiliki banyak keunggulan luar biasa seperti lintas platform, kinerja tinggi, kompresi model, dan penjahit kode. Kerangka kerja TNN semakin memperkuat dukungan dan optimalisasi kinerja perangkat seluler berdasarkan kerangka kerja RapidNet dan NCNN yang asli. Pada saat yang sama, ini mengacu pada kinerja tinggi dan karakteristik skalabilitas yang baik dari kerangka kerja open source arus utama industri, dan memperluas dukungan untuk X86 dan NV GPU. Di ponsel, TNN telah digunakan oleh banyak aplikasi seperti Mobile QQ, Weishi, dan Pitu. Sebagai kerangka kerja akselerasi dasar untuk Tencent Cloud AI, TNN telah memberikan dukungan akselerasi untuk implementasi banyak bisnis. Setiap orang dipersilakan untuk berpartisipasi dalam konstruksi kolaboratif untuk mempromosikan peningkatan lebih lanjut dari kerangka kerja inferensi TNN.

Contoh Efek

Deteksi Wajah (Blazeface) Wajah Penyelarasan
(dari Tencent Youtu Lab)		 Segmentasi rambut
(dari Tencent Guangying Lab)

Tautan Model: TFLITE TNN
Tautan Model: TNN
Tautan Model: TNN
Estimasi pose
(dari Tencent Guangliu)		 Estimasi pose
(Blazepose)		 OCR Cina

Tautan Model: TNN
Tautan Model: TFLITE TNN
Tautan Model: Onnx TNN
Deteksi Objek (YOLOV5S) Deteksi Objek (MobileNetV2-SSD) Pemahaman membaca

Tautan Model: Onnx TNN 		MOBILENETV2_SSD
Tautan Model: TensorFlow TNN
Tautan Model: Onnx TNN

Demo OCR Cina adalah implementasi TNN dari Proyek Chinaocr_lite. Ini ringan dan mendukung pengenalan teks miring, diputar dan vertikal.

Dukungan untuk setiap demo ditampilkan di tabel berikut. Anda dapat mengklik ✅ dan menemukan kode masuk untuk setiap demo.

demo LENGAN OpenCl Logam Huawei NPU Apple NPU X86 Cuda
Deteksi Wajah (Blazeface) ✅ ✅ ✅ ✅ ✅ ✅ ✅
Deteksi Objek (YOLOV5S) ✅ ✅ ✅ ✅ ✅ ✅ ✅
Wajah Penyelarasan ✅ ✅ ✅ ✅ ✅ ✅ ✅
Segmentasi rambut ✅ ✅ ✅ ✅ ✅ ✅ ✅
Estimasi pose
(dari Tencent Guangliu)		 ✅ ✅ ✅ ✅ ✅ ✅ ✅
Estimasi Pose (Blazepose) ✅ ✅ ✅ ✅ ✅ ✅ ✅
OCR Cina ✅ ✅ ✅ ✅ ✅
Pemahaman membaca ✅ ✅

Awal yang cepat

Sangat mudah untuk menggunakan TNN. Jika Anda memiliki model terlatih, model dapat digunakan pada platform target melalui tiga langkah.

  1. Konversi model terlatih menjadi model TNN. Kami menyediakan banyak alat untuk membantu Anda menyelesaikan langkah ini, apakah Anda menggunakan TensorFlow, Pytorch, atau Caffe, Anda dapat dengan mudah menyelesaikan konversi. Tutorial langsung yang terperinci dapat ditemukan di sini cara membuat model TNN.

  2. Setelah Anda selesai mengonversi model, langkah kedua adalah mengkompilasi mesin TNN dari platform target. Anda dapat memilih di antara solusi akselerasi yang berbeda seperti ARM/OPENCL/METAL/NPU/X86/CUDA sesuai dengan dukungan perangkat keras. Untuk platform ini, TNN menyediakan skrip satu klik yang nyaman untuk dikompilasi. Untuk langkah -langkah terperinci, silakan merujuk cara mengkompilasi tnn.

  3. Langkah terakhir adalah menggunakan mesin TNN yang dikompilasi untuk inferensi. Anda dapat melakukan panggilan program ke TNN di dalam aplikasi Anda. Kami memberikan demo yang kaya dan terperinci sebagai referensi untuk membantu Anda menyelesaikannya.

    • Jalankan demo iOS
    • Jalankan demo Android
    • Jalankan demo Linux/Windows

Solusi teknis

Saat ini, TNN telah diluncurkan di berbagai bisnis besar, dan karakteristik berikut telah dipuji secara luas.

  • Optimalisasi Komputasi

    • Operator backend sangat dioptimalkan untuk memanfaatkan daya komputasi terbaik dalam arsitektur yang berbeda, mengenai masalah instruksi, throughput, keterlambatan, bandwidth cache, penundaan cache, register, dll.
    • Kinerja TNN pada platform perangkat keras utama (CPU: ARMV7, ARMV8, x86, GPU: Mali, Adreno, Apple, GPU NV, NPU) telah disesuaikan dan ditingkatkan.
    • Fungsi konvolusi diimplementasikan oleh berbagai algoritma seperti Winograd, Tile-Gemm, Direct CONV, dll., Untuk memastikan efisiensi di bawah parameter dan ukuran yang berbeda.
    • OP Fusion: TNN dapat melakukan analisis offline grafik jaringan, memadukan beberapa operasi sederhana dan mengurangi overhead seperti akses memori yang berlebihan dan biaya startup kernel.

  • Percepatan komputasi presisi rendah

    • TNN mendukung mode int8/fp16, mengurangi ukuran model & konsumsi memori, dan menggunakan instruksi presisi rendah perangkat keras tertentu untuk mempercepat perhitungan.
    • TNN mendukung algoritma Winograd Int8, (input 6bit), lebih lanjut mengurangi kompleksitas perhitungan model tanpa mengorbankan keakuratan.
    • TNN mendukung data presisi campuran dalam satu model, mempercepat kecepatan perhitungan model sambil mempertahankan akurasinya.

  • Optimasi memori

    • Implementasi "kumpulan memori" yang efisien: Berdasarkan analisis DAG jaringan penuh, implementasi menggunakan kembali memori antara node yang tidak tergantung yang mengurangi biaya memori sebesar 90%.
    • Memori Cross-Model Mengurangi: Ini mendukung desain real-time eksternal untuk memori jaringan sehingga beberapa model dapat berbagi memori bersama.

  • Kinerja model utama pada TNN: data benchmark

  • Diagram Arsitektur TNN ：

  • TNN mendukung TensorFlow, Pytorch, Mxnet, Caffe, dan kerangka kerja pelatihan lainnya melalui ONNX, memanfaatkan peningkatan berkelanjutan dari masyarakat open-source Onnx. Saat ini, TNN mendukung 100+ operator ONNX, yang terdiri dari sebagian besar operator CNN, NLP utama yang dibutuhkan.

  • TNN berjalan pada sistem operasi utama (Android, iOS, Linux tertanam, Windows, Linux), dan kompatibel dengan CPU ARM, X86 GPU, platform perangkat keras NPU.

  • TNN dibangun melalui desain modular, yang abstrak dan mengisolasi komponen seperti analisis model, konstruksi grafik, optimasi grafik, adaptasi perangkat keras tingkat rendah, dan kernel berkinerja tinggi. Ini menggunakan "mode pabrik" untuk mendaftarkan dan membangun perangkat, yang mencoba meminimalkan biaya lebih banyak solusi perangkat keras dan akselerasi.

  • Ukuran pustaka dinamis seluler hanya sekitar 400kb, dan menyediakan operasi konversi gambar dasar, yang ringan dan nyaman. TNN menggunakan model dan antarmuka terpadu di seluruh platform dan dapat beralih dengan mudah dengan mengkonfigurasi hanya satu parameter tunggal.

Pelajari tentang kemampuan TNN

  • Dukungan operator
  • Dukungan Model
  • Dukungan perangkat
  • Profil

Manual

  • Kompilasi tnn
  • Peralatan
    • Buat model TNN
    • Kuantisasi model
    • Netron visualisasi model
    • Analisis Kinerja
    • Penyelarasan model
  • Tutorial
    • Konversi dan penyebaran model TNN untuk SSD

Dokumen API

  • Panggilan API

Berkontribusi pada TNN

  • Dasar -dasar Pengembangan
  • Arsitektur terperinci
  • Tambahkan operator baru
  • Tes unit

Peta jalan

  • Peta jalan

Pengakuan

TNN merujuk proyek -proyek berikut ：

  • ncnn
  • bunga pala
  • Mnn
  • Caffe-INNX
  • TensorFlow-INNX
  • onnx
  • onnxruntime
  • Openvino
  • xbyak
  • Tensorrt

Lisensi

  • Klausa BSD 3

FAQ

  • FAQ

Bergabunglah dengan kami

  • Setiap orang dipersilakan untuk berpartisipasi untuk membangun kerangka kerja inferensi terbaik di industri ini.

  • Diskusi Teknis QQ Group: 704900079 Jawaban: TNN

  • Pindai kode QR untuk bergabung dengan grup diskusi TNN ：

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua