TNN

中文版本

การแนะนำ

TNN: เฟรมเวิร์กเครือข่ายการอนุมานที่มีประสิทธิภาพสูงและมีน้ำหนักเบาเปิดโดย Tencent Youtu Lab นอกจากนี้ยังมีข้อได้เปรียบที่โดดเด่นมากมายเช่นข้ามแพลตฟอร์มประสิทธิภาพสูงการบีบอัดรุ่นและการปรับแต่งรหัส Framework TNN เสริมสร้างการสนับสนุนและประสิทธิภาพการเพิ่มประสิทธิภาพของอุปกรณ์มือถือบนพื้นฐานของเฟรมเวิร์ก Rapidnet และ NCNN ดั้งเดิม ในเวลาเดียวกันมันหมายถึงประสิทธิภาพสูงและลักษณะความสามารถในการปรับขนาดที่ดีของกรอบโอเพ่นซอร์สหลักของอุตสาหกรรมและขยายการสนับสนุนสำหรับ X86 และ NV GPU บนโทรศัพท์มือถือ TNN ถูกใช้งานโดยแอปพลิเคชันหลายอย่างเช่น Mobile QQ, Weishi และ Pitu ในฐานะที่เป็นกรอบการเร่งความเร็วขั้นพื้นฐานสำหรับ Tencent Cloud AI TNN ได้ให้การสนับสนุนการเร่งความเร็วสำหรับการดำเนินการของธุรกิจหลายแห่ง ทุกคนยินดีที่จะเข้าร่วมในการก่อสร้างร่วมกันเพื่อส่งเสริมการปรับปรุงเพิ่มเติมของกรอบการอนุมาน TNN

ตัวอย่างผล

การตรวจจับใบหน้า (Blazeface)	การจัดแนวหน้า (จาก Tencent Youtu Lab)	การแบ่งส่วนผม (จาก Tencent Guangying Lab)
ลิงค์โมเดล: tflite tnn	ลิงค์โมเดล: TNN	ลิงค์โมเดล: TNN

การประเมินท่าทาง (จาก Tencent Guangliu)	การประเมินท่าทาง (blazepose)	OCR จีน
ลิงค์โมเดล: TNN	ลิงค์โมเดล: tflite tnn	ลิงค์โมเดล: onnx tnn

การตรวจจับวัตถุ (yolov5s)	การตรวจจับวัตถุ (Mobilenetv2-SSD)	การอ่านความเข้าใจ
ลิงค์โมเดล: onnx tnn	ลิงค์โมเดล: Tensorflow TNN	ลิงค์โมเดล: onnx tnn

การสาธิต OCR ของจีนคือการใช้งาน TNN ของโครงการ Chineseocr_lite มันมีน้ำหนักเบาและรองรับการจดจำข้อความที่เอียงหมุนและแนวตั้ง

การสนับสนุนสำหรับการสาธิตแต่ละครั้งจะแสดงในตารางต่อไปนี้ คุณสามารถคลิก✅และค้นหารหัสทางเข้าสำหรับการสาธิตแต่ละครั้ง

การสาธิต	แขน	opencl	โลหะ	Huawei NPU	Apple NPU	x86	คนขี้เกียจ
การตรวจจับใบหน้า (Blazeface)
การตรวจจับวัตถุ (yolov5s)
การจัดแนวหน้า
การแบ่งส่วนผม
การประเมินท่าทาง (จาก Tencent Guangliu)
การประเมินท่าทาง (Blazepose)
OCR จีน
การอ่านความเข้าใจ

เริ่มต้นอย่างรวดเร็ว

มันง่ายมากที่จะใช้ TNN หากคุณมีรูปแบบที่ผ่านการฝึกอบรมโมเดลสามารถปรับใช้บนแพลตฟอร์มเป้าหมายผ่านสามขั้นตอน

1. แปลงโมเดลที่ผ่านการฝึกอบรมให้เป็นรุ่น TNN เราจัดหาเครื่องมือมากมายเพื่อช่วยให้คุณทำตามขั้นตอนนี้ไม่ว่าคุณจะใช้ TensorFlow, Pytorch หรือคาเฟอีนคุณสามารถทำการแปลงให้เสร็จได้อย่างง่ายดาย แบบฝึกหัดที่มีรายละเอียดสามารถพบได้ที่นี่วิธีการสร้างโมเดล TNN

2. เมื่อคุณแปลงรุ่นเสร็จแล้วขั้นตอนที่สองคือการรวบรวมเอ็นจิ้น TNN ของแพลตฟอร์มเป้าหมาย คุณสามารถเลือกโซลูชันการเร่งความเร็วที่แตกต่างกันเช่น ARM/opencl/metal/npu/x86/cuda ตามการสนับสนุนฮาร์ดแวร์ สำหรับแพลตฟอร์มเหล่านี้ TNN ให้สคริปต์คลิกเดียวที่สะดวกในการรวบรวม สำหรับขั้นตอนโดยละเอียดโปรดดูวิธีการรวบรวม TNN

3. ขั้นตอนสุดท้ายคือการใช้เครื่องยนต์ TNN ที่คอมไพล์เพื่อการอนุมาน คุณสามารถโทรออกโปรแกรมไปยัง TNN ภายในแอปพลิเคชันของคุณ เราให้การสาธิตที่หลากหลายและมีรายละเอียดเพื่อช่วยให้คุณเสร็จสมบูรณ์

   • เรียกใช้การสาธิต iOS
   • เรียกใช้การสาธิต Android
   • เรียกใช้การสาธิต Linux/Windows

โซลูชั่นทางเทคนิค

ในปัจจุบัน TNN ได้รับการเปิดตัวในธุรกิจที่สำคัญต่าง ๆ และลักษณะดังต่อไปนี้ได้รับการยกย่องอย่างกว้างขวาง

• การเพิ่มประสิทธิภาพการคำนวณ

  • ตัวดำเนินการแบ็กเอนด์ได้รับการปรับให้เหมาะสมที่สุดเพื่อใช้ประโยชน์จากพลังการคำนวณที่ดีที่สุดในสถาปัตยกรรมที่แตกต่างกันเกี่ยวกับปัญหาการเรียนการสอน, ปริมาณงาน, การหน่วงเวลา, แคชแบนด์วิดธ์, การหน่วงเวลาแคช, การลงทะเบียน ฯลฯ
  • ประสิทธิภาพ TNN บนแพลตฟอร์มฮาร์ดแวร์กระแสหลัก (CPU: ARMV7, ARMV8， x86, GPU: Mali, Adreno, Apple， NV GPU， NPU) ได้รับการปรับและปรับปรุงอย่างมาก
  • ฟังก์ชั่น convolution ถูกนำมาใช้โดยอัลกอริทึมต่างๆเช่น Winograd, Tile-GEMM, Direct Conv ฯลฯ เพื่อให้แน่ใจว่ามีประสิทธิภาพภายใต้พารามิเตอร์และขนาดที่แตกต่างกัน
  • OP FUSION: TNN สามารถทำการวิเคราะห์แบบออฟไลน์ของกราฟเครือข่ายหลอมรวมการดำเนินการง่าย ๆ หลายอย่างและลดค่าใช้จ่ายเช่นการเข้าถึงหน่วยความจำซ้ำซ้อนและต้นทุนการเริ่มต้นเคอร์เนล

• การเร่งความเร็วการคำนวณที่แม่นยำต่ำ

  • TNN รองรับโหมด INT8/FP16 ลดขนาดของรุ่นและการใช้หน่วยความจำและใช้คำแนะนำเฉพาะฮาร์ดแวร์ที่มีความแม่นยำต่ำเพื่อเร่งการคำนวณ
  • TNN รองรับอัลกอริทึม Int8 Winograd, (อินพุต 6 บิต) ลดความซับซ้อนในการคำนวณแบบจำลองโดยไม่ลดความแม่นยำ
  • TNN รองรับข้อมูลความแม่นยำผสมในรุ่นเดียวเร่งความเร็วการคำนวณของโมเดลในขณะที่รักษาความแม่นยำ

• การเพิ่มประสิทธิภาพหน่วยความจำ

  • การใช้งาน "หน่วยความจำพูล" ที่มีประสิทธิภาพ: จากการวิเคราะห์ DAG เครือข่ายเต็มรูปแบบการใช้งานจะนำหน่วยความจำมาใช้ซ้ำระหว่างโหนดที่ไม่ขึ้นอยู่กับซึ่งลดต้นทุนหน่วยความจำลง 90%
  • หน่วยความจำ Cross-Model ลดลง: สิ่งนี้รองรับการออกแบบแบบเรียลไทม์ภายนอกสำหรับหน่วยความจำเครือข่ายเพื่อให้หลายรุ่นสามารถแชร์หน่วยความจำร่วมกันได้

• ประสิทธิภาพของโมเดลกระแสหลักบน TNN: ข้อมูลมาตรฐาน

• แผนภาพสถาปัตยกรรม TNN：

  

• TNN รองรับ Tensorflow, Pytorch, MXNET, คาเฟอีนและกรอบการฝึกอบรมอื่น ๆ ผ่าน ONNX ใช้ประโยชน์จากการปรับปรุงอย่างต่อเนื่องของสมาคมโอเพนซอร์ส ONNX ปัจจุบัน TNN รองรับผู้ให้บริการ ONNX กว่า 100 รายซึ่งประกอบด้วยผู้ให้บริการ CNN หลักส่วนใหญ่ที่จำเป็น

• TNN ทำงานบนระบบปฏิบัติการกระแสหลัก (Android, iOS, Linux แบบฝัง, Windows, Linux) และเข้ากันได้กับ ARM CPU, X86 GPU, แพลตฟอร์มฮาร์ดแวร์ NPU

• TNN ถูกสร้างขึ้นผ่านการออกแบบแบบแยกส่วนซึ่งเป็นนามธรรมและแยกส่วนประกอบต่าง ๆ เช่นการวิเคราะห์แบบจำลองการสร้างกราฟการเพิ่มประสิทธิภาพกราฟการปรับฮาร์ดแวร์ระดับต่ำและเคอร์เนลประสิทธิภาพสูง มันใช้ "โหมดโรงงาน" เพื่อลงทะเบียนและสร้างอุปกรณ์ซึ่งพยายามลดค่าใช้จ่ายในการสนับสนุนโซลูชันฮาร์ดแวร์และการเร่งความเร็วมากขึ้น

• ขนาดของห้องสมุดไดนามิกมือถือมีเพียงประมาณ 400KB และให้การดำเนินการแปลงภาพพื้นฐานซึ่งมีน้ำหนักเบาและสะดวก TNN ใช้รุ่น Unified และอินเทอร์เฟซข้ามแพลตฟอร์มและสามารถสลับได้อย่างง่ายดายโดยการกำหนดค่าพารามิเตอร์เดียวเพียงหนึ่งพารามิเตอร์

เรียนรู้เกี่ยวกับความสามารถของ TNN

• การสนับสนุนผู้ประกอบการ
• การสนับสนุนแบบจำลอง
• รองรับอุปกรณ์
• การทำโปรไฟล์

คู่มือ

• รวบรวม TNN
• เครื่องมือ
  • สร้างโมเดล TNN
  • การหาปริมาณแบบจำลอง
  • การสร้างภาพแบบจำลอง Netron
  • การวิเคราะห์ประสิทธิภาพ
  • การจัดตำแหน่งแบบจำลอง
• การสอน
  • การแปลงโมเดล TNN และการปรับใช้สำหรับ SSD

เอกสาร API

• API CALL

มีส่วนร่วมใน TNN

• พื้นฐานการพัฒนา
• สถาปัตยกรรมโดยละเอียด
• เพิ่มผู้ให้บริการใหม่
• การทดสอบหน่วย

แผนงาน

• แผนที่ถนน

การรับทราบ

TNN อ้างอิงโครงการต่อไปนี้：

• ncnn
• คทา
• มินนิโซตา
• คาเฟอีน
• Tensorflow-onnx
• onnx
• onnxruntime
• Openvino
• Xbyak
• Tensorrt

ใบอนุญาต

• BSD 3 ประโยค

คำถามที่พบบ่อย

• คำถามที่พบบ่อย

เข้าร่วมกับเรา

• ทุกคนยินดีที่จะเข้าร่วมเพื่อสร้างกรอบการอนุมานที่ดีที่สุดในอุตสาหกรรม

• การสนทนาทางเทคนิค QQ Group: 704900079 คำตอบ: TNN

• สแกนรหัส QR เพื่อเข้าร่วมกลุ่มสนทนา TNN：