หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Clip-Imagesearch-NCNN

แนวคิด : ฉันคิดว่าโครงการนี้เหมาะมากสำหรับฟังก์ชั่นการค้นหาอัลบั้มภาพถ่ายของโทรศัพท์มือถือของ Yongcheng โดยแอบดูทุกภาพในพื้นหลังเพื่อแยกคุณสมบัติเพื่อให้ผลลัพธ์สามารถผลิตได้ในไม่กี่วินาทีเมื่อใช้ในตอนท้าย นอกจากนี้ยังให้ความน่าจะเป็นที่ตรงกันของแต่ละภาพซึ่งสามารถแสดงจากสูงถึงต่ำตามความน่าจะเป็นที่จะส่งคืนผลลัพธ์ของสตรีมภาพ

ทำไม ฉันถึงต้องการคลิปเพราะฉันต้องการทำ GPT มาก่อน (นำกระแส GPT2-Chinesechat-NCNN อย่างไร้ยางอาย)

โมเดลที่จะทำ : คลิปเหมือนกับ GPT ด้วยการเล่นเกมมากมาย เมื่อฉันเห็นโครงการนี้ฉันรู้ว่านี่เป็นฟังก์ชั่นที่เกิดมาเพื่อให้พอดีกับอัลบั้มโทรศัพท์มือถือ

วัตถุประสงค์การทำงาน : ใช้ NCNN เพื่อปรับใช้คลิปเพื่อดึงภาพในภาษาธรรมชาติ

PS : งานยุ่งอัปเดตช้าเพียงดาวเดียว

หมายเหตุ : เพื่ออำนวยความสะดวกให้ทุกคนดาวน์โหลดทุกรุ่นและไฟล์ดำเนินการได้ถูกอัปโหลดไปยัง GitHub

การสาธิต

Android: APK ที่สามารถทำงานได้โดยตรง

ภาพ

ภาพ

การใช้งาน:

  1. คลิก "สแกนอัลบั้ม" ก่อนและสแกนรูปภาพบางส่วนในโทรศัพท์ของคุณ
  2. ตามจำนวนรูปภาพในแต่ละช่วงเวลาให้เลือกการแยกคุณสมบัติที่เหมาะสม (เวลาเป็นสัดส่วนกับจำนวนรูปภาพบน Kirin 970 คือ 0.5s ช้า ฯลฯ )
  3. ป้อนเนื้อหาที่คุณต้องการค้นหาในกล่องด้านล่างอย่าลืมใช้ภาษาอังกฤษ! - -
  4. สุดท้ายคลิก "ค้นหา" และคุณจะได้รับผลลัพธ์ (ผลลัพธ์จะได้รับการเผยแพร่ใน 1.5s บน Kirin 970)

x86: exe ที่สามารถทำงานได้โดยตรง

ภาพ

การใช้งาน: เพียงคลิกตามลำดับของปุ่มตัวอย่างเช่น:

  1. คลิกแรก "1.Select Gallery" และเลือกโฟลเดอร์แกลเลอรี่ของ repo
  2. จากนั้นคลิก "2. แยกคุณสมบัติแกลเลอรี่" เพื่อแยกลักษณะของรูปภาพทั้งหมดในโฟลเดอร์ที่เลือก
  3. หากคุณป้อนประโยคในกล่องข้อความเพื่ออธิบายรูปภาพที่คุณต้องการคุณต้องใช้ภาษาอังกฤษมันไม่สำคัญว่าคุณต้องการหรือไม่
  4. สุดท้ายคลิก "4.Search" และโปรแกรมจะกลับไปที่รูปภาพโดยอัตโนมัติที่ตรงกับข้อความอินพุตในไลบรารีภาพ

มันทำงานอย่างไร

  1. ใช้ Clip's ENCODE_IMAGE เพื่อแยกคุณสมบัติของภาพและสร้างเวกเตอร์คุณสมบัติของไลบรารี
  2. ใช้ CLIP's ENCODE_TEXT เพื่อแยกคุณสมบัติของข้อความและสร้างเวกเตอร์คุณสมบัติข้อความ
  3. ค้นหาความคล้ายคลึงกันระหว่างเวกเตอร์คุณสมบัติสองตัวซึ่งสามารถจับคู่ในสองทิศทางสามารถจับคู่กับข้อความหรือสามารถจับคู่กับข้อความ
  4. คุณสามารถได้รับความคล้ายคลึงกันของรูปภาพทั้งหมด
  5. หลังจากการดัดแปลงเล็กน้อยคุณสามารถทำให้เป็นฟังก์ชั่นการค้นหารูปภาพในอัลบั้มมือถือของคุณ
  6. รองรับการค้นหารูปภาพด้วยรูปภาพการค้นหารูปภาพด้วยตัวละครการค้นหาอักขระด้วยรูปภาพและแม้แต่การค้นหาอักขระด้วยตัวละคร - - มีหลายวิธีในการเล่นเพียงแค่ใช้คุณสมบัติเหล่านั้นเพื่อค้นหาปัญหาที่คล้ายกันดังนั้นฉันจะไม่เข้าไปดูรายละเอียด
  7. สิ่งที่ใช้เวลานานที่สุดคือการสร้างเวกเตอร์คุณสมบัติของรูปภาพทั้งหมดในแกลเลอรี่

โครงสร้าง repo

  1. Android: ซอร์สโค้ดของโปรแกรม APK ที่มีให้
  2. x86: ซอร์สโค้ดของโปรแกรม EXE ที่ให้ไว้ตาม QT
  3. แกลเลอรี่: แกลเลอรี่เล็ก ๆ สำหรับการทดสอบ
  4. ทรัพยากร: โฟลเดอร์ทรัพยากรของ ReadMe

เนื้อหาการทำงาน

  • การเรียงลำดับและการส่งออกโมเดล Pytorch
  • X86 DEMO
    • หากคุณต้องการรวบรวมให้ดาวน์โหลดไฟล์. bin ที่นี่และวางไว้ในโฟลเดอร์ assert ของโครงการ x86
  • ตัวอย่าง Android
    • ในการรวบรวมให้ดาวน์โหลดไฟล์. bin จากลิงค์ x86 ด้านบนและใส่ไว้ในโฟลเดอร์ assert ของโครงการ Android

อ้างถึง

  1. ncnn
  2. คลิป
  3. การค้นหาภาพธรรมชาติ
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด