whisper.unity

Whisper.unity

นี่คือการผูก Unity3D สำหรับ Whisper.cpp มันให้การอนุมานประสิทธิภาพสูงของโมเดลการรู้จำเสียงพูดอัตโนมัติของ OpenAI (ASR) ที่ทำงานบนเครื่องในเครื่องของคุณ

พื้นที่เก็บข้อมูลนี้มาพร้อมกับน้ำหนักรุ่น "ggml-tiny.bin" นี่เป็นรุ่น Whisper รุ่นที่เล็กที่สุดและเร็วที่สุด แต่มันมีคุณภาพที่แย่กว่าเมื่อเทียบกับรุ่นอื่น ๆ หากคุณต้องการคุณภาพที่ดีขึ้นลองดูน้ำหนักรุ่นอื่น ๆ

คุณสมบัติหลัก:

• หลายภาษารองรับประมาณ 60 ภาษา
• สามารถแปลภาษาหนึ่งเป็นภาษาอื่นได้ (เช่นคำพูดภาษาเยอรมันเป็นข้อความภาษาอังกฤษ)
• ขนาดรุ่นที่แตกต่างกันเสนอความเร็วและความแม่นยำในการแลกเปลี่ยน
• ทำงานบนอุปกรณ์ผู้ใช้ในพื้นที่โดยไม่ต้องเชื่อมต่ออินเทอร์เน็ต
• ฟรีและโอเพ่นซอร์สสามารถใช้ในโครงการเชิงพาณิชย์

แพลตฟอร์มที่รองรับ:

• Windows (x86_64, cuda เสริม)
• MacOS (Intel and Arm, Metal เสริม)
• Linux (x86_64, cuda เป็นตัวเลือก)
• iOS (อุปกรณ์และเครื่องจำลอง)
• Android (ARM64)
• WebGL (ดูปัญหานี้)
• วิสัยทัศน์

ตัวอย่าง

multilang.mp4

แบบจำลอง "Whisper-small.bin" ทดสอบเป็นภาษาอังกฤษเยอรมันและรัสเซียจากไมโครโฟน

tiny.mp4

รุ่น "Whisper-tiny.bin" เร็วกว่าเรียลไทม์ 50 เท่าบน MacBook ด้วย M1 Pro

เริ่มต้น

โคลนที่เก็บนี้และเปิดเป็นโครงการ Unity ปกติ มันมาพร้อมกับตัวอย่างและน้ำหนักโมเดลหลายภาษาเล็ก ๆ

หรือคุณสามารถเพิ่มที่เก็บนี้ลงในโครงการของคุณเป็น แพ็คเกจ Unity เพิ่มโดย URL GIT นี้ไปยัง Unity Package Manager ของคุณ:

 https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

การสนับสนุน CUDA

Unity Project ที่รวบรวมด้วย CUDA ที่เปิดใช้งานคาดว่าผู้ใช้ปลายทางของคุณจะมีห้องสมุด Nvidia GPU และ CUDA การพยายามเรียกใช้การสร้างโดยไม่ต้องเกิดข้อผิดพลาด

ในการเรียกใช้การอนุมานกับ CUDA คุณจะต้องรองรับ GPU และติดตั้ง CUDA Toolkit (ทดสอบด้วย 12.2.0)

หลังจากนั้นไปที่ การตั้งค่าโครงการ => Whisper => เปิดใช้งาน cuda สิ่งนี้ควรบังคับให้แพ็คเกจใช้ไลบรารีที่รวบรวมสำหรับ CUDA

รองรับโลหะ

Whisper.cpp รองรับโลหะเฉพาะในตระกูล Apple7 GPU หรือใหม่กว่า (เริ่มต้นจากชิป Apple M1) การพยายามทำงานบนฮาร์ดแวร์รุ่นเก่าจะกลับไปที่การอนุมาน CPU

ในการเปิดใช้งานการอนุมานโลหะให้ไปที่ การตั้งค่าโครงการ => Whisper => เปิดใช้งานโลหะ สิ่งนี้ควรบังคับให้แพ็คเกจใช้ไลบรารีที่รวบรวมสำหรับโลหะ

ดาวน์โหลดน้ำหนักรุ่นอื่น ๆ

คุณสามารถลองน้ำหนักรุ่นกระซิบที่แตกต่างกัน ตัวอย่างเช่นคุณสามารถปรับปรุงการถอดความภาษาอังกฤษโดยใช้น้ำหนักภาษาอังกฤษเท่านั้นหรือลองใช้โมเดลที่ใหญ่กว่า

คุณสามารถดาวน์โหลดน้ำหนักรุ่นได้จากที่นี่ เพียงแค่ใส่ลงในโฟลเดอร์ StreamingAssets ของคุณ

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความแตกต่างของโมเดลและรูปแบบอ่าน Whisper.cpp Readme และ OpenAI Readme

รวบรวมไลบรารี C ++ จากแหล่งที่มา

โครงการนี้มาพร้อมกับไลบรารี prebuild ของ Whisper.cpp สำหรับแพลตฟอร์มที่รองรับทั้งหมด คุณสามารถสร้างใหม่จากแหล่งที่มาโดยใช้การกระทำของ GitHub ในการทำเช่นนั้นทำให้ส้อมของ repo นี้และไปสู่ Actions => Build C++ => Run workflow หลังจากเสร็จสิ้นไปป์ไลน์ให้ดาวน์โหลดไลบรารีคอมไพล์ในแท็บ Artifacts

ในกรณีที่คุณต้องการสร้างไลบรารีบนเครื่องของคุณ:

1. โคลน repository repository whisper.cpp ดั้งเดิม
2. Checkout Tag v1.5.5 เวอร์ชันอื่นอาจไม่ทำงานกับการผูกความเป็นเอกภาพนี้
3. Open Whisper.Unity Folder พร้อมบรรทัดคำสั่ง
4. หากคุณใช้ Windows Write:

. b uild_cpp.bat cpu path t o w hisper

5. หากคุณใช้ MacOS Write:

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

6. หากคุณใช้ Linux Write

sh build_cpp_linux.sh path/to/whisper cpu

7. หาก Build เป็นไลบรารีคอมไพล์ที่ประสบความสำเร็จควรอัปเดตโฟลเดอร์ Plugins แพ็คเกจโดยอัตโนมัติ

Windows จะผลิตเฉพาะไลบรารี Windows เท่านั้น Linux จะผลิตเฉพาะ Linux MacOS จะผลิตห้องสมุด macOS, iOS และ Android

MacOS Build Script ได้รับการทดสอบบน Mac ด้วย ARM Processor สำหรับโปรเซสเซอร์ Intel คุณอาจต้องเปลี่ยนพารามิเตอร์บางอย่าง

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT

มันใช้ไลบรารีที่รวบรวมและรุ่นชั่งน้ำหนักของ Whisper.cpp ซึ่งอยู่ภายใต้ใบอนุญาต MIT

รหัสและน้ำหนัก Openai WHISPER เดิมยังอยู่ภายใต้ใบอนุญาต MIT