Chenyme AAVT

---

บันทึก

ถ้าโครงการนี้เป็นประโยชน์กับคุณ

แนะนำให้ใช้โมเดลขนาดใหญ่เพื่อประสบการณ์ที่ดีขึ้นเมื่อรับรู้! เนื่องจากฉันกำลังเตรียมตัวสำหรับการสอบความเร็วการอัปเดตจะช้าลง

การสอนการ ติด ตั้ง

การแนะนำโครงการ

โครงการแปลวิดีโออัตโนมัติของ Chenyme-AAVT มุ่งมั่นที่จะให้การจดจำสื่อและการแปลอัตโนมัติที่เรียบง่ายมีประสิทธิภาพและฟรีช่วยให้คุณทำหน้าที่ต่าง ๆ ได้อย่างรวดเร็วเช่นการรับรู้การแปลและการประมวลผลเสียงและวิดีโอ ในอนาคตเราจะยังคงเพิ่มเครื่องมือที่น่าสนใจมากขึ้นตามฟังก์ชั่นพื้นฐานที่มีอยู่เช่นการรับรู้แบบเรียลไทม์การแก้ไขริมฝีปากการโคลนเสียงการระบุเสียง ฯลฯ โปรดติดตามความคืบหน้า!

ฟังก์ชั่น พื้นฐาน ที่รองรับในปัจจุบันไม่ใช่ฟังก์ชั่นทั้งหมด:

• [การจดจำเสียง] | [การจดจำวิดีโอ]

ไฮไลท์ของโครงการ

สิ่งที่ต้องทำ

ระบุที่เกี่ยวข้อง

• แทนที่โครงการกระซิบที่เร็วขึ้น
• รองรับการโหลดรุ่นท้องถิ่น
• รองรับการปรับแต่งแบบจำลองส่วนบุคคลของ Whisper Model
• VAD ช่วยเพิ่มประสิทธิภาพ
• การเพิ่มประสิทธิภาพประโยคระดับคำ
• การจดจำภาษาเพิ่มเติม
• ความแตกต่างของเสียง
• การแปลด้วยเสียงแบบเรียลไทม์

การแปลที่เกี่ยวข้อง

• การเพิ่มประสิทธิภาพการแปล
• การแปลภาษาเพิ่มเติม
• โมเดลการแปลเพิ่มเติม
• เครื่องมือแปลเพิ่มเติม
• สนับสนุนการแปลรูปแบบภาษาขนาดใหญ่ในท้องถิ่น

วิดีโอที่เกี่ยวข้อง

• คำบรรยายส่วนบุคคล
• รูปแบบคำบรรยายเพิ่มเติม
• ตัวอย่างคำบรรยายการปรับเปลี่ยนแบบเรียลไทม์
• การพิสูจน์อักษรข้อความคำบรรยายอัตโนมัติ
• คำบรรยายสองชั้น
• วิดีโอการทำสำเนาภาษาจีน
• การโคลนนิ่งเสียง
• การพิสูจน์อักษรริมฝีปาก

บล็อกรูปภาพและข้อความ

• สร้างรูปภาพและข้อความ
• สไตล์การเขียนเพิ่มเติม
• เพิ่มประสิทธิภาพการสร้างประสิทธิภาพ
• ปรับปรุงอัตราผลิตภัณฑ์สำเร็จรูป

อื่น

• ผู้ช่วย AI
• ตัวอย่างวิดีโอ

• รองรับการรับรู้และการแปล หลายภาษา
• รองรับ การแปลและการปรับใช้ฟรีของกระบวนการทั้งหมด
• รองรับ การสร้างวิดีโอบล็อกภาพบล็อกภาพการตลาดและข้อความแบบคลิกเดียว
• รองรับ การแปลอัตโนมัติ การปรับเปลี่ยนคำบรรยาย และ ตัวอย่างวิดีโอ
• รองรับการเปิด การเร่งความเร็ว GPU , VAD Assist , การเร่งความเร็ว FFMPEG
• รองรับการใช้เครื่องยนต์แปลขนาดใหญ่จำนวนมากเช่น Chatgpt , Claude , Gemini , Deepseek ฯลฯ

คำเตือน

ประกาศเกี่ยวกับ DLL ที่หายไป

โซลูชันต่อไปนี้สามารถแก้ไขได้อย่างมีประสิทธิภาพหลังจากการตรวจสอบด้วย ตัว เอง

1. fbgemm.dll หายไป นี่คือข้อผิดพลาดของ Pytorch ในการสร้างไฟล์ MKL ของ Win

2. cudnn_ops_infer64_8.dll หายไปทำให้การเปิดใช้งาน GPU ล้มเหลว โปรดไปที่การเปิดตัวเพื่อดาวน์โหลดแพ็คเกจการบีบอัด CUDA_DLL.ZIP เพื่อคลายการบีบอัดไปยังไดเรกทอรี CUDA C:Program FilesNVIDIA GPU Computing ToolkitCUDAv12.4bin

การปรับใช้ Windows

สภาพแวดล้อมล่วงหน้า: Python, Ffmpeg, คำอธิบาย Cuda

Python

• เลือกรุ่น Python> 3.8
• ไปที่เว็บไซต์ทางการ Python เพื่อดาวน์โหลดและติดตั้งโปรแกรม
• รันการติดตั้งโปรดคลิกตัวเลือก Add To Path ระหว่างการติดตั้ง

FFMPEG |

• หากคุณไม่ทราบวิธีการติดตั้งและรวบรวมโปรดดาวน์โหลดเวอร์ชัน Win โดยตรงในรุ่นโปรเจ็กต์และนำ FFMPEG ที่รวบรวมไว้
• ไปที่เว็บไซต์ทางการ FFMPEG เพื่อดาวน์โหลด Windows เวอร์ชันที่รวบรวมได้
• ตั้งค่า ffmpeg เป็นตัวแปรสภาพแวดล้อม

CUDA (CPU สามารถละเว้นได้) |

• เวอร์ชันที่แนะนำคือ cuda11.8, 12.1, 12.4
• ไปที่เว็บไซต์อย่างเป็นทางการของ CUDA เพื่อดาวน์โหลดโปรแกรมการติดตั้ง CUDA
• ติดตั้ง cuda

- โปรดตรวจสอบให้แน่ใจว่าสภาพแวดล้อมก่อนดำเนินการก่อนที่จะดำเนินการตามขั้นตอนต่อไปนี้ -

1. เรียกใช้สคริปต์การปรับใช้

• ไปที่หน้ารีลีสเพื่อดาวน์โหลดการเปิดตัวล่าสุดของ Win (Win/Small)
• เรียกใช้ 1_Install.bat รอให้สคริปต์ตรวจสอบและหลังจากผ่านไปเลือกรุ่นเพื่อติดตั้งตามพรอมต์ในอินเทอร์เฟซ

2. เรียกใช้เว็บโครงการ

• เรียกใช้ 2_WebUI.bat
• รอให้ webui ดึงขึ้นโดยอัตโนมัติหรือป้อน URL localhost:8501
• รหัสผ่านการยืนยันโครงการ chenymeaavt (นี่คือฟังก์ชั่นการป้องกันของเวอร์ชันใหม่ซึ่งสามารถปิดได้)

การปรับใช้ Mac OS

Pre-Environment: Python, Brew, คำอธิบาย ffmpeg

งูหลาม

• เลือกรุ่น Python> 3.8
• ไปที่เว็บไซต์ทางการ Python เพื่อดาวน์โหลดแพ็คเกจการติดตั้ง PGK
• รันการติดตั้งเลือกการติดตั้งมาตรฐานบนหน้า

ชง

• ใช้คำสั่งต่อไปนี้เพื่อติดตั้ง brew ในคลิกเดียว

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  

FFMPEG

• ใช้คำสั่งต่อไปนี้เพื่อติดตั้ง FFMpeg ในครั้งเดียวคลิก

   brew install FFMpeg
  

- โปรดตรวจสอบให้แน่ใจว่าสภาพแวดล้อมก่อนดำเนินการก่อนที่จะดำเนินการตามขั้นตอนต่อไปนี้ -

1. การพึ่งพาโครงการติดตั้ง

• ไปที่หน้าเผยแพร่เพื่อดาวน์โหลดรุ่นล่าสุดของ Mac (Mac/Small)

 cd Chenyme-AAVT
pip3 install -r requirements.txt

2. เรียกใช้เว็บโครงการ

 streamlit run Chenyme-AAVT.py

• รอให้ webui ดึงขึ้นโดยอัตโนมัติหรือป้อน URL localhost:8501
• รหัสผ่านการยืนยันโครงการ chenymeaavt (นี่คือฟังก์ชั่นการป้องกันของเวอร์ชันใหม่ซึ่งสามารถปิดได้)

การปรับใช้ Docker

ขอบคุณ @eisaichen สำหรับการช่วยเหลือภาพนี้

นักเทียบท่า

 docker pull chenyme/chenyme-aavt:latest

• หลังจากเสร็จสิ้นให้ป้อน <您的服务器IP>:8501 เพื่อเข้าถึง
• รหัสผ่านการยืนยันโครงการ chenymeaavt (นี่คือฟังก์ชั่นการป้องกันของเวอร์ชันใหม่ซึ่งสามารถปิดได้)

นักเทียบท่า

 git clone https://github.com/Chenyme/Chenyme-AAVT
cd Chenyme-AAVT
docker-compose up -d

• หลังจากเสร็จสิ้นให้ป้อน <您的服务器IP>:8501 เพื่อเข้าถึง
• รหัสผ่านการยืนยันโครงการ chenymeaavt (นี่คือฟังก์ชั่นการป้องกันของเวอร์ชันใหม่ซึ่งสามารถปิดได้)

การปรับใช้ Linux

เวอร์ชันนี้เป็น Linux Cuda 12.1 Docker เวอร์ชัน AAVT v0.8.6 และเวอร์ชันล่าสุดคือ v0.9.0

ขอบคุณ @DHLSAM สำหรับการจัดหาเวอร์ชันนี้

สำหรับวิธีการใช้งานเฉพาะโปรดดู: ปัญหา/36

การปรับใช้ Google Colab

ขอบคุณ @kirie233 สำหรับการจัดหาเวอร์ชัน colab

สำหรับวิธีการใช้งานเฉพาะโปรดดูที่: aavt.ipynb

ขอบคุณผู้สนับสนุนโครงการ

ประวัติดาว

โฮมเพจบอท

การตั้งค่าบางส่วน

การจดจำเสียง

การจดจำวิดีโอ

บล็อกรูปภาพและข้อความ

คำบรรยายแปล

การจำลองเสียง