vtbai

Fungsi dalam pengkodean ....

• Ekspresi pemicu kata kunci VTS API
• Kalimat Kesimpulan Emosional memicu ekspresi VTS
• Azure API TTS
• Tautan karakterai-bermain peran AI terbaik
• Multi Link Link
• Chatglm-6b Lokal 1
• Chatterbot Local 2
• Dukungan platform Twitch & YouTube

sumber

• Sumber Vits Vits

• Moegoe Vits China

• vits_with_chatgpt-gpt3 TTS Referensi penalaran

• Blivedm merayapi informasi ruang siaran langsung dari stasiun B

• Model Demonstrasi Model VIT (Penggunaan Komersial, Harap Perbaiki Sumber Suara Hukum yang disepakati oleh orang alami atau gunakan Azure)

• Arsitektur

Ambil rentetan dan hadiah dari ruang siaran langsung Bilibili, terima dan kirimkan ke chatgpt resmi, tunggu pesan panggilan balik GPT dan gunakan Vits untuk melakukan inferensi TTS, dan kemudian memicu ekspresi dan memainkan suara berdasarkan kata kunci/VTS API. Saat bermain, VTS cocok dengan bentuk bibir sesuai dengan suara.

Kecuali perusahaan atau bos, sangat penting untuk menggosok live2d dengan tangan. Pertama, ini memakan waktu, dan kedua, VTS dan PRPRLIVE dapat digunakan untuk memicu kunci pintasan ekspresi dengan kata kunci, dan efek siaran Live VTS API masih OK.

Proses siaran langsung ini hanya diuji dan diteruskan di bawah kemenangan. Secara teoritis, Linux dan Mac juga dapat digunakan dalam lingkungan PY yang sesuai. Versi PY adalah Conda 3.10.10

CATATAN: Mereka yang mampu dapat memperpanjang pipa mouse dan minyak dengan cara yang sama, proses proses coroutine benang py shark me

Alur kerja

BLIVEDM (ambil informasi ruang siaran langsung) -> OpenAi (dialog Cat Girl) -> Vits (TTS Text to Voice) -> VTS (Voice to Lip, Shortcut Keys Trigger Expression) -> OBS (Push Stream)

Fungsi

• Dukungan permintaan API, gunakan ekstensi, seperti tautan, dan permintaan setelah konversi suara ke teks http://127.0.0.1:8080?text=hello
• Prioritas Dukungan: API> Kapten> Hadiah> SC> BARC, Kapasitas Hadiah dan Antrian Barrage adalah 5/10, dan timeline terakhir penuh. SC dan Kapten tidak memiliki batas kapasitas.

Lingkungan pengembangan saya

• CPU: 5700g
• GPU: Tampilan inti
• Motherboard: Asus B550M TUF
• Hard Drive: Kaixia RC20
• Memori: 16*4 (3133Hz Jinbaida)
• Catu Daya: Delta 300W
• Chassis: x40 5.5L

Kecepatan utama adalah meminta inferensi OpenAI dan CPU, dan menggunakan GPU akan jauh lebih cepat. Karena Anda perlu mendeteksi kata -kata sensitif homofon untuk mencegah ledakan, SSE tidak dapat digunakan.

OBS, VTS, dan Quehun AI sepenuhnya dibuka. Beban CPU sekitar 70% saat beralasan. Secara teoritis, pengemis 5600g dengan anggaran 2K juga dapat berjalan, konsumsi daya tidak lebih dari 100W, dan ITX dapat berjalan, dan sepeda apa yang dibutuhkan. Dalam situasi aktual, silakan gunakan N kartu GPU untuk berjalan lebih baik.

Proses konstruksi

Pastikan Anda telah menginstal conda, obs, vts, vscode

Harap gunakan conda untuk membuat lingkungan Python 3.10 baru dan meluncurkan vscode

git clone -b 1.1-py https://github.com/newreport/vtbai.git
cd vtbai 
start.bat
# configmy_config.ini 填写房间号和 openai key
python main.py
# 弹幕，将 resource 中的 hmtl 拖到 obs 里

]