vtbai

Function in coding ....

• VTS API 關鍵字觸發表情
• 語句情感推斷觸發VTS 表情
• Azure API TTS
• Link CharacterAI 角色扮演最好的AI
• Multi link 聯動
• ChatGLM-6B 本地1
• ChatterBot 本地2
• Twitch & Youtube 平台支持

資源

• vits vits source

• MoeGoe vits chinese

• vits_with_chatgpt-gpt3 tts 推理參考

• blivedm 抓取b 站直播間信息

• 演示模型vits model (商用請自煉自然人同意的合法聲源或用Azure)

• 架構

從嗶哩嗶哩直播間抓取彈幕和禮物，接收後發送給openai 官方的chatgpt，等待gpt 回調消息後使用vits 進行tts 推理，然後根據關鍵字/VTS API 觸發表情和playsound 播放語音， 播放時vts 根據聲音匹配口型

除非公司或大佬，非常不建議手搓live2d，一是耗時，二是vts 和prprlive 配合關鍵字觸發表情快捷鍵、VTS API 直播效果還可以

本直播流程僅在win 下測試並通過，理論linux 和mac 在合適的py 環境中也能使用，py 版本為conda 3.10.10

注：有能者可以同理把老鼠和油管的擴展了，py 線程協程進程鯊我

工作流

blivedm（抓直播間信息）——>openai（貓娘對話）——>vits（tts 文本轉語音）——>vts（語音轉口型，快捷鍵觸發表情）——>obs(推流)

功能

• 支持api 請求，擴展用，比如聯動，語音轉文字後請求即可httt://127.0.0.1:8080?text=你好
• 支持優先級：api>艦長>禮物>SC>彈幕，禮物和彈幕隊列容量默認為5/10，滿了自動剔除時間線最後的，SC、艦長沒有容量限制

我的開發環境

• CPU：5700G
• GPU：核顯
• 主板：華碩B550m TUF
• 硬盤：凱俠RC20
• 內存：16*4（3133hz 金百達）
• 電源：台達300W
• 機箱：X40 5.5L

主要速度慢在請求openai 和cpu 推理，用gpu 會快很多，由於需要檢測同音字敏感詞以防爆房，故不能使用SSE

obs、vts、雀魂AI 全開的情況，推理時cpu 負載約為70%，理論講2k 內預算的丐中丐5600G 也可以跑，功耗不超過100W，ITX 都能跑，還要什麼自行車，實際情況請用n 卡gpu 跑更好

搭建流程

請確保您已安裝好conda、obs、vts、vscode

請用conda 新建python 3.10 環境，launch 了vscode

git clone -b 1.1-py https://github.com/newreport/vtbai.git
cd vtbai 
start.bat
# configmy_config.ini 填写房间号和 openai key
python main.py
# 弹幕，将 resource 中的 hmtl 拖到 obs 里

]