DragonianVoice

DragonianVoice

中文| English

本倉庫已經永久停止了UI項目的維護，會成為一個純Lib項目，代碼倉庫地址：DragonianLib，但是有關SVC和TTS的Release仍然在此倉庫發布。

本倉庫為：1、TTS（Tacotron2、Vits、EmotionalVits、BERTVits2、GPtSoVits）；2、SVC（SoVitsSvc、RVC、DiffusionSvc、FishDiffusion、ReflowSvc）；3、SVS（DiffSinger） 的Onnx框架推理倉庫，目前支持C/Cpp/C#調用。

本倉庫的最新版本已經與fish-speech 聯動，使用ggml框架重寫fish-speech，組成fish-speech.cpp子項目

注意：支持SVS的分支：MoeVoiceStudio MoeVoiceStudioCore

關於Cuda支持的相關問題可以前往OnnxRuntime官方倉庫查看

經過實驗，Dml會導致Onnx中一些不支持的算子在使用時並不會報錯，而是會返回一個不可預料的結果，所以會導致SoVits3.0和SoVits4.0在DmlEP上的推理結果錯誤。不過最新的SoVits倉庫中的Onnx導出已經替換了這些算子，故SoVits3.0和SoVits4.0恢復支持Dml使用，但是要使用最新（2023/7/17）版本的SoVitsOnnx導出重新導出Onnx模型

由於Diffusion和Reflow模型的特性，如果你推理的總步數大於模型訓練時最大的步數（實際步數=總步數/加速倍率，這個總步數不是推理時實際走過的步數，而是K_Step），會導致輸出音頻炸掉或者出現非常大的噪聲，所以建議在推理前請仔細觀察自己模型配置文件中的MaxStep（或K_Step_Max）

支持的Net：

• DeepLearningExamples
• Vits
• EmotionalVits
• BertVits2
• SoVitsSvc (v2/v3/v4)
• RVC
• DiffSvc
• DiffusionSvc (v1/v2)
• FishDiffusion
• ReflowSvc
• DiffSinger
• FCPE
• RMVPE

目錄

• 協定
  • 免責聲明
• 說明
  • 分支說明
• FAQ問答
  • Q: 項目名的來歷是什麼？
  • Q: 這個項目到底有什麼作用?
  • Q: 該項目以後會收費嗎?
  • Q: 是否提供有償模型代訓練?
  • Q: 電子垃圾評判標準是什麼?
  • Q: 技術支持?
• 注意事項
• 使用方法
• 模型配置
  • 前置模型
  • 配置文件
• 支持的項目
• 其他設置
  • Symbol
  • Cleaner
• 本地編譯
• 依賴列表
• 相關法規

用戶協議：

使用該項目你必須同意以下條款，若不同意則禁止使用該項目：

1. 你必須自行承擔由於使用該項目而造成的一切後果。
2. 禁止出售該程序。
3. 使用該項目時，你必須自覺遵守當地的法律法規，禁止使用該項目從事違法活動。
4. 禁止用於任何商業遊戲、低創遊戲¹以及Galgame製作，不反對無償的精品遊戲製作以及Mod製作。
5. 禁止使用該項目及該項目衍生物以及發布模型等製作各種電子垃圾² (例如AIGalgame，AI遊戲製作等)。
6. 禁止一切政治相關內容。
7. 你使用該項目生成的一切內容均與該項目開發者無關。
8. 本項目開發者主張使用者不具有其所生成“音頻本身”的版權，應當劃歸公共領域；而音頻背後涉及到的歌詞、樂曲的版權所有者均為該歌詞、樂曲的版權所有方。

免責聲明

本項目為開源、離線的項目，本項目的所有開發者以及維護者（以下簡稱貢獻者）對本項目沒有控制力。本項目的貢獻者從未向任何組織或個人提供包括但不限於數據集提取、數據集加工、算力支持、訓練支持、推理等一切形式的幫助；本項目的貢獻者不知曉也無法知曉使用者使用該項目的用途。故一切基於本項目合成的音頻都與本項目貢獻者無關。一切由此造成的問題由使用者自行承擔。

本項目本身不具備任何語音合成的功能，只是用於啟動使用者自行訓練並自行製作為Onnx模型的模型，且模型的訓練與Onnx模型的製作均與本項目的貢獻者無關，均為使用者自己的行為，本項目貢獻者未參與一切使用者的模型訓練與製作。

本項目為完全離線狀態下運行，無法採集任何用戶信息，也無法獲取用戶的輸入數據，故本項目貢獻者對用戶的一切輸入以及模型不知情，因此不對任何用戶輸入負責。

本項目也沒有附帶任何模型，任何二次發布所附帶的模型以及用於此項目的模型均與此項目開發者無關。

說明

本項目目前已完全支持自行調用其中方法來實現命令行推理或其他軟件，歡迎大家向本項目提PR

作者的其他項目：AiToolKits

如果想要參加開發，可以加入QQ群:263805400或直接提PR

模型需要轉換為ONNX模型，詳情見你選擇的項目的源倉庫，PTH模型不能直接使用！ ！ ！ ！ ！ ！ ！ ！ ！ ！ ！ ！ ！

分支

本項目的各分支:

• MoeVoiceStudioCore(主分支) 項目核心
• MoeVoiceStudio 本項目的簡單GUI實現基於qt
• MoeSSV2 舊版MoeSSV2版本存檔
• MoeSSV1 舊版MoeSSV1版本存檔

FAQ

Q: 項目名的來歷？

A:

XP至上主義者狂喜，有誰不喜歡龍娘呢

Q: 這個項目到底有什麼作用？

A:

這個項目的開發初衷主要是實現無需環境部屬各個語音合成項目，而現在打算製作為一個SVC的輔助編輯器。

由於這個項目畢竟是一個"個人的" "不專業"的項目，所以在您擁有更專業的軟件，或者您是Python Cli愛好者，又或者您是相關領域大佬。我自知本軟件不夠專業且很大可能無法滿足您的需求甚至對您沒有用處。

本項目並不是不可替代的項目，相反的本項目的功能您可以使用各種工具替代，我沒有奢望本項目成為相關領域的領軍項目，我只是懷著一腔熱情繼續著該項目的開發。但是熱情總有消散的一天，但是該項目承諾在我的開> 發熱情完全消散之前會一直保持維護（不管有沒有人使用，就算用戶數目為0）

本項目在設計上可能存在著各種各樣的問題，所以也是需要大家積極的點炒飯來幫助我完善功能的，大部分對於功能和體驗的優化我都會接受。

Q: 該項目以後會收費嗎？

A:

該項目永久開源免費，如果在其他地方存在本項目的收費版本，請立即舉報且不要購買，本項目永久免費。如果想用瘋狂星期四塞滿白葉，可以前往愛發癲https://afdian.net/a/NaruseMioShirakana

Q: 是否提供有償模型代訓練？

A:

不提供，訓練模型比較簡單，沒必要花冤枉錢，按照網上教程一步一步走就可以了。

Q: 電子垃圾評判標準是什麼？

A:

1. 原創度。自己的東西在整個項目中的比例（對於AI來說，使用完全由你獨立訓練模型的創作屬於你自己；使用他人模型的創作屬於別人）。涵蓋的方麵包括但不限於程序、美工、音頻、策劃等等。舉個例子，套用Unity等引擎模板換皮屬於電子垃圾。
2. 開發者態度。作者開發的態度是不是撈一波流量和錢走人或單純虛榮。比方說打了無數的tag，像什麼“國產”“首個”“最強”“自製”這種引流宣傳，結果是非常爛或是平庸的東西，且作者明顯沒有好好製作該項目的想法，屬於電子垃圾。
3. 反對一切使用未授權的數據集訓練出來的AI模型商用的行為。

Q: 技術支持？

A:

如果能夠確定你做的不是電子垃圾，同時合法合規，沒有嚴重的政治錯誤，我會提供一些力所能及的技術支持。

注意事項

由於OnnxRuntime引發的問題

不支持中文路徑？實際上項目本體是支持中文路徑的，不過2023年3月前版本的OnnxRuntime是不支持中文路徑的，因為這些版本的OnnxRuntime使用了Win32Api的A系列函數，A系列函數都是不支持非ANSI編碼的路徑的。這個問題並不是我能夠解決的也不是我應該解決的，只有微軟官方才可以修復這個BUG，不過好在最新的OnnxRuntime使用了W系列函數，解決了中文路徑問題。

Cuda版本問題

由於Cuda有著極差的兼容性，導致一個基於Cuda的程序在使用時，必須安裝和編譯該程序時相同或是未修改Api最近版本的Cuda。這個問題只能等英偉達公司重視兼容性了。

使用方法

MoeVoiceStudioCore以Lib的形式提供使用C++語言調用

按需引用以下對應的類

# include < Modules/Models/header/Tacotron.hpp >
# include < Modules/Models/header/Vits.hpp >
# include < Modules/Models/header/VitsSvc.hpp >
# include < Modules/Models/header/DiffSvc.hpp >
# include < Modules/Models/header/DiffSinger.hpp >

InferClass::Tacotron2;
InferClass::Vits;
InferClass::VitsSvc;
InferClass::DiffusionSvc;
InferClass::DiffusionSinger;

/*
构造函数第一个是配置文件json
第二个是进度条回调
第三个是参数回调 (若为TTS 此参数为空即可)
第四个参数为设备
使用调用Inference函数即可
*/

模型配置請參見#模型配置

demo: RVC命令行示例

模型配置

前置模型

與所支持的幾個項目無關為深度學習領域的通用模型

停止更新（由於下載和上傳速度）: Vocoder & HiddenUnitBert

停止更新（由於HuggingFace被牆） : HuggingFace

最新倉庫：Openi

自己導出前置：

• HuBert： input_names應該為["source"] ， output_names應該為["embed"] ， dynamic_axes應當為{"source":[0,2],}
• Diffusion模型使用的hifigan： input_names應該為["c","f0"] ， output_names應該為["audio"] ， dynamic_axes應當為{"c":[0,1],"f0":[0,1],}
• Tacotron2使用的hifigan： input_names應該為["x"] ， output_names應該為["audio"] ， dynamic_axes應當為{"x":[0,1],}

Vec模型和Hubert模型放在Hubert文件夾下，Hifigan模型放在Hifigan文件夾下如需使用FCPE或RMVPE這兩個F0預測器，則需要在根目錄創建F0Predictor文件夾並將onnx模型放置在其中

配置文件

• 本項目標準化了模型讀取模塊，模型保存在Mods文件夾下的子文件夾中。 xxx.json為模型的配置文件，需要自行按照模板編寫，同時需要自行將模型轉換為Onnx。

通用參數(不管是啥模型都必須填的，不填就不識別)：

• Folder ：保存模型的文件夾名
• Name ：模型在UI中的顯示名稱
• Type ：模型類別
• Rate ：採樣率（必須和你訓練時候的一模一樣，不明白原因建議去學計算機音頻相關的知識）

配置示例

Tacotron2:

 {
    "Folder" : "Atri" ,
    "Name" : "亚托莉-Tacotron2" ,
    "Type" : "Tacotron2" ,
    "Rate" : 22050 ,
    "Symbol" : "_-!'(),.:;? ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz" ,
    "Cleaner" : "" ,
    "AddBlank" : false ,
    "Hifigan" : "hifigan"
}
//Symbol：模型的Symbol，不知道Symbol是啥的建议多看几个视频了解了解TTS的基础知识，这一项在Tacotron2中必须填。
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hifigan：Hifigan模型名，必须填且必须将在前置模型中下载到的hifigan放置到hifigan文件夹
//AddBlank：是否在音素之间插0作为分隔

Vits:

 {
    "Folder" : "SummerPockets" ,
    "Name" : "SummerPocketsReflectionBlue" ,
    "Type" : "Vits" ,
    "Rate" : 22050 ,
    "Symbol" : "_,.!?-~…AEINOQUabdefghijkmnoprstuvwyzʃʧʦ↓↑ " ,
    "Cleaner" : "" ,
    "AddBlank" : true ,
    "Emotional" : true ,
    "EmotionalPath" : "all_emotions" ,
    "Characters" : [ "鳴瀬しろは" , "空門蒼" , "鷹原うみ" , "紬ヴェンダース" , "神山識" , "水織静久" , "野村美希" , "久島鴎" , "岬鏡子" ]
}
//Symbol：模型的Symbol，不知道Symbol是啥的建议多看几个视频了解了解TTS的基础知识，这一项在Vits中必须填。
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//AddBlank：是否在音素之间插0作为分隔（大多数Vits模型必须为true）
//Emotional：是否加入情感向量
//EmotionalPath：情感向量npy文件名

Pits:

 {
    "Folder" : "SummerPockets" ,
    "Name" : "SummerPocketsReflectionBlue" ,
    "Type" : "Pits" ,
    "Rate" : 22050 ,
    "Symbol" : "_,.!?-~…AEINOQUabdefghijkmnoprstuvwyzʃʧʦ↓↑ " ,
    "Cleaner" : "" ,
    "AddBlank" : true ,
    "Emotional" : true ,
    "EmotionalPath" : "all_emotions" ,
    "Characters" : [ "鳴瀬しろは" , "空門蒼" , "鷹原うみ" , "紬ヴェンダース" , "神山識" , "水織静久" , "野村美希" , "久島鴎" , "岬鏡子" ]
}
//Symbol：模型的Symbol，不知道Symbol是啥的建议多看几个视频了解了解TTS的基础知识，这一项在Vits中必须填。
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//AddBlank：是否在音素之间插0作为分隔（大多数Pits模型必须为true）
//Emotional：是否加入情感向量
//EmotionalPath：情感向量npy文件名

RVC:

 {
    "Folder" : "NyaruTaffy" ,
    "Name" : "NyaruTaffy" ,
    "Type" : "RVC" ,
    "Rate" : 40000 ,
    "Hop" : 320 ,
    "Cleaner" : "" ,
    "Hubert" : "hubert4.0" ,
    "Diffusion" : false ,
    "CharaMix" : true ,
    "Volume" : false ,
    "SoVits2" : true ,
    "ShallowDiffusion" : "NyaruTaffy"
    "HiddenSize" : 256 ,
    "Cluster" : "Index"
    "Characters" : [ "Taffy" , "Nyaru" ]
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hubert：Hubert模型名，必须填且必须将在前置模型中下载到的Hubert放置到Hubert文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//Diffusion：是否为DDSP仓库下的扩散模型
//CharaMix：是否使用角色混合轨道
//ShallowDiffusion：SoVits浅扩散模型，须填写ShallowDiffusion模型配置文件名（不带后缀和完整路径），小显存或内存下速度巨慢，效果未知，请根据实际情况决定是否使用）
//Volume：该模型是否有音量Emb
//HiddenSize：Vec模型的尺寸（768/256）
//Cluster：聚类类型，包括"KMeans"和"Index"，KMeans需要前往SoVits仓库将KMeans文件导出为可用格式，放置到模型文件夹；Index同理，需要前往SoVits仓库导出为可用格式（如果是RVC的单角色Index只需要改名为Index-0.index）然后放置到模型文件夹下（有几个角色就有几个Index文件）

SoVits_3.0_32k:

 {
    "Folder" : "NyaruTaffySo" ,
    "Name" : "NyaruTaffy-SoVits" ,
    "Type" : "SoVits" ,
    "Rate" : 32000 ,
    "Hop" : 320 ,
    "Cleaner" : "" ,
    "Hubert" : "hubert" ,
    "SoVits3" : true ,
    "ShallowDiffusion" : "NyaruTaffy"
    "Diffusion" : false ,
    "CharaMix" : true ,
    "Volume" : false ,
    "HiddenSize" : 256 ,
    "Cluster" : "KMeans"
    "Characters" : [ "Taffy" , "Nyaru" ]
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hubert：Hubert模型名，必须填且必须将在前置模型中下载到的Hubert放置到Hubert文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//Diffusion：是否为DDSP仓库下的扩散模型
//ShallowDiffusion：SoVits浅扩散模型，须填写ShallowDiffusion模型配置文件名（不带后缀和完整路径），小显存或内存下速度巨慢，效果未知，请根据实际情况决定是否使用）
//CharaMix：是否使用角色混合轨道
//Volume：该模型是否有音量Emb
//HiddenSize：Vec模型的尺寸（768/256）
//Cluster：聚类类型，包括"KMeans"和"Index"，KMeans需要前往SoVits仓库将KMeans文件导出为可用格式，放置到模型文件夹；Index同理，需要前往SoVits仓库导出为可用格式（如果是RVC的单角色Index只需要改名为Index-0.index）然后放置到模型文件夹下（有几个角色就有几个Index文件）

SoVits_3.0_48k:

 {
    "Folder" : "NyaruTaffySo" ,
    "Name" : "NyaruTaffy-SoVits" ,
    "Type" : "SoVits" ,
    "Rate" : 48000 ,
    "Hop" : 320 ,
    "Cleaner" : "" ,
    "Hubert" : "hubert" ,
    "SoVits3" : true ,
    "ShallowDiffusion" : "NyaruTaffy"
    "Diffusion" : false ,
    "CharaMix" : true ,
    "Volume" : false ,
    "HiddenSize" : 256 ,
    "Cluster" : "KMeans"
    "Characters" : [ "Taffy" , "Nyaru" ]
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hubert：Hubert模型名，必须填且必须将在前置模型中下载到的Hubert放置到Hubert文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//Diffusion：是否为DDSP仓库下的扩散模型
//ShallowDiffusion：SoVits浅扩散模型，须填写ShallowDiffusion模型配置文件名（不带后缀和完整路径），小显存或内存下速度巨慢，效果未知，请根据实际情况决定是否使用）
//CharaMix：是否使用角色混合轨道
//Volume：该模型是否有音量Emb
//HiddenSize：Vec模型的尺寸（768/256）
//Cluster：聚类类型，包括"KMeans"和"Index"，KMeans需要前往SoVits仓库将KMeans文件导出为可用格式，放置到模型文件夹；Index同理，需要前往SoVits仓库导出为可用格式（如果是RVC的单角色Index只需要改名为Index-0.index）然后放置到模型文件夹下（有几个角色就有几个Index文件）

SoVits_4.0:

 {
    "Folder" : "NyaruTaffySo" ,
    "Name" : "NyaruTaffy-SoVits" ,
    "Type" : "SoVits" ,
    "Rate" : 44100 ,
    "Hop" : 512 ,
    "Cleaner" : "" ,
    "Hubert" : "hubert4.0" ,
    "SoVits4.0V2" : false ,
    "ShallowDiffusion" : "NyaruTaffy"
    "Diffusion" : false ,
    "CharaMix" : true ,
    "Volume" : false ,
    "HiddenSize" : 256 ,
    "Cluster" : "KMeans"
    "Characters" : [ "Taffy" , "Nyaru" ]
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hubert：Hubert模型名，必须填且必须将在前置模型中下载到的Hubert放置到Hubert文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//Diffusion：是否为DDSP仓库下的扩散模型
//ShallowDiffusion：SoVits浅扩散模型，须填写ShallowDiffusion模型配置文件名（不带后缀和完整路径），小显存或内存下速度巨慢，效果未知，请根据实际情况决定是否使用）
//CharaMix：是否使用角色混合轨道
//Volume：该模型是否有音量Emb
//HiddenSize：Vec模型的尺寸（768/256）
//Cluster：聚类类型，包括"KMeans"和"Index"，KMeans需要前往SoVits仓库将KMeans文件导出为可用格式，放置到模型文件夹；Index同理，需要前往SoVits仓库导出为可用格式（如果是RVC的单角色Index只需要改名为Index-0.index）然后放置到模型文件夹下（有几个角色就有几个Index文件）
//SoVits4.0V2: 是否为SoVits4.0V2模型

DiffSVC:

 {
    "Folder" : "DiffShiroha" ,
    "Name" : "白羽" ,
    "Type" : "DiffSvc" ,
    "Rate" : 44100 ,
    "Hop" : 512 ,
    "MelBins" : 128 ,
    "Cleaner" : "" ,
    "Hifigan" : "nsf_hifigan" ,
    "Hubert" : "hubert" ,
    "Characters" : [ ] ,
    "Pndm" : 100 ,
    "Diffusion" : false ,
    "CharaMix" : true ,
    "Volume" : false ,
    "HiddenSize" : 256 ,
    "V2" : true
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//MelBins：模型的MelBins，不知道MelBins是啥的建议多看几个视频了解了解梅尔基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hubert：Hubert模型名，必须填且必须将在前置模型中下载到的Hubert放置到Hubert文件夹
//Hifigan：Hifigan模型名，必须填且必须将在前置模型中下载到的nsf_hifigan放置到hifigan文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//Pndm：加速倍数，如果是V1模型则必填且必须为导出时设置的加速倍率
//V2：是否为V2模型，V2模型就是后来我分4个模块导出的那个
//Diffusion：是否为DDSP仓库下的扩散模型
//CharaMix：是否使用角色混合轨道
//Volume：该模型是否有音量Emb
//HiddenSize：Vec模型的尺寸（768/256）

DiffSinger:

 {
    "Folder" : "utagoe" ,
    "Name" : "utagoe" ,
    "Type" : "DiffSinger" ,
    "Rate" : 44100 ,
    "Hop" : 512 ,
    "Cleaner" : "" ,
    "Hifigan" : "singer_nsf_hifigan" ,
    "Characters" : [ ] ,
    "MelBins" : 128
}
//Hop：模型的HopLength，不知道HopLength是啥的建议多看几个视频了解了解音频的基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）
//Cleaner：插件名，可以不填，填了就必须要在Cleaner文件夹防止相应的CleanerDll，如果Dll不存在或者是Dll内部有问题，则会在加载模型时报插件错误
//Hifigan：Hifigan模型名，必须填且必须将在前置模型中下载到的singer_nsf_hifigan放置到hifigan文件夹
//Characters：如果是多角色模型必须填写为你的角色名称组成的列表，如果是单角色模型可以不填
//MelBins：模型的MelBins，不知道MelBins是啥的建议多看几个视频了解了解梅尔基础知识，这一项在SoVits中必须填。（数值必须为你训练时的数值，可以在你训练模型时候的配置文件里看到）

BertVits:

 {
    "Folder" : "HimenoSena" ,
    "Name" : "HimenoSena" ,
    "Type" : "BertVits" ,
    "Symbol" : [
        "_" ,
        "AA" ,
        "E" ,
        "EE" ,
        "En" ,
        "N" ,
        "OO" ,
        "V" ,
        "a" ,
        "a:" ,
        "aa" ,
        "ae" ,
        "ah" ,
        "ai" ,
        "an" ,
        "ang" ,
        "ao" ,
        "aw" ,
        "ay" ,
        "b" ,
        "by" ,
        "c" ,
        "ch" ,
        "d" ,
        "dh" ,
        "dy" ,
        "e" ,
        "e:" ,
        "eh" ,
        "ei" ,
        "en" ,
        "eng" ,
        "er" ,
        "ey" ,
        "f" ,
        "g" ,
        "gy" ,
        "h" ,
        "hh" ,
        "hy" ,
        "i" ,
        "i0" ,
        "i:" ,
        "ia" ,
        "ian" ,
        "iang" ,
        "iao" ,
        "ie" ,
        "ih" ,
        "in" ,
        "ing" ,
        "iong" ,
        "ir" ,
        "iu" ,
        "iy" ,
        "j" ,
        "jh" ,
        "k" ,
        "ky" ,
        "l" ,
        "m" ,
        "my" ,
        "n" ,
        "ng" ,
        "ny" ,
        "o" ,
        "o:" ,
        "ong" ,
        "ou" ,
        "ow" ,
        "oy" ,
        "p" ,
        "py" ,
        "q" ,
        "r" ,
        "ry" ,
        "s" ,
        "sh" ,
        "t" ,
        "th" ,
        "ts" ,
        "ty" ,
        "u" ,
        "u:" ,
        "ua" ,
        "uai" ,
        "uan" ,
        "uang" ,
        "uh" ,
        "ui" ,
        "un" ,
        "uo" ,
        "uw" ,
        "v" ,
        "van" ,
        "ve" ,
        "vn" ,
        "w" ,
        "x" ,
        "y" ,
        "z" ,
        "zh" ,
        "zy" ,
        "!" ,
        "?" ,
        "u2026" ,
        "," ,
        "." ,
        "'" ,
        "-" ,
        "SP" ,
        "UNK"
    ] ,
    "Cleaner" : "" ,
    "Rate" : 44100 ,
    "CharaMix" : true ,
    "Characters" : [
        "u56fdu89c1u83dcu5b50" ,
        "u59ecu91ceu661fu594f" ,
        "u65b0u5802u5f69u97f3" ,
        "u56dbu6761u51dbu9999" ,
        "u5c0fu97a0u7531u4f9d"
    ] ,
    "LanguageMap" : {
        "ZH" : [
            0 ,
            0
        ] ,
        "JP" : [
            1 ,
            6
        ] ,
        "EN" : [
            2 ,
            8
        ]
    } ,
    "Dict" : "BasicDict" ,
    "BertPath" : [
        "chinese-roberta-wwm-ext-large" ,
        "deberta-v2-large-japanese" ,
        "bert-base-japanese-v3"
    ]
} 

支持的項目

// ${xxx}是什么意思大家应该都知道吧，总之以下是多个不同项目需要的模型文件（需要放置在对应的模型文件夹下）。
// Tacotron2：
    ${Folder} _decoder_iter.onnx
    ${Folder} _encoder.onnx
    ${Folder} _postnet.onnx
// Vits:    单角色VITS
    ${Folder} _dec.onnx
    ${Folder} _flow.onnx
    ${Folder} _enc_p.onnx
    ${Folder} _dp.onnx 
// Vits:   多角色VITS
    ${Folder} _dec.onnx
    ${Folder} _emb.onnx
    ${Folder} _flow.onnx
    ${Folder} _enc_p.onnx
    ${Folder} _dp.onnx
// SoVits:
    ${Folder} _SoVits.onnx
// RVC:
    ${Folder} _RVC.onnx
// DiffSvc:
    ${Folder} _diffSvc.onnx
// DiffSvc: V2
    ${Folder} _encoder.onnx
    ${Folder} _denoise.onnx
    ${Folder} _pred.onnx
    ${Folder} _after.onnx
// DiffSinger: OpenVpiVersion
    ${Folder} _diffSinger.onnx
// DiffSinger: 
    ${Folder} _encoder.onnx
    ${Folder} _denoise.onnx
    ${Folder} _pred.onnx
    ${Folder} _after.onnx

其他設置

Symbol

例如：_-!'(),.:;? ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz
打开你训练模型的项目，打开textsymbol.py，如图按照划线的List顺序将上面的4个字符串连接即可

Cleaner

 /*
Cleaner请放置于根目录的Cleaners文件夹内，应该是一个按照要求定义的动态库（.dll），dll应当命名为Cleaner名，Cleaner名即为模型定义Json文件中Cleaner一栏填写的内容。
所有的插件dll需要定义以下函数，函数名必须为PluginMain，Dll名必须为插件名（或Cleaner名）：
*/
const wchar_t * PluginMain ( const wchar_t *);
// 该接口只要求输入输出一致，并不要求功能一致，也就是说，你可以在改Dll中实现任何想要的功能，比方说ChatGpt，机器翻译等等。
// 以ChatGpt为例，PluginMain函数传入了一个输入字符串input，将该输入传入ChatGpt，再将ChatGpt的输出传入PluginMain，最后返回输出。
wchar_t * PluginMain ( wchar_t * input){
    wchar_t * tmpOutput = ChatGpt (input);
    return Clean (tmpOutput);
}
// 注意：导出dll时请使用 extern "C" 关键字来防止C++语言的破坏性命名。 

本地編譯

git clone https: // github.com/NaruseMioShirakana/MoeVoiceStudio.git
//自行配置OnnxRuntime和FFMPEG的Dll
//使用VisualStudio构建

依賴列表

• FFmpeg
• World
• rapidJson
• mecab
• yyjson
• onnxruntime
• faiss
• 中文詞典

相關法規

使用該項目的任何組織或個人都應當遵守包括但不限於以下的法律。

《民法典》

第一千零一十九條

任何組織或者個人不得以醜化、污損，或者利用信息技術手段偽造等方式侵害他人的肖像權。未經肖像權人同意，不得製作、使用、公開肖像權人的肖像，但是法律另有規定的除外。 未經肖像權人同意，肖像作品權利人不得以發表、複製、發行、出租、展覽等方式使用或者公開肖像權人的肖像。 對自然人聲音的保護，參照適用肖像權保護的有關規定。

第一千零二十四條

【名譽權】民事主體享有名譽權。任何組織或者個人不得以侮辱、誹謗等方式侵害他人的名譽權。

第一千零二十七條

【作品侵害名譽權】行為人發表的文學、藝術作品以真人真事或者特定人為描述對象，含有侮辱、誹謗內容，侵害他人名譽權的，受害人有權依法請求該行為人承擔民事責任。 行為人發表的文學、藝術作品不以特定人為描述對象，僅其中的情節與該特定人的情況相似的，不承擔民事責任。

《中華人民共和國憲法》

《中華人民共和國刑法》

《中華人民共和國民法典》

MoeSS使用的圖像素材來源於：

• SummerPockets

? 感謝所有貢獻者的努力

Footnotes

1. 低創的評判標準為: 大量使用AI生成的任何內容，原創內容較低，意義不明，內容質量低下等。 ↩

2. 電子垃圾評判標準: 1、原創度。自己的東西在整個項目中的比例（對於AI來說，使用完全由你獨立訓練模型的創作屬於你自己；使用他人模型的創作屬於別人）。涵蓋的方麵包括但不限於程序、美工、音頻、策劃等等。例如，套用Unity等引擎模板換皮屬於電子垃圾。 ↩