reformer tts

改革者-TT

改革者的改編：文本到語音任務的有效變壓器。

該項目包含：

• 根據Rev.com的成績單創建特朗普語音數據集的預處理代碼
• 改革者TTS的實施：改革者的改編：基於Transformer網絡的神經語音綜合的文本到語音任務的有效變壓器
• Squeezewave的實施：現代Pytorch中啟用演講綜合的極輕的輔助聲音，沒有對Tacotron2，WaveNet或Wavellow的依賴性
• Pytorch Lightning包裝紙，可輕鬆培訓兩種型號，並易於使用配置管理
• 用於運行培訓，推理和數據預處理的CLI

項目範圍和當前狀態

我們的目的是通過在最新的《改革儀論文》中提出的優化替換其變壓器體系結構來創建最先進的文本到語音模型的效率更高版本。我們將根據其演講的自定義數據集（專門為此目的創建）來生成令人信服的唐納德·特朗普（Donald Trump）。

不幸的是，在2個月內實驗了100多個高參數組合後，我們無法產生與Transferer TTS紙的結果相匹配的結果。我們認為，模型大小是這裡的重要因素，並且要訓練TTS的變壓器，真正需要減少過度擬合以允許長時間，穩定的訓練過程（在RTX 2080TI上進行了約1週的培訓）。

同樣，訪問變壓器TT的原始實現將有很大幫助。

儘管改革者不符合我們的期望，但Squeezewave實施與沒有FP16支持的原始性能相匹配。

我們還包括用於運行培訓和推理的CLI（請參閱使用情況部分），以及實驗複製所需的所有數據（請參閱開發部分）。

該項目在重大的重構之下，此版本在這裡留在這裡，以允許與我們以前的經驗兼容，並將在不久的將來移動。

額外的文件

• 最終演示和幻燈片
• 項目雜誌
• 研究文檔

使用該項目

該項目是一個普通的Python軟件包，只要您擁有Python 3.8或更高，就可以使用pip安裝。

轉到發布頁面以查找最新版本的安裝說明。

安裝後，您可以通過運行來查看可用命令：

python -m reformer_tts.cli --help

所有命令均使用CLI執行，例如：

python -m reformer_tts.cli train-vocoder

大多數參數（尤其是所有訓練超級參數）是通過--config參數到cli （在您要運行的命令之前進行的），例如：

python -m reformer_tts.cli -c /path/to/your/config.yml train-vocoder

默認值可以在reformer_tts.config.Config （及其字段）中找到。

開發設置

1。安裝依賴項

使用conda

多虧了Conda-Forge社區，我們可以使用一個命令安裝所有軟件包（包括ffmpeg等必要的二進製文件）。

conda env create -f environment.yml

使用其他軟件包經理

1. 檢查您的環境並確保您的Python>=3.8 ：

which python
python --version

2. 安裝Python依賴項（還以可編輯模式安裝我們的軟件包）：

pip install -r requirements.txt

3. 確保您已安裝ffmpeg>=3.4,<4.0 （安裝說明）

4. 對於培訓，請確保您安裝了CUDA和GPU司機（有關詳細信息，請參閱Pytorch網站上的說明）

2。配置工具

1. 為了使DVC具有對遙控器的寫入訪問，請配置您的GCP帳戶（使用生成的JSON文件中的憑據）：

 export GOOGLE_APPLICATION_CREDENTIALS=/path/to/your/service-account-credentials.json

注意：如果您只需要讀取Acces（用於繁殖），則無需執行步驟1

2. 獲取所有數據 - 需要重複此步驟：
   • 每次休息後開始工作
   • 每次git拉
   • 檢查了另一個git分支

dvc pull

3。檢查設置是否正確

為此，您可以運行項目測試：

python -m pytest --pyargs reformer_tts

所有測試均應在CPU和GPU上使用，並且可能需要一分鐘才能完成。

請記住將--pyargs reformer_tts傳遞到Pytest，否則它將搜索數據目錄進行測試

設置詳細信息

• 使用您想要的任何軟件包管理器
• 使用Python>=3.8
• 所有python依賴關係都將在requirements.txt中environment.yml
• 運行任務的一個中央入口點： reformer_tts/cli.py ，運行python reformer_tts/cli.py --help用於詳細參考

配置

配置在數據級結構中組織：

• 每個項目子模塊都有其自己的配置文件，稱為config.py ，其中定義了參數和默認值 - 例如，deataset config參數是在reformer_tts.dataset.config中指定的。
• reformer_tts.config.Config類包含所有subpodules的配置設置
• 配置參數的實際值是從配置文件中以yaml格式加載的，最佳實踐是僅覆蓋yaml文件中的默認值

這樣，將默認值設置為靠近使用的位置，任何配置值都可以在您想要的任何地方覆蓋

更改運行時配置

• 使用命令python reformer_tts/cli.py save-config -o config/custom.yml或手動複製config/ Directory中現有配置文件之一，自動使用默認值生成默認值的配置。
• 刪除您不希望從生成的配置文件更改的默認值
• 更改您希望在生成的配置文件中更改的值
• 使用-c選項運行CLI腳本python reformer_tts/cli.py -c config/custom.yml [COMMAND]指定您的配置

為新模塊添加配置

• 在模塊中創建config.py
• 在新文件中使用所有必要的配置參數定義數據級：
  • 確保您的類不重新定義其他配置文件的參數值（即，我們僅指定了頻譜頻道的數量一次 - 在dataset和squeezewave模塊的同一位置）
  • 確保您的類具有所有參數的默認值
• 在reformer_tts.config Main Config類中添加Dataclass的字段

數據依賴性

我們使用DVC定義數據處理管道。遙控器是在Google Cloud Storage上設置的，有關詳細信息運行dvc config list 。

在熵集群上運行作業的設置

準備運行的節點：

• Asusgpu3
• Asusgpu4
• Asusgpu1
• 阿諾德
• 西爾維斯特

與Homedir在節點上運行Trainig

• 克隆回購到您的homedir
• 確保在/scidatalg中配置數據集路徑
• 設置命令從您的homedir調用文件
• 提交您的更改
• 運行sbatch腳本

在沒有homedir的特定節點上進行培訓

在運行之前：

• 從已經準備好的節點或使用下面的說明中選擇新的節點
• 將存儲庫複製到您的家中
• 確保在您的環境中設置Neptune API令牌

進行培訓：

• 準備培訓配置並將其推入遠程存儲庫
• 使用Interactive Session srun --qos=gsn --partition=common --nodelist=<name_of_chosen_node> --pty /bin/bash登錄到選擇節點
• goto /scidatalg/reformer-tts/reformer-tts/確保將存儲庫拔出並在適當的分支機構上
• 登錄登錄節點
• 複製和修改jobs/train_entropy.sbatch填充節點名稱和培訓命令
• 運行sbatch your/job/script/location.sbatch

專業提示watch -n 1 squeue -u your_username要注意您的作業是否已經在運行PRO TIP2您可以通過運行tail -f file.log或less --follow-name +F file.log觀看對日誌的更新。

從DVC拉

從DVC拉jobs/entropy_dvc_pull.sbatch 。

• 複製此文件
• 填充節點名稱
• 調整DVC命令
• 使用Sbatch運行工作

新節點準備

由於 /scidatasm目錄在我們想訓練時不同步，因此我們必須手動在每個節點上設置訓練。在新節點上設置ENV遵循此啟動：

注意：此腳本僅支持具有 /scidatalg的節點。這些節點是：asusgpu4，asusgpu3，asusgpu2，asusgpu1，asslvester，sylvester

• 使用Interactive Session srun --qos=gsn --partition=common --nodelist=<name_of_chosen_node> --pty /bin/bash登錄到節點
• 將Google API憑據複製到${HOME}/gcp-cred.json （使用您喜歡的編輯器）
• 將scripts/setup_entropy_node.sh的內容複製到家庭dir中的新文件（再次使用編輯器）
• 運行複制腳本