TTS papers

（隨時建議更改）

文件

• 合併音素和字符表示：https：//arxiv.org/pdf/1811.07240.pdf
• tacotron轉移學習：https：//arxiv.org/pdf/1904.06508.pdf
• 引起注意的音素時機：https：//ieeexplore.ieee.org/stamp/stamp.jsp.tp=&arnumber=8683827
• 半監督培訓以提高端到端語音合成的數據效率-https：//arxiv.org/pdf/1808.10128.pdf
• 講話時聆聽：深度學習的語音鏈-https：//arxiv.org/pdf/1707.04879.pdf
• 演講者驗證的通用端到端損失：https：//arxiv.org/pdf/1710.10467.pdf
• ES-TACOTRON2：具有預先訓練的估計網絡的多任務TACOTRON 2，用於減少平滑度問題：https：//www.mdpi.com/2078-2489/10/4/131/131/pdf
  • 反對過度平滑
• FastSpeech：https：//arxiv.org/pdf/1905.09263.pdf
• 從演講中學習唱歌：https：//arxiv.org/pdf/1912.10128.pdf
• tts-gan：https：//arxiv.org/pdf/1909.11646.pdf
  • 他們使用持續時間和語言特徵來進行EN2EN TT。
  • 接近Wavenet性能。
• 榴蓮：https：//arxiv.org/pdf/1909.01700.pdf
  • 持續時間意識到的塔科克斯
• Melnet：https：//arxiv.org/abs/1906.01083
• Aligntts：https：//arxiv.org/pdf/2003.01950.pdf
• 通過三重信息瓶頸無監督的語音分解
  • https://arxiv.org/pdf/2004.11284.pdf
  • https://anonymous0818.github.io/
• Flowtron：https：//arxiv.org/pdf/2005.05957.pdf
  • TACOTRON上的逆向自動化流量如架構
  • 浪潮作為Vocoder。
  • 語音風格與高斯模型的混合物嵌入。
  • 型號比香草·塔科特（Vanilla Tacotron）
  • MOS值比公共Tacotron實施要好得多。
• 有效的基於深卷積網絡的有效訓練的文本到語音系統具有指導性：https：//arxiv.org/pdf/1710.08969.pdf

廣泛的摘要

端到端對抗性文本到 - spech：http：//arxiv.org/abs/2006.03575（單擊以展開）

• END2END饋送前進的TTS學習。
• 字符對齊是使用單獨的對齊器模塊完成的。
• 對準器預測每個字符的長度。 - 炭的中心位置被發現了以前字符的總長度。 - 字符位置用高斯窗口插值在真實音頻長度上。
  • 音頻輸出是在MU-LAW域中計算的。 （我沒有理由）
  • 僅使用2秒音頻窗口進行傳輸。
  • GAN-TTS發電機用於產生音頻信號。
  • RWD用作音頻級別歧視器。
  • MELD：他們使用Biggan-Deep體系結構作為頻譜級鑑別器，將問題作為圖像重建重新加重。
  • 頻譜圖丟失
    • 僅使用對抗性飼料不足以學習炭的比對。他們使用頻譜丟失b/w預測的頻譜圖和地面真相規範。
    • 請注意，模型預測音頻信號。上面的頻譜圖是從生成的音頻計算的。
    • 動態時間包裝用於計算最小成本比對B/W生成的頻譜圖和地面真相。
    • 它涉及一種動態編程方法，以找到最小成本的比對。
  • 對齊器長度損失用於懲罰對準器的預測與真實音頻長度不同。
  • 他們使用多揚聲器數據集訓練模型，但報告最佳性能揚聲器的結果。
  • 消融研究每個組件的重要性：（ lengthloss和spectrogramloss）> rwd> meld> phonemes>多孔dataset。
  • 我的2美分：這是一個饋電模型，可提供末端2端語音綜合，而無需訓練單獨的Vocoder模型。但是，它是非常複雜的模型，並帶有許多超參數和實現細節。同樣，最終結果也不接近於最新的現狀。我認為我們需要找到用於學習字符對齊的特定算法，以減少調整不同算法組合的需求。

快速演講2：http：//arxiv.org/abs/2006.04558（單擊以展開）

• 使用MFA生成的音素持續時間作為標籤來訓練長度調節器。
• Thay使用幀級別F0和L2頻譜圖規範（方差信息）作為其他功能。
• 方差預測器模塊可以預測推理時間的方差信息。
• 消融研究結果改進：模型<模型 + L2_NORM <模型 + L2_NORM + F0

glow-tts：https：//arxiv.org/pdf/2005.11129.pdf（單擊以展開）

• 使用單調對準搜索學習對齊b/w文本和頻譜圖
• 該比對用於訓練在推理時使用的持續時間預測變量。
• 編碼器將每個字符映射到高斯分佈。
• 解碼器使用標準化流（發光層）將每個光譜圖映射到潛在矢量
• 編碼器和解碼器輸出與MAS對齊。
• 首先，在每次迭代中，最可能的對齊方式是通過MAS找到的，並且該比對用於更新模式參數。
• 訓練持續時間預測器，以預測每個字符的頻譜圖幀數。
• 在推斷時，僅使用持續時間預測器代替MAS
• 編碼器具有TTS變壓器的架構，並具有2個更新
• 他們使用實地位置編碼，而不是絕對的位置編碼。
• 他們還為編碼器Prenet使用殘留連接。
• 解碼器具有與Glow模型相同的架構。
• 他們訓練單言和多揚聲器模型。
• 它是通過實驗表明的，與原始tacotron2相比
• 推理時比tacotron2快15倍
• 我的2美分：他們的樣本聽起來不像塔科特人那樣自然。我認為正常注意力模型仍然會產生更多的自然語音，因為註意力學會了將字符映射到直接建模輸出。但是，對於硬數據集來說，使用Glow-TTS可能是一個很好的替代方法。
• 樣本：https：//github.com/jaywalnut310/glow-tts
• 存儲庫：https：//github.com/jaywalnut310/glow-tts

非自動入學的神經文本到講話：http：//arxiv.org/abs/1905.08459（單擊以展開）

• 使用非卷積層的深度語音3模型的推導。
• 教師學生範式訓練Annon-AutoreReSressive Student，該學生具有自回歸教師模型的多個關注障礙。
• 教師用於生成學生模型使用的文本到光譜圖。
• 該模型通過兩個損失函數進行訓練，以進行注意和頻譜圖的產生。
• 多重註意力阻止逐層完善注意對準。
• 學生使用查詢，鑰匙和價值向量的點產生關注。查詢僅是量度編碼向量。密鑰和值是編碼器輸出。
• 所提出的模型與位置編碼很大程度上綁定，該位置編碼也依賴於不同的常數值。

雙解碼器的一致性：https：//erogol.com/solving-prestion-problems-of-tts-models-with-double-decoder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-coder-codersistency

• 該模型使用像架構這樣的TACOTRON，但具有2個解碼器和一個後網。
• DDC使用兩個同步解碼器使用不同的降低率。
• 解碼器使用不同的降低率，因此它們以不同的粒度計算輸出，並學習輸入數據的不同方面。
• 該模型使用這兩個解碼器之間的一致性來增加學習文本對光譜圖的魯棒性。
• 該模型還通過多次應用郵政編碼迭代來應用最終解碼器輸出的改進。
• DDC在PRENET模塊中使用批歸歸量，並刪除輟學層。
• DDC使用逐步培訓來減少總培訓時間。
• 我們使用多波段梅爾根發電機作為一個與原始作品不同的訓練多個隨機窗口歧視器的聲碼器。
• 我們只能在2天內使用單個GPU訓練DDC模型，並且最終模型能夠比CPU上的實時語音更快地生成。演示頁面：https：//erogol.github.io/ddc-samples/代碼：https：//github.com/mozilla/tts

並行tacotron2：http：//arxiv.org/abs/2103.14574（單擊以展開）

• 不需要外部持續時間信息。
• 通過軟dtw損失解決了真實和地面真實譜圖之間的對齊問題。
• 預測的持續時間通過學習的轉換功能而不是長度調節器轉換為對齊，以解決舍入問題。
• 從預測的持續時間內計算出“令牌邊界網格”的注意力圖。
• 解碼器建在6個“輕量級卷積”塊上。
• VAE用於將輸入頻譜圖投影到潛在特徵，並與特徵嵌入作為網絡的輸入。
• Soft-DTW在計算上是密集型的，因為它為所有頻譜圖幀計算成對差異。他們用一定的對角線窗口違反了它，以減少開銷。
• 最終持續時間目標是持續時間損失，VAE丟失和光譜損失的總和。
• 他們僅使用專有數據集進行實驗？
• 使用Tacotron2模型實現相同的MOS，並且優於可質感。
• 演示頁面：https：//google.github.io/tacotron/publications/parallel_tacotron_2/index.html
• 代碼：到目前為止沒有代碼

WaveGrad2：https：//arxiv.org/pdf/2106.09660.pdf（單擊以展開）

• 它直接從音素序列計算原始波形。
• tacotron2之類的編碼器模型用於計算來自音素的隱藏表示形式。
• 非競爭塔科克斯（Tacotron）如軟持續時間預測因子，以使隱藏的代表與輸出相結合。
• 他們在預測的持續時間內擴展了隱藏的表示形式，並採樣了某個窗口以轉換為波形。
• 他們探索了64和256幀之間的不同窗口尺寸，對應於0.8和3.2秒的語音。他們發現越大越好。
• 演示頁面：到目前為止什麼都沒有
• 代碼：到目前為止沒有代碼

---

多演講紙

• 培訓多演講者的神經文本到語音系統，使用揚聲器 - 不平衡的語音語料庫-https：//arxiv.org/abs/1904.00771
• 深聲音2-https：//papers.nips.cc/paper/6889-deep-voice-2-multi-speaker-neural-text-toxt to-spech.pdf
• 示例有效的自適應TTS -https：//openreview.net/pdf?id=rkzjuoacfx
  • Wavenet +揚聲器嵌入方法
• 語音循環-https：//arxiv.org/abs/1707.06588
• 建模多演講者的潛在空間，以改善神經TTS快速註冊新揚聲器並增強高級語音-https：//arxiv.org/pdf/1812.05253.pdf
• 從說話者驗證到多言式文本到語音綜合的轉移學習-https：//arxiv.org/pdf/1806.04558.pdf
• 根據簡短未轉錄的樣本安裝新的揚聲器-https：//arxiv.org/pdf/1802.06984.pdf
• 演講者驗證的終端損失-https：//arxiv.org/abs/1710.10467

廣泛的摘要

使用離散語音表示形式的多演講者文本到語音綜合的半監督學習：http：//arxiv.org/abs/2005.08024

• 訓練只有一個小時的配對數據（文本到聲音對準）和更多不成對（僅VOIDE）數據的多揚聲器TTS模型。
• 它學習一個代碼簿，每個代碼單詞對應於單個音素。
• 使用配對數據和CTC算法將代碼書與音素對齊。
• 該代碼書籍的功能就像代理，可以隱式估計未配對數據的音素序列。
• 他們在頂部堆疊tacotron2模型，以使用模型初始部分生成的代碼單詞嵌入來執行TTS。
• 他們在1小時長的配對數據設置中擊敗了基準方法。
• 他們沒有報告完整的配對數據結果。
• 他們沒有良好的消融研究，很有趣的是，看到模型的不同部分如何促進性能。
• 他們使用Griffin-lim作為聲音編碼器，因此有可以改進的空間。

演示頁面：https：//ttaoretw.github.io/multispkr-semi-tts/demo.html
代碼：https：//github.com/ttaoretw/semi-tts

專家：很少彈藥到語上利用基於注意力的變量長度嵌入：https：//arxiv.org/abs/2005.08484

• 使用兩個編碼器學習揚聲器依賴功能。
• 粗編碼器根據提供的參考光譜圖學習了一個全局揚聲器嵌入向量。
• 精細編碼器學習一個可變長度嵌入的嵌入，以使時間尺寸與註意模塊合作。
• 注意力選擇重要的參考光譜圖框架來綜合目標語音。
• 首先使用單個揚聲器數據集預處理模型（用於30k Iters的LJSpeech。）
• 用多演講者數據集微調模型。 （VCTK 70k Iters。）
• 與使用揚聲器分類模型和基於VAE的參考音頻編碼器的X-矢量相比，它的指標稍好一些。

演示頁面：https：//hyperconnect.github.io/attentron/

邁向通用文本到 - s-Speech：http：//www.interspeech2020202020202020.org/uploadfile/pdf/wed-3-4-4-3.pdf

• 序列序列多語言TTS的框架
• 該模型經過一個非常大，高度不平衡的數據集訓練。
• 該模型能夠在初次培訓後學習使用6分鐘的新語言和一個具有20秒數據的新揚聲器。
• 該模型體系結構是一個基於變壓器的編碼器 - 碼頭網絡，該網絡具有揚聲器網絡和用於說話者和語言凝結的語言網絡。這些網絡的輸出與編碼器輸出相連。
• 條件網絡採用代表說話者或語言ID的單熱量向量，並將其投影到條件表示。
• 他們使用Waveet Vocoder將預測的MEL光譜圖轉換為波形輸出。
• 他們使用語言依賴語言輸入，這些輸入在語言之間不共享。
• 他們根據數據集中每種語言的逆頻率對每個批次進行採樣。因此，每個培訓批次在語言上都有統一的分佈，從而減輕了培訓數據集中的語言失衡。
• 為了學習新的揚聲器/語言，它們可以通過調節網絡微調編碼器模型。他們不訓練WaveNet模型。
• 他們使用50種語言的1250小時專業錄音進行培訓。
• 他們在所有音頻樣本中使用16kHz採樣率，並在每個夾子的開始和結束時進行修剪沉默。
• 他們使用4個V100 GPU進行培訓，但他們沒有提及訓練該模型多長時間。
• 結果表明，單揚聲器模型比MOS指標中提出的方法更好。
• 同樣，使用調節網絡對於數據集中的長尾語言也很重要，因為它們可以改善它們的MOS指標，但會損害高資源語言的性能。
• 當他們添加新的揚聲器時，他們會觀察到使用超過5分鐘的數據降低模型性能。他們聲稱，由於這些錄音不如原始錄音那麼乾淨，因此使用更多錄音會影響模型的一般性能。
• 多語言模型只能為新的揚聲器和語言的6分鐘數據進行訓練，而單個揚聲器模型需要3個小時才能訓練，甚至無法獲得與6分鐘多語言模型相似的MOS值。

AdaSpeech：自適應文本對自定義語音的語音：https：//openreview.net/pdf？ id = drynvt7gg4l

• 他們提出了一個可以適應用戶的不同輸入聲屬性的系統，並使用最少的參數來實現這一目標。
• 主要體系結構基於FastSpeech2模型，該模型使用音高和方差預測指標來學習輸入語音的粒度。
• 他們使用3個其他調節網絡。
• 話語水平。它需要參考語音作為輸入。
• 音素級別。它將音素級別的mel光譜圖作為輸入，併計算音素級調節矢量。通過在每個音素的持續時間內採用平均光譜圖框架來計算音素級的MEL光譜圖。
• 音素級別2。將音素編碼器輸出作為輸入。這與上面的網絡不同，只需使用音素信息而不看到頻譜圖即可。
• 所有這些調節網絡和後骨FastSpeech2都使用層歸一化層。
• 條件層歸一化。當對新揚聲器進行微調時，他們只建議微調每個層歸一化層的比例和偏差參數。他們為每個層標準層訓練揚聲器調理模塊，該模塊輸出刻度和偏差值。 （他們每個變壓器塊使用一個揚聲器調節模塊。）
• 這意味著您只為每個新揚聲器存儲揚聲器條件模塊，並在推斷其餘模型相同時預測推斷時的比例和偏差值。
• 在實驗中，他們在庫中訓練模型訓練模型，並用VCTK和LJSpeech對其進行微調
• 結果表明，使用條件層歸一化的實現比僅使用揚聲器嵌入和解碼器網絡微調的兩個基線要好。
• 他們的消融研究表明，模型中最重要的部分是“音素級別”網絡，然後是條件層的歸一化和“話語級別”網絡。
• 本文的一個重要的下降是，文獻幾乎沒有比較，這使得結果更難客觀地評估。

演示頁面：https：//speechresearch.github.io/adaspeech/

---

注意力

• 可靠的長長式綜合的位置相關注意機制-https：//arxiv.org/pdf/1910.10288.pdf

---

聲碼器

• 梅爾根：https：//arxiv.org/pdf/1910.06711.pdf

• Parallelwavegan：https：//arxiv.org/pdf/1910.11480.pdf

  • 多尺度STFT損失
  • 〜1m模型參數（非常小）
  • 比Wavernn稍差

• 改進FFTNET

  • https://www.okamotocamera.com/slt_2018.pdff
  • https://www.okamotocamera.com/slt_2018.pdf

• fftnet

  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/clips/clips.php
  • https://gfx.cs.princeton.edu/pubs/jin_2018_far/fftnet-jin2018.pdf

• 語音波形重建使用噪聲和周期性輸入的捲積神經網絡

  • 150.162.46.34:8080/icassp2019/icassp2019/pdfs/0007045.pdf

• 致力於實現強大的通用聲音

  • https://arxiv.org/pdf/1811.06292.pdf

• lpcnet

  • https://arxiv.org/pdf/1810.11846.pdf
  • https://arxiv.org/pdf/2001.11686.pdf

• 興奮劑

  • https://arxiv.org/pdf/1811.04769v3.pdf

• GELP：GAN激發的語音合成線性預測來自Mel-Spectrograpon

  • https://arxiv.org/pdf/1904.03976v3.pdf

• 高保真語音綜合與對抗網絡：https：//arxiv.org/abs/1909.11646

  • gan-tts，端到端語音綜合
  • 使用持續時間和語言特徵
  • 持續時間和聲學特徵由其他模型預測。
  • 隨機窗口判別器：攝入不是整個語音樣本，而是隨機窗口。
  • 多個RWD。有條件和一些無條件。 （以輸入功能為條件）
  • PUNCHLINE：使用隨機採樣的窗口，帶有不同的窗口尺寸。
  • 共享的結果聽起來很機械，顯示出非神經聲學特徵的限制。

• Multi Band Melgan：https：//arxiv.org/abs/2005.05106

  • 使用PWGAN損失而不是功能匹配損失。
  • 使用較大的接受場提升模型性能。
  • 為200k iTer的發電機預訓練。
  • 多帶語音信號預測。輸出是用PQMF合成過濾器的4個不同頻帶預測的總和。
  • 多波段模型具有190萬參數（很小）。
  • 聲稱比梅爾根快7倍
  • 在中文數據集上：MOS 4.22

• WaveGlow：https：//arxiv.org/abs/1811.00002

  • 非常大的型號（參數268m）
  • 很難訓練，因為在12GB GPU上，只能花費1批量1。
  • 實時推斷由於使用了卷積。
  • 基於可逆歸一流的流動。 （很棒的教程https://blog.evjang.com/2018/01/nf1.html）
  • 模型將音頻樣品學習和不可能的映射到具有最大可能性損失的MEL光譜圖。
  • 在推理網絡沿相反方向運行，並將MEL-SPEC轉換為音頻樣本。
  • 培訓已經使用8個NVIDIA V100，帶有32GB RAM，批量24。 （昂貴）

• Squeezewave：https：//arxiv.org/pdf/2001.05685.pdf，代碼：https：//github.com/tianrengao/squeezewave

  • 比實時快5-13倍
  • 浪潮散文：長音頻樣本，示例MEL-SPEC，WN函數中的大通道尺寸。
  • 修復：更多但較短的音頻樣本作為輸入，（L = 2000，C = 8 vs L = 64，C = 256）
  • L = 64匹配MEL規格的分辨率，因此無需上採樣。
  • 在WN模塊中使用深度可分離的捲積。
  • 使用常規卷積而不是擴張，因為音頻樣品較短。
  • 假設這些向量幾乎相同，請勿將模塊輸出分為殘差和網絡輸出。
  • 使用Titan RTX 24GB批量96進行600K迭代的培訓。
  • mos在ljspeech上：浪潮-4.57，squeezewave（l = 128 c = 256） - 4.07和squeezewave（l = 64 c = 256） - 3.77
  • 最小的模型在RASPI3上具有每秒21K樣品。

WaveGrad：https：//arxiv.org/pdf/2009.00713.pdf

• 它基於概率擴散和拉根文動力學
• 基本想法是學習一個函數，該函數將已知分佈映射到目標數據分佈迭代。
• 他們報告了GPU的0.2實時因子，但CPU性能沒有共享。
• 在下面的示例代碼中，作者報告說，該模型在單個GPU進行了2天的培訓後收斂。
• 紙上的MOS得分不夠富含材料，但表現出與Wavernn和Wavenet等已知模型相當的性能。

代碼：https：//github.com/ivanvovk/wavegrad

從互聯網（博客，視頻等）

影片

論文討論

• TACOTRON 2：https：//www.youtube.com/watch?v=2iarxxm-v9w

會談

• 談論推動神經文本到語音的前沿，XU tan，2021年，https：//youtu.be/ma8pcvmr8b0
• 關於基於生成模型的文本到語音綜合的討論，Heiga Zen，2017年
  • 視頻：https：//youtu.be/nsrsrytkkt8
  • 幻燈片：https：//research.google.com/pubs/pub458882.html
• Xin Wang的神經參數文本到語音綜合的教程，Xin Wang，2020
  • 視頻：https：//youtu.be/wce7sycdzai
  • 幻燈片：http：//tonywangx.github.io/slide.html#dec-2020
• ISCA語音處理課程，關於神經聲碼編碼，2022年
  • 神經聲碼器的基本組件：https：//youtu.be/m833q5i-zys
  • 語音壓縮的深刻生成模型（LPCNET）：https：//youtu.be/7ksnfx3plgw
  • 神經自動回歸，源濾波器和聲門聲碼器：https：//youtu.be/gprmxdberx0
    • 幻燈片：http：//tonywangx.github.io/slide.html#jul-2020
• 口語神經解碼的語音綜合| AISC：https：//www.youtube.com/watch?v=mndtmdpmnmo
• 生成文本到 - 講話綜合：https：//www.youtube.com/watch?v=j4mveanking
• 遊戲行業的語音綜合：https：//www.youtube.com/watch?v=AOHAYE4A-2Q

一般的

• 現代文本到 - 講話系統評論：https：//www.youtube.com/watch?v=8rxlsc-zcry

Jupyter筆記本

• 有關神經聲碼編碼器的教程：https：//github.com/nii-yamagishilab/project-nn-pytorch-scripts/tree/master/master/tutorials/b1_neural_vocoder

部落格

• 文字到語音深度學習體系結構：http：//www.erogol.com/text-speech-deep-learning-architectures/