【51CTO.com原創(chuàng)稿件】 說話人自適應(yīng)算法利用說話人少量語料來建立說話人自適應(yīng)語音合成系統(tǒng)，該系統(tǒng)能夠合成令人滿意的語音。在本文中，我們提出了基于線性網(wǎng)絡(luò)的語音合成說話人自適應(yīng)算法。該算法對(duì)每個(gè)說話人學(xué)習(xí)特定的線性網(wǎng)絡(luò)，從而獲得屬于目標(biāo)說話人的聲學(xué)模型。通過該算法，使用200句目標(biāo)說話人的自適應(yīng)語料訓(xùn)練的說話人自適應(yīng)系統(tǒng)能夠獲得和使用1000句訓(xùn)練的說話人相關(guān)系統(tǒng)相近的合成效果。

研究背景

對(duì)于一個(gè)目標(biāo)說話人，如果他（她）擁有充足的訓(xùn)練數(shù)據(jù)，那么我們便可以建立一個(gè)說話人相關(guān)的聲學(xué)模型，基于該聲學(xué)模型的系統(tǒng)稱之為說話人相關(guān)的語音合成系統(tǒng)。利用該系統(tǒng)，我們能夠合成和目標(biāo)說話人聲音很像的語音。但是，大多數(shù)時(shí)候，目標(biāo)說話人沒有充足的數(shù)據(jù)，這使得合成出來的語音效果不太理想。利用說話人自適應(yīng)算法，能夠基于比較有限的數(shù)據(jù)來獲得較好的語音合成系統(tǒng)，該類算法節(jié)省了大量的錄音、轉(zhuǎn)錄和檢查工作，使得建立新的聲音的代價(jià)變得很小。

本文中，我們提出了基于線性網(wǎng)絡(luò)（Linear Network, LN）的語音合成說話人自適應(yīng)算法。該算法通過在源說話人聲學(xué)模型的層間插入線性網(wǎng)絡(luò)，然后利用目標(biāo)說話人的數(shù)據(jù)來更新該線性網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)的輸出層，從而能夠獲得屬于目標(biāo)說話人的聲學(xué)模型。另外，一種基于低秩分解（low-rank plus diagonal，LRPD）的模型壓縮算法被應(yīng)用于線性網(wǎng)絡(luò)。實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)數(shù)據(jù)量較少的時(shí)候，通過LRPD來移除一些冗余的參數(shù)，從而能夠使得系統(tǒng)合成的聲音更加穩(wěn)定。

算法描述

本文中，源說話人聲學(xué)模型是一個(gè)基于多任務(wù)（multi-task）DNN-BLSTM的聲學(xué)模型，見Fig. 1左側(cè)。聲學(xué)模型的輸入為語音學(xué)特征，輸出為聲學(xué)特征。聲學(xué)特征包括梅爾倒譜系數(shù)等。實(shí)驗(yàn)證明，在聲學(xué)模型的底層使用深層神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）可以獲得更好的底層特征，并且收斂速度上相比于不使用DNN更快。在輸出層上，不同的聲學(xué)特征使用各自的輸出層，它們僅共享聲學(xué)模型的隱層。

基于線性網(wǎng)絡(luò)的自適應(yīng)算法首先被提出于語音識(shí)別領(lǐng)域，它的系統(tǒng)結(jié)構(gòu)見Fig. 1右側(cè)。根據(jù)線性網(wǎng)絡(luò)插入的位置不同，它可以被分為線性輸入網(wǎng)絡(luò)（Linear Input Network，LIN）、線性隱層網(wǎng)絡(luò)（Linear Hidden Network，LHN）和線性輸出網(wǎng)絡(luò)（Linear Output Network，LON）。

實(shí)驗(yàn)

本文提出的算法，在中文數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含3個(gè)說話人，每個(gè)說話人有5000句話，時(shí)長(zhǎng)約5h。數(shù)據(jù)集中語音的采樣率為16k，特征提取中的窗長(zhǎng)和窗移分別為25ms和5ms。分別用A-male、B- female和C-female來命名這三個(gè)說話人。本實(shí)驗(yàn)中，源說話人聲學(xué)模型訓(xùn)練過程所使用的句子數(shù)為5000。為了對(duì)比不同句子數(shù)目下的合成效果，目標(biāo)說話人的自適應(yīng)數(shù)據(jù)集對(duì)應(yīng)的句子數(shù)從50到1000不等。在自適應(yīng)數(shù)據(jù)集之外，我們?nèi)?00句話作為開發(fā)集，取20句話作為測(cè)試集（用于主觀打分）。為了分析性別對(duì)自適應(yīng)效果的影響，進(jìn)行了三對(duì)源說話人-目標(biāo)說話人之間的實(shí)驗(yàn)：女生-女生、男生-女生和女生-男生。另外，使用客觀度量和主觀測(cè)聽兩種方式來衡量模型的性能。客觀度量主要包括：Mel-Cepstral Distortion (MCD)、root mean squared error (RMSE) of F0、unvoiced/voiced (U/V) prediction errors和開發(fā)集的MSE。主觀測(cè)聽主要是對(duì)系統(tǒng)合成的聲音樣本進(jìn)行自然度和相似度上的打分——mean opinion score (MOS) 。

以女生-女生（C-female – B-female）為例，F(xiàn)ig. 3顯示了不同自適應(yīng)句子數(shù)目和客觀度量之間的關(guān)系曲線圖。其中，SD表示說話人相關(guān)系統(tǒng)，OL表示只更新源說話人聲學(xué)模型輸出層的說話人自適應(yīng)系統(tǒng)，OL+Full-LN和OL+LRPD-LN分別表示基于Full-LN和LRPD-LN的說話人自適應(yīng)系統(tǒng)。根據(jù)Fig. 3，隨著訓(xùn)練/自適應(yīng)句子數(shù)的增加，所有系統(tǒng)間的客觀度量趨于相近。對(duì)比SD和另外三個(gè)自適應(yīng)系統(tǒng)，自適應(yīng)系統(tǒng)的性能在相同句子數(shù)目下要更優(yōu)。另外，OL+LRPD-LN和OL+Full-LN相比于OL均出現(xiàn)性能上的跳變（提升），說明只更新輸出層而不對(duì)其他層進(jìn)行更新不能夠得到較好的自適應(yīng)效果。同時(shí)，當(dāng)自適應(yīng)句子數(shù)較少的時(shí)候，OL+Full-LN在客觀性能上要差于OL+LRPD-LN，這是因?yàn)镺L+Full-LN引入太多的參數(shù)量，出現(xiàn)過擬合問題。反之，在句子數(shù)多的時(shí)候OL+Full-LN在客觀性能上要優(yōu)于OL+LRPD-LN，此時(shí)OL+LRPD-LN由于參數(shù)量少，出現(xiàn)欠擬合問題。

Fig. 4上對(duì)比了不同系統(tǒng)間的自然度和相似度。隨著句子數(shù)的減少，SD系統(tǒng)的性能出現(xiàn)急劇下降，OL+LRPD-LN相比于SD和OL+Full-LN要更加穩(wěn)定。與客觀度量一致，在相同句子數(shù)下，OL+Full-LN和OL+LRPD-LN在性能上要優(yōu)于SD。并且，OL+Full-LN和OL+LRPD-LN在200句話的性能和SD在1000句話時(shí)的性能相近。與客觀度量不同，OL+LRPD-LN在500句以下的時(shí)候性能上就優(yōu)于OL+Full-LN。這是因?yàn)檫^擬合導(dǎo)致合成出來的聲音不穩(wěn)定（雖然客觀度量更優(yōu)）聲音的可懂度下降導(dǎo)致的。由此，我們依然可以得到相同的結(jié)論：當(dāng)自適應(yīng)句子數(shù)較少的時(shí)候，過擬合使得OL+Full-LN的性能變差。

結(jié)論

本文中，基于線性網(wǎng)絡(luò)的說話人自適應(yīng)算法被應(yīng)用于語音合成領(lǐng)域，基于LRPD的模型壓縮算法能夠提高聲音的穩(wěn)定性。通過三對(duì)不同的源說話人-目標(biāo)說話人的實(shí)驗(yàn)，我們發(fā)現(xiàn)，當(dāng)自適應(yīng)句子數(shù)目非常少的時(shí)候，LRPD能夠提升聲音的穩(wěn)定性。另外，通過提出的算法，使用200句目標(biāo)說話人的訓(xùn)練語料訓(xùn)練的說話人自適應(yīng)系統(tǒng)能夠獲得和使用1000句訓(xùn)練的說話人相關(guān)系統(tǒng)相近的效果。

【本月排行***0】

1. 張真：AIOps六大技術(shù)難點(diǎn)與宜信運(yùn)維的重大變革
   
2. 新炬網(wǎng)絡(luò)程永新：插上AI翅膀 運(yùn)維平臺(tái)煥發(fā)出嶄新生命力
3. 從SIEM&AI到SIEM@AI AI構(gòu)建下一代企業(yè)安全大腦
4. 基于線性網(wǎng)絡(luò)的語音合成說話人自適應(yīng)
5. 轉(zhuǎn)轉(zhuǎn)公司架構(gòu)算法部孫玄：AI下的微服務(wù)架構(gòu)

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】