Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等語音預(yù)訓(xùn)練模型，通過在多達(dá)上萬小時(shí)的無標(biāo)注語音數(shù)據(jù)（如 Libri-light ）上的自監(jiān)督學(xué)習(xí)，顯著提升了自動(dòng)語音識(shí)別（Automatic Speech Recognition, ASR），語音合成（Text-to-speech, TTS）和語音轉(zhuǎn)換（Voice Conversation，VC）等語音下游任務(wù)的性能。然而這些模型都沒有公開的中文版本，不便于應(yīng)用在中文語音研究場(chǎng)景。 

WenetSpeech [4] 是由西工大音頻、語音和語言處理研究組 (ASLP@NPU)、出門問問、希爾貝殼聯(lián)合發(fā)布的 1 萬多小時(shí)多領(lǐng)域語音數(shù)據(jù)集。為了彌補(bǔ)中文語音預(yù)訓(xùn)練模型的空缺，我們開源了基于 WenetSpeech 1 萬小時(shí)數(shù)據(jù)訓(xùn)練的中文版 Wav2vec 2.0 和 HuBERT 模型。

為了驗(yàn)證預(yù)訓(xùn)練模型的性能，我們?cè)?ASR 任務(wù)進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，在 100 小時(shí)有監(jiān)督數(shù)據(jù) ASR 任務(wù)上，預(yù)訓(xùn)練模型學(xué)到的語音表征相對(duì)于傳統(tǒng)聲學(xué) FBank 特征有顯著的性能提升，甚至僅用 100 小時(shí)有監(jiān)督數(shù)據(jù)能夠得到和 1000 小時(shí)有監(jiān)督數(shù)據(jù)可比的結(jié)果。

模型鏈接：https://github.com/TencentGameMate/chinese_speech_pretrain

模型介紹

Wav2vec 2.0 模型

圖 1: Wav2vec 2.0 模型結(jié)構(gòu) (Baevski et al., 2020)

Wav2vec 2.0 [1] 是 Meta 在 2020 年發(fā)表的無監(jiān)督語音預(yù)訓(xùn)練模型。它的核心思想是通過向量量化（Vector Quantization，VQ）構(gòu)造自建監(jiān)督訓(xùn)練目標(biāo)，對(duì)輸入做大量掩碼后利用對(duì)比學(xué)習(xí)損失函數(shù)進(jìn)行訓(xùn)練。模型結(jié)構(gòu)如上圖 1，基于卷積網(wǎng)絡(luò)（Convoluational Neural Network，CNN）的特征提取器將原始音頻編碼為幀特征序列，通過 VQ 模塊把每幀特征轉(zhuǎn)變?yōu)殡x散特征 Q，并作為自監(jiān)督目標(biāo)。同時(shí)，幀特征序列做掩碼操作后進(jìn)入 Transformer [5] 模型得到上下文表示 C。最后通過對(duì)比學(xué)習(xí)損失函數(shù)，拉近掩碼位置的上下文表示與對(duì)應(yīng)的離散特征 q 的距離，即正樣本對(duì)。原論文中，Wav2vec 2.0 BASE 模型采用 12 層的 Transformer 結(jié)構(gòu)，用 1000 小時(shí)的 LibriSpeech 數(shù)據(jù)進(jìn)行訓(xùn)練，LARGE 模型則采用 24 層 Transformer 結(jié)構(gòu)，用 6 萬小時(shí)的 Libri-light 數(shù)據(jù)訓(xùn)練。訓(xùn)練時(shí)間方面，BASE 模型使用 64 塊 V100 顯卡訓(xùn)練 1.6 天，LARGE 使用 128 塊 V100 顯卡訓(xùn)練 5 天。在下游 ASR 評(píng)測(cè)中，即使只用 10 分鐘的有監(jiān)督數(shù)據(jù)，系統(tǒng)仍可得到 4.8 的詞錯(cuò)誤率（Word Error Rate, WER）結(jié)果。

HuBERT 模型

圖 2: HuBERT 模型結(jié)構(gòu) (Hsu et al., 2021)

HuBERT [2] 是 Meta 在 2021 年發(fā)表的模型，模型結(jié)構(gòu)類似 Wav2vec 2.0，不同的是訓(xùn)練方法。Wav2vec 2.0 是在訓(xùn)練時(shí)將語音特征離散化作為自監(jiān)督目標(biāo)，而 HuBERT 則通過在 MFCC 特征或 HuBERT 特征上做 K-means 聚類，得到訓(xùn)練目標(biāo)。HuBERT 模型采用迭代訓(xùn)練的方式，BASE 模型第一次迭代在 MFCC 特征上做聚類，第二次迭代在第一次迭代得到的 HuBERT 模型的中間層特征上做聚類，LARGE 和 XLARGE 模型則用 BASE 模型的第二次迭代模型提取特征做聚類。從原始論文實(shí)驗(yàn)結(jié)果來看，HuBERT 模型效果要優(yōu)于 Wav2vec 2.0，特別是下游任務(wù)有監(jiān)督訓(xùn)練數(shù)據(jù)極少的情況，如 1 小時(shí)、10 分鐘。

中文預(yù)訓(xùn)練模型

實(shí)驗(yàn)配置我們使用 WenetSpeech [4] train_l 集的 1 萬小時(shí)中文數(shù)據(jù)作為無監(jiān)督預(yù)訓(xùn)練數(shù)據(jù)。數(shù)據(jù)主要來源于 YouTube 和 Podcast，覆蓋了各種類型錄制場(chǎng)景、背景噪聲、說話方式等，其領(lǐng)域主要包括有聲書、解說、紀(jì)錄片、電視劇、訪談、新聞、朗讀、演講、綜藝和其他等 10 大場(chǎng)景。我們基于 Fairseq 工具包 [6] 分別訓(xùn)練了 Wav2vec 2.0 和 HuBERT 模型，遵循 [1，2] 的模型配置，每個(gè)預(yù)訓(xùn)練模型模型包括 BASE 和 LARGE 兩種大小。對(duì)于 BASE 模型，我們使用 8 張 A100 顯卡，梯度累計(jì)為 8，模擬 64 張顯卡進(jìn)行訓(xùn)練。對(duì)于 LARGE 模型，我們使用 16 張 A100 顯卡，梯度累計(jì)為 8，模擬 128 張顯卡進(jìn)行訓(xùn)練。

下游語音識(shí)別任務(wù)驗(yàn)證為了驗(yàn)證預(yù)訓(xùn)練模型在下游 ASR 任務(wù)的效果，我們遵循 ESPnet [7,8,9] 工具包中的 Conformer [10] 模型實(shí)驗(yàn)配置，即將預(yù)訓(xùn)練模型作為特征提取器，對(duì)于輸入語音提取預(yù)訓(xùn)練模型各隱層表征進(jìn)行加權(quán)求和，得到的語音表征將替換傳統(tǒng) FBank 特征作為 Conformer ASR 模型的輸入。

• Aishell 數(shù)據(jù)集

我們使用 Aishell 178 小時(shí)訓(xùn)練集作為有監(jiān)督數(shù)據(jù)進(jìn)行訓(xùn)練，分別對(duì)比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字錯(cuò)誤率 (Character Error Rate, CER) 結(jié)果。同時(shí)，我們額外對(duì)比了使用 WenetSpeech train_l 集 1 萬小時(shí)中文數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，其在 Aishell 測(cè)試集上的效果。訓(xùn)練數(shù)據(jù)使用了變速（0.9、1.0、1.1 倍）和 SpecAugment 數(shù)據(jù)增廣技術(shù)，解碼方式為 beam search，使用了基于 Transformer 的語言模型進(jìn)行 rescoring。

表 1：不同模型在 Aishell 測(cè)試集上的字錯(cuò)誤率（CER%）結(jié)果

根據(jù)表 1 結(jié)果可以看到，通過結(jié)合上萬小時(shí)無監(jiān)督數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練模型，下游 ASR 任務(wù)效果均有顯著提升。尤其是使用 HuBERT LARGE 模型時(shí)，在 Test 集上得到約 30% 的 CER 相對(duì)提升，實(shí)現(xiàn)了目前在 178h 有監(jiān)督訓(xùn)練數(shù)據(jù)下業(yè)界最好結(jié)果。

• WenetSpeech 數(shù)據(jù)集

我們使用 WenetSpeech train_s 集 100 小時(shí)中文數(shù)據(jù)作為有監(jiān)督數(shù)據(jù)進(jìn)行訓(xùn)練，分別對(duì)比了使用 FBank 特征、Wav2vec 2.0 BASE/LARGE 模型特征和 HuBERT BASE/LARGE 模型特征的字錯(cuò)誤率 (Character Error Rate, CER) 結(jié)果。同時(shí)，我們額外對(duì)比了使用 WenetSpeech train_m 集 1000 小時(shí)和 train_l 集 1 萬小時(shí)中文數(shù)據(jù) FBank 特征訓(xùn)練的模型結(jié)果。訓(xùn)練數(shù)據(jù)沒有使用變速或 SpecAugment 數(shù)據(jù)增廣技術(shù)，解碼方式為 beam search，沒有使用語言模型 rescoring。

表 2：不同模型在 WenetSpeech 測(cè)試集上的字錯(cuò)誤率（CER%）結(jié)果

根據(jù)表 2 結(jié)果可以看到，通過結(jié)合上萬小時(shí)無監(jiān)督數(shù)據(jù)訓(xùn)練的預(yù)訓(xùn)練模型，下游 ASR 結(jié)果得到了巨大提升。尤其當(dāng)使用 HuBERT LARGE 作為語音表征提取器時(shí)，使用 100 小時(shí)有監(jiān)督數(shù)據(jù)訓(xùn)練的 ASR 模型要比 1000 小時(shí)基于 FBank 特征訓(xùn)練的模型效果要好，甚至接近 1 萬小時(shí)數(shù)據(jù)訓(xùn)練的模型。

更多語音下游任務(wù)實(shí)驗(yàn)結(jié)果請(qǐng)關(guān)注 GitHub 鏈接（https://github.com/TencentGameMate/chinese_speech_pretrain）。歡迎大家使用我們提供的中文語音預(yù)訓(xùn)練模型開展研究工作，一起探索語音預(yù)訓(xùn)練模型在中文和相關(guān)眾多場(chǎng)景下的應(yīng)用。