本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

阿里達摩院，又搞事兒了。

這兩天，它們發(fā)布了一個全新的語音識別模型：

Paraformer。

開發(fā)人員直言不諱：這是我們“殺手锏”級的作品。

——不僅識別準確率“屠榜”幾大權(quán)威數(shù)據(jù)集，一路SOTA，推理效率上相比傳統(tǒng)模型，也最高可提升10倍。

值得一提的是，Paraformer剛宣布就已經(jīng)開源了。

語音輸入法、智能客服、車載導航、會議紀要等場景，它都可以hold住。

怎么做到的？

Paraformer：從自回歸到非自回歸

我們知道語音一直是人機交互重要研究領(lǐng)域。

而當前語音識別基礎(chǔ)框架已從最初復(fù)雜的混合語音識別系統(tǒng)，演變?yōu)楦咝П憬莸亩说蕉苏Z音識別系統(tǒng)。

其中最具代表性的模型當屬自回歸端到端模型Transformer，它可以在識別過程中需逐個生成目標文字，實現(xiàn)了較高準確率。

不過Transformer計算并行度低，無法高效結(jié)合GPU進行推理。

針對該問題，學術(shù)界近年曾提出并行輸出目標文字的非自回歸模型。

然而這種模型也存在著建模難度和計算復(fù)雜度高，準確率有待提升的問題。

達摩院本次推出的Paraformer，首次在工業(yè)級應(yīng)用層面解決了端到端識別效果與效率兼顧的難題。

它屬于單輪非自回歸模型。

對于這一類模型，現(xiàn)有工作往往聚焦于如何更加準確地預(yù)測目標文字個數(shù)，如較為典型的Mask CTC，采用CTC預(yù)測輸出文字個數(shù)。

但考慮到現(xiàn)實應(yīng)用中，語速、口音、靜音以及噪聲等因素的影響，如何準確的預(yù)測目標文字個數(shù)以及抽取目標文字對應(yīng)的聲學隱變量仍然是一個比較大的挑戰(zhàn)。

另外一方面，通過對比自回歸模型與單輪非自回歸模型在工業(yè)大數(shù)據(jù)上的錯誤類型（如下圖所示，AR與vanilla NAR），大家發(fā)現(xiàn)相比于自回歸模型，非自回歸模型在預(yù)測目標文字個數(shù)（插入錯誤+刪除錯誤）方面差距較小，但是替換錯誤顯著的增加。

阿里達摩院認為這是由于單輪非自回歸模型中條件獨立假設(shè)導致的語義信息丟失。與此同時，目前非自回歸模型主要停留在學術(shù)驗證階段，還沒有工業(yè)大數(shù)據(jù)上的相關(guān)實驗與結(jié)論。

Paraformer是如何做的呢？

針對第一個問題，阿里達摩院采用一個預(yù)測器（Predictor）來預(yù)測文字個數(shù)并通過Continuous integrate-and-fire (CIF)機制來抽取文字對應(yīng)的聲學隱變量。

針對第二個問題，受啟發(fā)于機器翻譯領(lǐng)域中的Glancing language model（GLM），他們設(shè)計了一個基于GLM的 Sampler模塊來增強模型對上下文語義的建模。

除此之外，團隊還設(shè)計了一種生成負樣本策略來引入MWER區(qū)分性訓練。

最終，Paraformer由Encoder、Predictor、Sampler、Decoder與Loss function五部分組成。

核心點主要包含以下幾點：

• Predictor模塊：基于CIF 的Predictor 預(yù)測語音中目標文字個數(shù)以及抽取目標文字對應(yīng)的聲學特征向量；
• Sampler：通過采樣，將聲學特征向量與目標文字向量變換成含有語義信息的特征向量，配合雙向的Decoder來增強模型對于上下文的建模能力；
• 基于負樣本采樣的MWER訓練準則。

效果SOTA，推理效率最高提10倍

最終，在學術(shù)界常用的中文識別評測任務(wù)AISHELL-1、AISHELL-2及WenetSpeech等測試集上， Paraformer-large模型均獲得了最優(yōu)效果。

在AISHELL-1上，Paraformer在目前公開發(fā)表論文中，為性能（識別效果&計算復(fù)雜度）最優(yōu)的非自回歸模型，且Paraformer-large模型的識別準確率遠遠超于目前公開發(fā)表論文中的結(jié)果（dev/test：1.75/1.95）。

在專業(yè)的第三方全網(wǎng)公共云中文語音識別評測SpeechIO TIOBE白盒測試中，Paraformer-large識別準確率超過98%，是目前公開測評中準確率最高的中文語音識別模型。

配合GPU推理，不同版本的Paraformer可將推理效率提升5～10倍。

同時，Paraformer使用了6倍下采樣的低幀率建模方案，可將計算量降低近6倍，支持大模型的高效推理。

體驗地址：?https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary?

論文地址：??https://arxiv.org/abs/2206.08317