自從ChatGPT火爆以來，各種通用的大型模型層出不窮，GPT4、SAM等等，本周一Meta 又開源了新的語音模型MMS，這個(gè)模型號稱支持4000多種語言，并且發(fā)布了支持1100種語言的預(yù)訓(xùn)練模型權(quán)重，最主要的是這個(gè)模型不僅支持ASR，還支持TTS，也就是說不僅可以語音轉(zhuǎn)文字，還可以文字轉(zhuǎn)語音。

因?yàn)橐郧皩φZ音方面沒有研究，所以我就查閱了一下資料，世界上一共有 7,000 多種語言（我一直以為只有幾百），目前的語音識別技術(shù)目前僅能覆蓋100多種，其實(shí)我覺得100多種已經(jīng)夠用了，當(dāng)然如果有特殊的研究需要那要另說。

Facebook （Meta） AI 的最新大型多語言語音 (MMS) 項(xiàng)目可以為 1,100 多種語言提供語音轉(zhuǎn)文本、文本轉(zhuǎn)語音等功能。這是現(xiàn)有模型的 10 倍！它的官網(wǎng)blog上特別提到了Tatuyo 語，只有幾百人在使用。這其實(shí)對于日常來說沒什么用，但是對于研究來說這是一個(gè)很好的例子，因?yàn)橹挥袔装偃巳绾握业讲⒂行У奶釤挃?shù)據(jù)集呢？

Meta 與 OpenAI 的 Whisper 做了詳細(xì)的對比，在數(shù)據(jù)上訓(xùn)練的模型實(shí)現(xiàn)了一半的單詞錯(cuò)誤率，并且訓(xùn)練數(shù)據(jù)更少：

可以看到它的訓(xùn)練數(shù)據(jù)只有45k 小時(shí)的標(biāo)注數(shù)據(jù)，要比Whisper少10倍，而語言支持也多了10倍，這是一個(gè)大的提高。在blog中還特意提到了使用了 《圣經(jīng)》這種流傳廣泛，翻譯語種多的內(nèi)容作為數(shù)據(jù)集，我覺得這是一個(gè)很好方向。

MMS 項(xiàng)目還利用了 wav2vec 2.0 自監(jiān)督語音表示學(xué)習(xí)技術(shù)的優(yōu)勢。在 1,400 種語言的大約 500,000 小時(shí)的語音數(shù)據(jù)上進(jìn)行自監(jiān)督的訓(xùn)練，明顯減少了對標(biāo)記數(shù)據(jù)的依賴。然后針對特定的語音任務(wù)對生成的模型進(jìn)行微調(diào)，例如多語言語音識別和語言識別。

Whisper 的效果對于我來說就已經(jīng)非常好了，我也一直在使用他做為語言轉(zhuǎn)文字的工具，如果MMS的效果更好，那對于我們來說簡直太棒了，并且MMS還支持 language identification (LID) 也就說可以自動識別所說的語言，但是經(jīng)過我的測試，這個(gè)對于支持這么多種語言的模型來說有一個(gè)致命的錯(cuò)誤，就是轉(zhuǎn)錄或錯(cuò)誤解釋可能會導(dǎo)致冒犯性或不準(zhǔn)確的語言。

還記得大張偉嗎,越是準(zhǔn)確的模型越會出問題：

這種多語言語音模型的出現(xiàn)使得語言障礙將被打破，來自全球每個(gè)角落人們都可以通過聲音正常的交流。還記得META爛尾的VR和AR應(yīng)用嗎，我覺得MMS應(yīng)該是它們VR的一個(gè)子項(xiàng)目，VR爛尾很正常，但是這個(gè)MMS會為我們帶來更多的進(jìn)步。

最后地址,里面有預(yù)訓(xùn)練模型下載和安裝方法：

https://github.com/facebookresearch/fairseq/tree/main/examples/mms