在當(dāng)今快速發(fā)展的科技領(lǐng)域，語(yǔ)音合成技術(shù)正逐漸成為連接人與機(jī)器的關(guān)鍵橋梁。隨著多模態(tài)大語(yǔ)言模型的不斷進(jìn)步，語(yǔ)音合成系統(tǒng)的響應(yīng)速度和實(shí)時(shí)性變得尤為重要。阿里巴巴集團(tuán)的通義實(shí)驗(yàn)室語(yǔ)音團(tuán)隊(duì)推出的CosyVoice 2.0，在繼承前代產(chǎn)品優(yōu)勢(shì)的基礎(chǔ)上，進(jìn)行了深度優(yōu)化，旨在解決現(xiàn)有問(wèn)題并提供更加出色的性能。

一、項(xiàng)目概述

CosyVoice 2.0作為阿里巴巴通義實(shí)驗(yàn)室精心打造的開源語(yǔ)音生成大模型的進(jìn)階之作，是一款基于先進(jìn)的監(jiān)督離散語(yǔ)音標(biāo)記技術(shù)的多語(yǔ)言語(yǔ)音合成模型。它創(chuàng)新性地采用離線和流式一體化建模的語(yǔ)音生成大模型技術(shù)架構(gòu)，成功實(shí)現(xiàn)了雙向流式語(yǔ)音合成這一關(guān)鍵突破。

二、技術(shù)突破與優(yōu)勢(shì)

• 超低延遲：引入大規(guī)模語(yǔ)音生成模型技術(shù)，集成離線和流式建模方案，支持雙向流式語(yǔ)音合成，首包合成延遲可低至150毫秒，幾乎不損失音質(zhì)，極大地提升了互動(dòng)效率，適用于智能客服、虛擬助手等需要即時(shí)反饋的應(yīng)用場(chǎng)景。
• 高準(zhǔn)確性：相較于CosyVoice 1.0，發(fā)音錯(cuò)誤減少了30%至50%，并在seed-tts評(píng)估集的困難測(cè)試集中達(dá)到了最低的字符錯(cuò)誤率，在處理繞口令、多音字和生僻字等復(fù)雜情況時(shí)表現(xiàn)出色。
• 強(qiáng)穩(wěn)定性：確保了零樣本語(yǔ)音生成和跨語(yǔ)言語(yǔ)音合成中音色的一致性，尤其在跨語(yǔ)言合成方面相比1.0版本有了顯著提升，用戶可輕松實(shí)現(xiàn)多種語(yǔ)言之間的無(wú)縫切換。
• 自然體驗(yàn)：在韻律、音質(zhì)和情感對(duì)齊方面的表現(xiàn)得到了顯著增強(qiáng)，MOS評(píng)價(jià)得分從5.4提高到了5.53，接近商業(yè)化的大規(guī)模語(yǔ)音合成模型的水平。還增強(qiáng)了可控音頻生成能力，支持更精細(xì)的情感控制和方言口音調(diào)整，可模仿機(jī)器人、小豬佩奇的風(fēng)格講話，支持多種主要方言，如粵語(yǔ)、四川話、鄭州話、天津話和長(zhǎng)沙話等。

三、核心技術(shù)創(chuàng)新

1.有限標(biāo)量量化（Finite-Scalar Quantization，F(xiàn)SQ）

CosyVoice 2.0采用了有限標(biāo)量量化技術(shù)，通過(guò)對(duì)語(yǔ)音標(biāo)記的代碼簿利用率進(jìn)行深度優(yōu)化，顯著提升了模型的運(yùn)行效率。具體而言，F(xiàn)SQ-SpeechTokenizer的應(yīng)用使得CosyVoice 2.0在發(fā)音準(zhǔn)確性方面取得了明顯的提升效果。其碼本大小被精心設(shè)計(jì)為6561，并且能夠?qū)崿F(xiàn)100%激活，這意味著模型在處理語(yǔ)音標(biāo)記時(shí)能夠更加精準(zhǔn)地選擇和運(yùn)用合適的代碼，從而有效減少發(fā)音錯(cuò)誤，提高語(yǔ)音合成的質(zhì)量和穩(wěn)定性，為整體性能的提升奠定了堅(jiān)實(shí)的基礎(chǔ)。

2.簡(jiǎn)化文本 - 語(yǔ)音LM架構(gòu)

在模型架構(gòu)設(shè)計(jì)上，CosyVoice 2.0大膽創(chuàng)新，采用了簡(jiǎn)化的文本 - 語(yǔ)音LM架構(gòu)。它允許直接使用預(yù)訓(xùn)練的語(yǔ)言模型作為骨干網(wǎng)絡(luò)，摒棄了傳統(tǒng)的較為復(fù)雜的TextEncoder+RandomTransformer結(jié)構(gòu)。通過(guò)這種方式，CosyVoice 2.0能夠更加充分地利用預(yù)訓(xùn)練語(yǔ)言模型在語(yǔ)義理解和文本處理方面的優(yōu)勢(shì)，使得對(duì)輸入文本的語(yǔ)義建模更加精準(zhǔn)、高效。

3.分塊感知因果流匹配模型（Chunk-Aware Causal Flow Matching Model）

為了適應(yīng)多樣化的語(yǔ)音合成場(chǎng)景，CosyVoice 2.0引入了分塊感知因果流匹配模型。這一創(chuàng)新設(shè)計(jì)使得模型能夠在一個(gè)統(tǒng)一的架構(gòu)內(nèi)靈活地支持流式和非流式合成，無(wú)論是對(duì)于需要即時(shí)響應(yīng)的實(shí)時(shí)對(duì)話場(chǎng)景，還是對(duì)于對(duì)整體音頻質(zhì)量要求較高的非實(shí)時(shí)合成任務(wù)，CosyVoice 2.0都能夠根據(jù)具體需求進(jìn)行智能適配，在保證高質(zhì)量語(yǔ)音輸出的同時(shí)，實(shí)現(xiàn)了高效、靈活的合成方式切換，大大提高了模型的實(shí)用性和適應(yīng)性，滿足了不同用戶在不同場(chǎng)景下的多樣化需求。

四、應(yīng)用場(chǎng)景

1.智能客服

在智能客服領(lǐng)域，CosyVoice 2.0的超低延遲和高準(zhǔn)確性發(fā)揮了關(guān)鍵作用。當(dāng)客戶咨詢問(wèn)題時(shí)，它能夠迅速啟動(dòng)語(yǔ)音合成，快速準(zhǔn)確地回答客戶的問(wèn)題，避免了客戶長(zhǎng)時(shí)間等待，極大地提高了客戶服務(wù)的效率和質(zhì)量。同時(shí)，其穩(wěn)定的性能和自然的語(yǔ)音體驗(yàn)?zāi)軌蜃尶蛻舾惺艿礁尤诵曰姆?wù)，增強(qiáng)客戶對(duì)企業(yè)的滿意度和信任度，為企業(yè)提升品牌形象和競(jìng)爭(zhēng)力提供了有力支持。

2.虛擬助手

對(duì)于虛擬助手應(yīng)用，CosyVoice 2.0的個(gè)性化語(yǔ)音功能成為一大亮點(diǎn)。用戶可以根據(jù)自己的喜好，對(duì)虛擬助手的語(yǔ)音情感、語(yǔ)氣進(jìn)行精細(xì)調(diào)整，使其更符合自己的使用習(xí)慣和情感需求。

3、教育與培訓(xùn)

在教育與培訓(xùn)場(chǎng)景中，CosyVoice 2.0為學(xué)習(xí)者提供了強(qiáng)大的輔助工具。其準(zhǔn)確的發(fā)音和豐富的語(yǔ)音控制功能，可以幫助學(xué)生更好地學(xué)習(xí)外語(yǔ)發(fā)音，通過(guò)模仿標(biāo)準(zhǔn)的語(yǔ)音示范來(lái)糾正自己的發(fā)音錯(cuò)誤，提高語(yǔ)言學(xué)習(xí)的效果。

4、娛樂(lè)內(nèi)容創(chuàng)作

在影視、游戲等娛樂(lè)產(chǎn)業(yè)中，CosyVoice 2.0的可控音頻生成能力為創(chuàng)作者們帶來(lái)了無(wú)限的創(chuàng)意空間。它可以生成各種逼真的角色聲音，從英勇的戰(zhàn)士到可愛的卡通形象，從神秘的魔法師到威嚴(yán)的帝王，滿足了不同角色的語(yǔ)音需求，為作品增添了更加豐富的聽覺(jué)元素和魅力。

5、智能家居

在智能家居環(huán)境中，CosyVoice 2.0實(shí)現(xiàn)了用戶對(duì)家庭設(shè)備的便捷語(yǔ)音控制。用戶只需通過(guò)簡(jiǎn)單的語(yǔ)音指令，就能輕松操控家電、燈光、窗簾等設(shè)備，無(wú)需手動(dòng)操作，真正實(shí)現(xiàn)了智能化的生活體驗(yàn)。

五、在線體驗(yàn)

體驗(yàn)地址：??https://www.modelscope.cn/studios/iic/CosyVoice2-0.5B??

六、結(jié)語(yǔ)

CosyVoice 2.0的誕生無(wú)疑是語(yǔ)音合成領(lǐng)域的一項(xiàng)重大突破，它宛如一顆璀璨的新星，照亮了語(yǔ)音技術(shù)發(fā)展的前行道路。憑借著多項(xiàng)創(chuàng)新性的技術(shù)突破和顯著的性能優(yōu)勢(shì)，CosyVoice 2.0不僅在技術(shù)指標(biāo)上達(dá)到了新的高度，更在實(shí)際應(yīng)用場(chǎng)景中展現(xiàn)出了廣泛的適用性和卓越的實(shí)用性，為眾多行業(yè)的發(fā)展注入了新的活力和動(dòng)力。

官方網(wǎng)站：??https://funaudiollm.github.io/cosyvoice2/??

GitHub倉(cāng)庫(kù)：??https://github.com/FunAudioLLM/CosyVoice??

論文地址：???https://arxiv.org/abs/2412.10117??

本文轉(zhuǎn)載自 ??小兵的AI視界??，作者： 小兵