01、概述

在當(dāng)今的AI語(yǔ)音合成領(lǐng)域中，多語(yǔ)言處理、自然語(yǔ)音輸出和實(shí)時(shí)響應(yīng)一直是語(yǔ)音生成系統(tǒng)的痛點(diǎn)。盡管已有如VALL-E和Fastspeech等語(yǔ)音合成系統(tǒng)的廣泛應(yīng)用，但這些傳統(tǒng)的文本到語(yǔ)音（TTS）模型仍面臨一些根本性挑戰(zhàn)：包括語(yǔ)言之間復(fù)雜的多音詞、多語(yǔ)言轉(zhuǎn)換，以及語(yǔ)音自然度的不足。尤其是在面對(duì)需要多語(yǔ)言處理和自然聲音克隆的應(yīng)用場(chǎng)景時(shí)，傳統(tǒng)的TTS模型難以滿足用戶的高要求。

為了解決這些長(zhǎng)期困擾語(yǔ)音合成系統(tǒng)的難題，F(xiàn)ish Audio團(tuán)隊(duì)推出了全新突破性產(chǎn)品——Fish Agent v0.1 3B。這款語(yǔ)音到語(yǔ)音模型（Voice-to-Voice Model）基于創(chuàng)新的Fish-Speech框架，采用**雙自回歸（Dual Autoregressive, Dual-AR）**架構(gòu)和Firefly-GAN（FF-GAN）技術(shù)，不僅在合成速度和多語(yǔ)言處理能力上取得重大進(jìn)展，還成功克服了傳統(tǒng)系統(tǒng)在多語(yǔ)言與多音調(diào)處理方面的不足。Fish Agent的誕生，標(biāo)志著語(yǔ)音合成技術(shù)的里程碑式進(jìn)步。

02、傳統(tǒng)語(yǔ)音合成系統(tǒng)的瓶頸

當(dāng)前的語(yǔ)音合成系統(tǒng)普遍采用G2P（字形到音素）轉(zhuǎn)換，通過(guò)將文本轉(zhuǎn)換為音素，再合成語(yǔ)音。然而這種方法在處理跨語(yǔ)言、多音字和自然語(yǔ)音生成時(shí)表現(xiàn)不佳，容易導(dǎo)致語(yǔ)音質(zhì)量不穩(wěn)定。尤其在多語(yǔ)言環(huán)境中，由于語(yǔ)言發(fā)音規(guī)則各異，傳統(tǒng)的G2P轉(zhuǎn)換難以全面解析和處理，從而限制了TTS系統(tǒng)在多語(yǔ)言環(huán)境下的表現(xiàn)。

此外，傳統(tǒng)TTS系統(tǒng)難以處理情境依賴的多音字和跨語(yǔ)言的語(yǔ)音生成，而這些問(wèn)題在現(xiàn)實(shí)的AI應(yīng)用中極為普遍，例如在需要跨語(yǔ)言對(duì)話的智能助手或在多語(yǔ)言無(wú)障礙工具中應(yīng)用時(shí)，語(yǔ)音系統(tǒng)會(huì)面臨復(fù)雜的語(yǔ)言混合和上下文依賴，影響了用戶體驗(yàn)和語(yǔ)音質(zhì)量。

03、Fish Agent v0.1 3B：重新定義語(yǔ)音合成的技術(shù)架構(gòu)

Fish Agent v0.1 3B突破了傳統(tǒng)G2P方法的限制。Fish Audio團(tuán)隊(duì)通過(guò)搭建雙自回歸（Dual-AR）架構(gòu)，結(jié)合新型的**Firefly-GAN（FF-GAN）解碼器，重新設(shè)計(jì)了語(yǔ)音生成流程。這款模型采用了大語(yǔ)言模型（LLM）**直接提取文本的語(yǔ)言特征，而不依賴G2P轉(zhuǎn)換，從而簡(jiǎn)化了合成流程并提升了多語(yǔ)言處理的效率。

(1) 雙自回歸架構(gòu)：Slow & Fast Transformer 協(xié)同工作

Fish Agent v0.1 3B的Dual-AR架構(gòu)包括一個(gè)慢速Transformer和一個(gè)快速Transformer：

• Slow Transformer：負(fù)責(zé)解析文本中的全局語(yǔ)言結(jié)構(gòu)，捕捉句子和語(yǔ)段中的復(fù)雜語(yǔ)言邏輯。
• Fast Transformer：專注于提取細(xì)節(jié)和語(yǔ)音的聲學(xué)特征，確保語(yǔ)音輸出更自然、清晰。

這種快慢結(jié)合的結(jié)構(gòu)使得Fish Agent能夠快速解析并合成語(yǔ)言中的細(xì)微變化，例如多音字、情境語(yǔ)氣等，有效地改善了跨語(yǔ)言場(chǎng)景下的語(yǔ)音質(zhì)量。

(2) Firefly-GAN解碼器：高效生成穩(wěn)定語(yǔ)音

Firefly-GAN（FF-GAN）是Fish Agent的核心解碼器，其運(yùn)用了**向量量化（Vector Quantization）技術(shù)，極大地提高了語(yǔ)音生成的穩(wěn)定性和音質(zhì)。FF-GAN對(duì)輸入進(jìn)行精確的量化編碼，確保生成語(yǔ)音在不同語(yǔ)言和音調(diào)之間的切換流暢自如。同時(shí)，結(jié)合分組有限標(biāo)量向量量化（Grouped Finite Scalar Vector Quantization, GFSQ）**技術(shù)，進(jìn)一步優(yōu)化了代碼的壓縮效率和質(zhì)量，使得語(yǔ)音輸出不僅自然，還能夠在低延遲下完成。

04、性能數(shù)據(jù)與測(cè)試：Fish Agent v0.1 3B的優(yōu)異表現(xiàn)

Fish Agent v0.1 3B經(jīng)過(guò)大量數(shù)據(jù)集的訓(xùn)練，具備了強(qiáng)大的泛化能力。Fish Audio團(tuán)隊(duì)為其提供了72萬(wàn)小時(shí)的多語(yǔ)言音頻數(shù)據(jù)進(jìn)行訓(xùn)練，使得模型在多語(yǔ)言背景下依然能夠保持穩(wěn)定的語(yǔ)音質(zhì)量。測(cè)試結(jié)果顯示，F(xiàn)ish Agent在語(yǔ)音合成的準(zhǔn)確性和響應(yīng)速度上均大幅領(lǐng)先于其他系統(tǒng)：

• 詞錯(cuò)誤率（WER）：Fish Agent的WER為6.89%，遠(yuǎn)遠(yuǎn)低于CosyVoice的22.20%和F5-TTS的13.98%，顯示出在不同語(yǔ)言和情境下的出色表現(xiàn)。
• 延遲：Fish Agent的延遲僅為150毫秒，這在實(shí)時(shí)對(duì)話中具備明顯優(yōu)勢(shì)，適用于需要快速響應(yīng)的場(chǎng)景。

這些數(shù)據(jù)表明，F(xiàn)ish Agent不僅在語(yǔ)音合成精度上表現(xiàn)出色，還能實(shí)現(xiàn)流暢的實(shí)時(shí)應(yīng)用，進(jìn)一步推動(dòng)了語(yǔ)音AI的實(shí)際應(yīng)用價(jià)值。

05、Fish Agent v0.1 3B 的實(shí)際應(yīng)用前景

作為語(yǔ)音到語(yǔ)音合成技術(shù)的前沿產(chǎn)品，F(xiàn)ish Agent v0.1 3B的實(shí)際應(yīng)用場(chǎng)景非常廣泛：

• 多語(yǔ)言對(duì)話助手：Fish Agent能輕松應(yīng)對(duì)跨語(yǔ)言對(duì)話，為智能語(yǔ)音助手提供更自然的語(yǔ)音輸出，不論是英語(yǔ)、中文還是其他語(yǔ)言的切換都游刃有余。
• 無(wú)障礙應(yīng)用：對(duì)于需要聽(tīng)覺(jué)輔助的用戶，F(xiàn)ish Agent能準(zhǔn)確捕捉并生成不同語(yǔ)言的語(yǔ)音信息，為多語(yǔ)言環(huán)境中的無(wú)障礙應(yīng)用提供支持。
• 語(yǔ)音克隆和語(yǔ)音合成：Fish Agent在語(yǔ)音克隆和語(yǔ)音合成方面表現(xiàn)優(yōu)異，能夠生成高度相似的用戶聲音，為個(gè)性化語(yǔ)音助手和語(yǔ)音導(dǎo)?航等應(yīng)用提供支持。

06、未來(lái)展望：語(yǔ)音合成的革新與挑戰(zhàn)

Fish Agent v0.1 3B的推出為語(yǔ)音合成技術(shù)帶來(lái)了顯著的進(jìn)步，其在多語(yǔ)言處理和語(yǔ)音生成的自然度方面的突破，為語(yǔ)音合成的未來(lái)發(fā)展奠定了基礎(chǔ)。然而，隨著AI語(yǔ)音合成技術(shù)的快速發(fā)展，未來(lái)的挑戰(zhàn)也不容忽視。例如，為滿足更多語(yǔ)種和方言的處理需求，未來(lái)模型將需要更強(qiáng)的語(yǔ)義理解和更精細(xì)的語(yǔ)音合成能力。

Fish Audio團(tuán)隊(duì)表示，未來(lái)將進(jìn)一步優(yōu)化模型的架構(gòu)，使其更具擴(kuò)展性，同時(shí)繼續(xù)加大在多語(yǔ)種訓(xùn)練數(shù)據(jù)上的投入，以期進(jìn)一步提升Fish Agent的跨語(yǔ)言處理性能。

07、結(jié)語(yǔ)

Fish Agent v0.1 3B的發(fā)布，無(wú)疑為多語(yǔ)言語(yǔ)音合成開(kāi)創(chuàng)了新天地。這款創(chuàng)新的語(yǔ)音到語(yǔ)音合成模型，通過(guò)Dual-AR架構(gòu)和Firefly-GAN解碼器的結(jié)合，成功解決了傳統(tǒng)TTS系統(tǒng)的多語(yǔ)言處理和語(yǔ)音自然度問(wèn)題。其卓越的性能與廣闊的應(yīng)用前景，將推動(dòng)AI驅(qū)動(dòng)的語(yǔ)音技術(shù)邁向更高層次的發(fā)展。

參考：

1. ??https://github.com/fishaudio/fish-speech??

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/KhyBowW5uS-w7Zjs_vBLUA??