撰稿 | 伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

OpenAI的新動(dòng)作來了！此前Altman在采訪中透露，在GPT-5史詩(shī)級(jí)的升級(jí)發(fā)布之前，OpenAI將在未來幾個(gè)月發(fā)布許多“很酷的新東西”。

今天，OpenAI語音引擎首次亮相，效果的確驚艷！更重要的是它的合成效率之高——只需要用戶上傳任何 15 秒的語音樣本，就能生成該語音的合成副本。

產(chǎn)品負(fù)責(zé)人哈里斯說，為語音引擎提供支持的生成式人工智能模型已經(jīng)隱藏在人們的視線中一段時(shí)間了。OpenAI的新動(dòng)作勢(shì)必讓語音克隆技術(shù)殺回我們的視野。

雖然算是突發(fā)新聞。但此次更新也是有端倪可循的。一周之前，X上的科技博主@Smoke-away 就發(fā)現(xiàn)OpenAI悄悄地注冊(cè)了VOICE ENGINE商標(biāo)。

圖片

此前，網(wǎng)友也發(fā)現(xiàn)過OpenAI新的網(wǎng)站Feather（意為羽毛，詳細(xì)新聞見鏈接），但這個(gè)神秘項(xiàng)目卻遲遲沒有下文。

不過這一次， OpenAI這次的動(dòng)作確實(shí)夠快的！

一、語音引擎要做什么？

OpenAI在其介紹頁(yè)展示了幾個(gè)令人印象深刻的案例。語音引擎的音色克隆效果自然、流暢，在不同語種之間切換時(shí)非常真實(shí)的保留了音色的特點(diǎn)，大家可以通過聽合成的中文音頻來更深地體會(huì)語音引擎的優(yōu)秀（手動(dòng)狗頭）。

1.教育場(chǎng)景-幫助視覺受損者和兒童閱讀

通過語音引擎的合成，能生成了比傳統(tǒng)預(yù)設(shè)聲音更為豐富和多樣的聲音，從而提升需要幫助者的閱讀體驗(yàn)。

通過字幕學(xué)習(xí)西班牙語

2.翻譯場(chǎng)景-讓聲音無障礙的流向世界

制作的博客等聲音內(nèi)容，可以翻譯成多種語音進(jìn)行傳播。值得一提的是，用于翻譯時(shí)，語音引擎會(huì)保留原說話者的母語口音：用英語說話者的音頻樣本生成中文，就會(huì)產(chǎn)生帶有英語口音的語音，主打一個(gè)真實(shí)。

3.為偏遠(yuǎn)地區(qū)提供服務(wù)

科技可以幫助我們與少數(shù)語音者進(jìn)行無障礙溝通。例如案例中使用了語音引擎和 GPT-4 以每位工作人員的主要語言（包括斯瓦希里語或更非正式的語言）進(jìn)行互動(dòng)反饋。

生成的少數(shù)語種音頻,51CTO技術(shù)棧,15秒

4.讓失語者“發(fā)聲”

語音引擎還設(shè)想為不會(huì)說話的人提供幫助。用戶可以選擇最能代表自己的語音，與他們進(jìn)行交流。語音引擎還保證對(duì)多語種用戶來說，每種口語都能保持一致的語音。讓那些從未開口的人擁有一種音色，這就是科技的浪漫所在吧。

二、語音引擎的背后技術(shù)

1.模型訓(xùn)練——不能告知的訓(xùn)練數(shù)據(jù)

在接受外媒采訪時(shí)，被問到模型訓(xùn)練數(shù)據(jù)的來源，OpenAI產(chǎn)品人員哈里斯變得非常謹(jǐn)慎。他表示，這些數(shù)據(jù)基于授權(quán)信息和公開信息。

由于訓(xùn)練數(shù)據(jù)通常涉及大量語音錄音，且往往被視為商業(yè)秘密，關(guān)于訓(xùn)練數(shù)據(jù)和過程的具體細(xì)節(jié)往往保密。然而，這也導(dǎo)致了許多知識(shí)產(chǎn)權(quán)糾紛，例如紐約時(shí)報(bào)就曾對(duì)OpenAI提起訴訟。

隨著技術(shù)的成熟，使用侵權(quán)素材訓(xùn)練模型的情況正在改善。OpenAI也已與國(guó)外Shutterstock、Axel Springer等內(nèi)容提供商簽訂協(xié)議，并提供了阻止網(wǎng)絡(luò)爬蟲的選項(xiàng)，允許藝術(shù)家從其圖像生成模型的數(shù)據(jù)集中撤回作品。

但現(xiàn)階段，當(dāng)科技高管們被問到這個(gè)問題，也許只能選擇像OpenAI CTO Mira那樣，做個(gè)“沉默的大多數(shù)”。

2.合成聲音——無需微調(diào)的技術(shù)設(shè)計(jì)

令人驚訝的是，語音引擎并未進(jìn)行微調(diào)。這在一定程度上得益于語音引擎獨(dú)特的模型設(shè)計(jì)——通過擴(kuò)散模型來即時(shí)生成語音。

哈里斯說：“我們采用少量音頻樣本和文本，生成與原始說話者相匹配的真實(shí)語音?！?“請(qǐng)求完成后，所使用的音頻將被刪除。”

該模型通過分析語音數(shù)據(jù)和待朗讀的文本，直接生成匹配的語音輸出，無需為每個(gè)用戶構(gòu)建個(gè)性化模型。盡管語音克隆技術(shù)在業(yè)界已非新鮮事物，但OpenAI聲稱其方法能夠提供更高質(zhì)量的語音體驗(yàn)。

TechCrunch 稱在OpenAI的營(yíng)銷文件（現(xiàn)在已經(jīng)刪除）中，Voice Engine 的定價(jià)為每百萬字符（約 162,500 個(gè)單詞）15 美元。這意味著大約 18 小時(shí)的音頻，使得價(jià)格略高于每小時(shí) 1 美元。這確實(shí)比更受歡迎的競(jìng)爭(zhēng)對(duì)手之一 ElevenLabs 的收費(fèi)便宜——每月 100,000 個(gè)字符 11 美元。

但OpenAI的語音引擎目前還沒有提供能調(diào)整語音細(xì)節(jié)的選項(xiàng)，如果初始聲音是興奮的或沮喪的，接下來合成的所有聲音都只能保持這個(gè)情緒。

三、AI克隆技術(shù)是敵是友？

盡管OpenAI 讓我們看到了語音克隆為“人類謀福利”的可行性，但隨著 Deepfakes 的激增，相關(guān)技術(shù)是否能一直被負(fù)責(zé)任的使用或許還要打個(gè)問號(hào)。

此前，美國(guó)科技媒體The Verge曾報(bào)道過一次語音合成的詐騙案件。網(wǎng)絡(luò)詐騙犯利用Deepfake仿制公司高管的語音，合成語音郵件發(fā)送至公司員工，對(duì)大型公司進(jìn)行經(jīng)濟(jì)詐騙。國(guó)內(nèi)也曾有過類似事件的報(bào)道。

當(dāng)前的合成語音雖然逼真，但仍然有技術(shù)上的漏洞。美國(guó)安全咨詢公司NISOS使用頻譜工具對(duì)案件中Deepfake音頻進(jìn)行了分析，發(fā)現(xiàn)這段Deepfake語音的頻譜圖有峰值反復(fù)出現(xiàn)且音頻不連貫。

相較于合成音頻，真實(shí)人聲的音高與音調(diào)都更為平滑。此外，放大合成音頻的音量時(shí)，無法監(jiān)測(cè)到該錄音的背景噪音，這進(jìn)一步表明這段音頻是經(jīng)過人為處理的。

然而，誰能保證隨著技術(shù)的發(fā)展，Deepfake不會(huì)走向更深處呢？

當(dāng)前，OpenAI尚并未開放語音引擎的訪問權(quán)限。而是由紅隊(duì)的專家對(duì)其風(fēng)險(xiǎn)進(jìn)行評(píng)估，并提出必要措施和減弱風(fēng)險(xiǎn)的策略，以阻止惡意使用。

哈里斯說，“我們不希望人們混淆合成聲音和真實(shí)的人類聲音?！?/p>

參考鏈接：

1.https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

2.https://techcrunch.com/2024/03/29/openai-custom-voice-engine-preview/

3.https://www.thepaper.cn/newsDetail_forward_8488082