譯者 | 李睿

審校 | 重樓

Dia-1.6B TTS是由Nari Labs開發(fā)的一款擁有16億個參數(shù)的文本轉(zhuǎn)語音模型（TTS）。本文將詳細介紹該模型，以及其訪問途徑、使用方法，并展示實際應用結(jié)果以真正了解該模型的功能。

你是否正在尋求一種合適的文本轉(zhuǎn)語音模型？擁有16億個參數(shù)的Dia-1.6B TTS模型或許是理想之選。令人驚訝的是，這款模型竟是由兩名本科生在毫無資金支持的情況下開發(fā)的。本文將介紹這款模型以及如何訪問與使用，并通過實際結(jié)果了解其強大的功能。在使用該模型之前，首先了解其基本情況。

Dia-1.6B是什么？

以文本作為輸入，自然語音作為輸出為目標的模型稱為文本到語音模型。Nari Labs開發(fā)的Dia-1.6B參數(shù)模型是文本到語音模型之一。這款模型具備根據(jù)文本生成高度逼真對話的能力，并支持非語言交流，例如笑聲、打噴嚏、吹口哨等，其強大的功能令人期待。

如何訪問Dia-1.6B？

用戶可以通過以下兩種方法訪問Dia-1.6B模型：

（1）在Google Colab中使用Hugging Face API

（2）使用Hugging Face Spaces

第一種方法需要獲取API密鑰，然后將其與代碼集成到Google Colab中。第二種方法無需編程，支持交互式地使用Dia-1.6B。

1.使用Hugging Face和Google Colab

該模型可在Hugging Face上使用，可以在Google Colab筆記本（notebook）中的T4 GPU提供的10GB 內(nèi)存（VRAM）的幫助下運行，可以通過一個簡短對話來演示其使用方法。

在開始之前，首先需要獲取Hugging Face訪問令牌，用于運行代碼。如果還沒有密鑰，可以訪問https://huggingface.co/settings/tokens并生成一個密鑰。

確保啟用以下權(quán)限：

在Google Colab中新建一個筆記本，并將其密鑰添加到secrets中（其名稱為HF_Token）：

注：切換到T4 GPU運行這個筆記本。否則無法使用運行該模型所需的10GB內(nèi)存。

接下來開始運行該模型：

（1）首先克隆Dia模型的Git存儲庫：

!git clone https://github.com/nari-labs/dia.git

（2）安裝本地軟件包：

pip install ./dia

（3）安裝soundfile音頻庫：

!pip install soundfile

在執(zhí)行完上述命令后，重新啟動會話，然后再繼續(xù)。

（4）在安裝完成后，進行必要的導入并初始化模型：

import soundfile as sf
from dia.model import Dia
import IPython.display as ipd
model = Dia.from_pretrained("nari-labs/Dia-1.6B")

（5）初始化文本以進行文本到語音轉(zhuǎn)換：

text = "[S1] This is how Dia sounds. (laugh) [S2] Don't laugh too much. [S1] (clears throat) Do share your thoughts on the model."

（6）對模型運行推理：

output = model.generate(text)
sampling_rate = 44100 # Dia uses 44.1Khz sampling rate.
output_file="dia_sample.mp3"
sf.write(output_file, output, sampling_rate) # Saving the audio
ipd.Audio(output_file) # Displaying the audio

輸出的語音：

https://cdn.analyticsvidhya.com/wp-content/uploads/2025/05/dia_sample.mp3

這段語音非常像人類的聲音，該模型在非語言交流方面表現(xiàn)優(yōu)異。值得注意的是，由于沒有語音模板，其結(jié)果是不可復制的。

注：可以嘗試修復模型的種子以再現(xiàn)結(jié)果。

2.使用Hugging Face Spaces

可以嘗試通過Hugging Face Spaces來克隆語言。這里有一個直接使用模型的在線界面：https://huggingface.co/spaces/nari-labs/Dia-1.6B

在這里可以傳遞輸入文本，另外也可以使用“音頻提示”來復制聲音。這里輸入了之前生成的音頻。

以下文本作為輸入：

[S1] Dia is an open weights text to dialogue model.
[S2] You get full control over scripts and voices.
[S1] Wow. Amazing. (laughs)
[S2] Try it now on Git hub or Hugging Face.

https://cdn.analyticsvidhya.com/wp-content/uploads/2025/05/audio.wav

你可以進行評判，你認為這個模型是否成功捕捉并復制了之前的語音？

注：在使用Hugging Face Spaces生成語音時出現(xiàn)了多個錯誤，可以嘗試更改輸入文本或音頻提示以使該模型正常工作。

使用Dia-1.6B時的注意事項

在使用Dia-1.6B模型時，應該注意以下幾點：

• 該模型沒有針對特定的聲音進行微調(diào)。每次運行都會有不同的聲音。可以嘗試修復模型的種子以重現(xiàn)結(jié)果。
• Dia模型使用44.1kHz采樣率。
• 在安裝庫后，需要確保重新啟動Colab筆記本。
• 在使用Hugging Face Spaces生成語音時出現(xiàn)了多個錯誤，可以嘗試更改輸入文本或音頻提示以使模型工作。

結(jié)論

Dia-1.6B模型的輸出結(jié)果令人期待，尤其是與競爭對手相比。其最大優(yōu)勢在于支持廣泛的非語言交流。該模型具有獨特的語調(diào)，聲音也令人感覺很自然，但是由于沒有針對特定語音進行微調(diào)，可能難以復現(xiàn)特定語音。與其他生成式人工智能工具一樣，人們應該負責任地使用這種模型。

常見問題解答

問題1：在對話中只能有兩個對話者嗎？

答：對話并不局限于只有兩個對話者。雖然兩個人的對話（如[S1]和[S2]）比較常見，但可以通過標記為[S1]、[S2]、[S3]等方式增加更多對話人。這在模擬小組對話、訪談或多方對話時特別有用。只要確保在提示中清楚地指出誰在說話，Dia-1.6B模型就可以正確地跟隨并為每個對話者生成連貫的回復。這種靈活性允許更動態(tài)和上下文豐富的交互。

問題2：Dia 1.6B是付費模型嗎？

答：Dia 1.6B模型并不是付費模型，可以完全免費使用。它是一款托管在Hugging Face上的開源對話模型，無需訂閱費或授權(quán)成本。無論是學生、開發(fā)者還是研究人員，都無需預付任何費用。這使其成為實驗、原型設計或教育用途的理想選擇。

問題3：是否在不用擔心硬件或編碼情況下使用這個模型？

答：用戶可以直接通過Hugging Face Spaces使用Dia 1.6B模型，它提供了一個基于web的界面。這意味著無需設置Python環(huán)境、安裝庫或者擔心GPU的可用性。只需訪問其頁面，就可以在瀏覽器中立即與Dia 1.6B模型進行互動。

問題4：可以針對自己的用例對Dia 1.6B進行微調(diào)嗎？

答：是的，如果用戶有特定的數(shù)據(jù)，并希望Dia 1.6B模型在其研究領(lǐng)域表現(xiàn)得更好，可以對Dia 1.6B模型進行微調(diào)。但需要具備一些技術(shù)專長和計算資源，或者可以使用Hugging Face的訓練工具。

問題5：Dia 1.6B模型是否有令牌或使用限制？

答：在默認情況下沒有強制性限制，但Hugging Face Spaces可能會有速率或?qū)υ挄r間限制來管理服務器負載。

原文標題：Dia-1.6B TTS : Best Text-to-Dialogue Generation Model，作者：Mounish V