剛剛，kimi 發(fā)布全新通用音頻基礎模型 Kimi-Audio，這款由月之暗面（Moonshot AI）推出的開源模型，在 24 小時內(nèi)收獲 3.2 萬星標，不僅以 1.28% 詞錯率刷新語音識別紀錄，更在情感分析、聲音事件分類等十項任務中碾壓其他競品，堪稱“六邊形戰(zhàn)士”——沒有短板，只有王炸。

傳統(tǒng)音頻模型往往專精單一任務：語音識別、情感分析、降噪……開發(fā)者需像拼樂高般組合多個工具。而 Kimi-Audio 的顛覆性在于，它用三層架構統(tǒng)一了音頻處理各項任務：
音頻分詞器： 將聲音轉(zhuǎn)化為離散語義token，保留聲學細節(jié)；音頻大模型：基于Transformer處理多模態(tài)輸入，生成文本與音頻token；音頻去分詞器：通過流匹配技術，將token轉(zhuǎn)化為自然聲波。
這種設計讓模型能同時處理語音識別、情感分析、環(huán)境聲分類等任務，完成了從音頻輸入到文本輸出的全過程，這已經(jīng)超越了工具范疇，更像是擁有聽覺思維的智能體。

除了新穎的模型架構外，Kimi-Audio 在數(shù)據(jù)建構和訓練方法上也下足了功夫。

在實際應用中的表現(xiàn)方面，研究者們基于評估工具包對 Kimi-Audio 在一系列音頻處理任務中的表現(xiàn)進行了詳細評估，包括自動語音識別（ASR）、音頻理解、音頻轉(zhuǎn)文本聊天和語音對話等。Kimi-Audio 的表現(xiàn)顯著超越了其他同類模型。

目前，Kimi-Audio的模型代碼、模型檢查點以及評估工具包已經(jīng)在 Github 上開源。

Kimi-Audio 的發(fā)布，恰逢 AI 多模態(tài)革命的臨界點。當 GPT-4o、Gemini 3.0 聚焦“視覺+文本”時，Kimi選擇押注被低估的聽覺賽道，為音頻技術領域帶來了新的突破和創(chuàng)新。