讓數(shù)字人的口型隨著聲音一開一合早已不是新鮮事。更令人期待的，是當明快的旋律響起，它會自然揚起嘴角，眼神含笑；當進入說唱段落，它會隨著鼓點起伏，肩膀與手臂有節(jié)奏地帶動氣氛。觀眾看到的不再只是嘴在動，而是整個人在表演。這種表現(xiàn)不僅限于幾個片段，而是能夠穩(wěn)定地延續(xù)到分鐘級長視頻中，在整段時間里保持動作自然、鏡頭流暢。

近日，快手可靈團隊把這一構想帶到了現(xiàn)實。全新數(shù)字人功能已在可靈平臺開啟公測，目前逐步放量中。技術報告 Kling-Avatar 與項目主頁也已同步發(fā)布。報告系統(tǒng)解析了可靈數(shù)字人背后的技術路徑，闡明如何讓一個只能跟著聲音對口型的模型，進化為能夠按照用戶意圖進行生動表達的解決方案。

可靈數(shù)字人產(chǎn)品界面。網(wǎng)址：https://app.klingai.com/cn/ai-human/image/new

• 論文地址：https://arxiv.org/abs/2509.09595
• 項目主頁：https://klingavatar.github.io/

首先看一些效果：

實現(xiàn)這些驚艷效果的背后，是快手可靈團隊精心設計的一套多模態(tài)大語言模型賦能的兩階段生成框架。

多模態(tài)理解，讓指令變成可執(zhí)行的故事線

借助多模態(tài)大語言模型在生成與理解一體化上的能力，Kling-Avatar 設計了一個多模態(tài)導演模塊（MLLM Director），把三類輸入組織成一條清晰的故事線： 從音頻中提取語音內容與情感軌跡；從圖像中識別人像特征與場景元素；將用戶的文字提示融入動作方式、鏡頭語言、情緒變化等要素。導演模塊產(chǎn)出的結構化劇情描述，通過文本跨注意力層注入到視頻擴散模型中，生成一段全局一致的藍圖視頻，明確整段內容的節(jié)奏、風格與關鍵表達節(jié)點。

Kling-Avatar 方案框架。由多模態(tài)大語言模型 (MLLMs) 賦能的 MLLM Director 首先將多模態(tài)指令解釋為全局語義和連貫的故事線，基于該全局規(guī)劃生成一個藍圖視頻，然后從藍圖視頻中提取首尾幀作為條件控制，并行生成子段視頻。

兩階段級聯(lián)生成的長視頻生成框架

藍圖視頻生成后，系統(tǒng)在視頻流中根據(jù)身份一致性、動作多樣性、避免遮擋、表情清晰等條件，自動挑選若干高質量關鍵幀。每相鄰兩幀作為首尾幀條件，用于生成一個子段落。所有子段落根據(jù)各自的首尾幀并行合成，最后拼接得到完整視頻。為避免首尾幀處畫面與實際音頻節(jié)拍的錯位，方法還引入音頻對齊插幀策略，保證口型與聲學節(jié)奏的幀級同步。

此外，團隊還精心設計了一系列訓練和推理策略，保證視頻生成過程中音頻與口型的對齊和身份一致性：

• 口型對齊：將音頻切分成與幀片段對齊的子段，通過滑窗方式注入音頻特征；自動檢測嘴部區(qū)域加權去噪損失；通過對視頻幀做手動擴展，增強畫面中人臉占比較小情況下的對齊效果，進一步提升口型對齊任務在遠景場景下的適應能力。
• 文本可控性：凍結文本跨注意力層參數(shù)，避免基座視頻生成模型在專門數(shù)據(jù)上過擬合而弱化文本控制。
• 身份一致性：在推理階段對參考圖像構造 “退化負樣本”，作為負向 CFG，抑制紋理拉花、飽和度漂移等身份漂移模式。

訓練與測評數(shù)據(jù)管線

為了獲得多樣高質量的訓練數(shù)據(jù)，團隊從演講、對話、歌唱等高質量語料庫中收集數(shù)千小時視頻，并訓練多種專家模型用于從嘴部清晰度、鏡頭切換、音畫同步與美學質量等多個維度檢測數(shù)據(jù)的可靠性。對專家模型篩選出的視頻，再進行一遍人工復核，得到數(shù)百小時高質量訓練數(shù)據(jù)集。

為了驗證方法的有效性，團隊制作了一個包含 375 個 “參考圖–音頻–文本提示” 的測評基準，該測評基準包含了豐富的輸入樣例，圖片涵蓋真人 / AI 生成圖像、不同人種、以及開放情境中的非真人數(shù)據(jù)；音頻涵蓋中 / 英 / 日 / 韓等多種語言，包含不同語速和情感的臺詞；文本提示包含多種多樣的鏡頭、人物動作、表達情緒控制。該測評基準為現(xiàn)有方法提供了極具挑戰(zhàn)性的測試場景，能夠充分評估數(shù)字人像視頻生成方法在多模態(tài)指令跟隨方面的能力，將在未來開源。

實驗結果對比

在定量驗證方面，團隊精心設計了一套基于用戶偏好的 GSB（Good/Same/Bad）測評體系。對每個樣本，由三名評測者將 Kling-Avatar 與對比方法逐一比較，給出 “更好”（G)，“一樣”(S)，“更差”(B) 的判斷。最終匯報 (G+S)/(B+S) 作為指標，用以衡量 “更好或不差” 的占比。同時在四個維度給出分項結果：總體效果、口型同步、畫面質量、指令響應、身份一致。對比方法選擇最先進的 OmniHuman-1、HeyGen 等產(chǎn)品。

在構建的測評基準上與 OmniHuman-1 和 HeyGen 的 GSB 可視化對比。Kling-Avatar 在絕大多數(shù)維度上取得領先。

在全部 Benchmark 和各個子測評集的 GSB 指標對比。Kling-Avatar 全面超過 OmniHuman-1，并在絕大部分指標上超過 HeyGen。

在多種場景的對比測試中，Kling-Avatar 所生成的唇形不僅在時序和形態(tài)上與音頻高度一致，面部表情也隨著語音的起伏變化而更顯自然。即使在發(fā)音難度較高的音節(jié)（如 “truth”，其標準發(fā)音為 [tru?θ]，[u:] 要求雙唇前突、口型小而緊）或高頻語音中的短暫靜音段落，Kling-Avatar 均能夠準確還原相應的口型狀態(tài)。

在 “情緒、動作、鏡頭” 三類控制上，Kling-Avatar 能夠更準確地體現(xiàn)文本提示中的意圖，在歌唱、演講等復雜場景下的動作與鏡頭調度更加貼合語義。下圖展示了 Kling-Avatar 生成的一些視頻示例，其中包含了人物的情緒控制如 “興奮”，鏡頭控制如 “鏡頭緩慢上移”，生成結果均有良好的響應。

Kling-Avatar 的另一大優(yōu)勢是長時視頻生成。因為采用兩階段生成 + 級聯(lián)并行生成的框架，因此在首先獲得藍圖視頻后，可以從藍圖視頻中選擇任意多數(shù)量的首尾幀，并行生成每個子段視頻，最后再完整拼接在一起，總生成時間理論上與一段生成時間相當，因此可以快速穩(wěn)定的生成長視頻。下圖展示了 1 分鐘長視頻生成的例子，生成結果在動態(tài)性，身份一致性保持，口型等各方面都獲得了令人滿意的結果。

總結

從 “對口型” 邁向 “會表演”，快手可靈團隊探索出一條全新的數(shù)字人生成范式，實現(xiàn)了在分鐘級長視頻中生動細膩、情緒飽滿、身份一致的影視級演繹。Kling-Avatar 現(xiàn)已集成到可靈平臺，歡迎移步可靈平臺體驗新版數(shù)字人應用，看看你的聲音和想法如何被一鏡到底地演繹出來。

近年來，快手可靈團隊持續(xù)深耕多模態(tài)指令控制與理解的數(shù)字人視頻生成解決方案。除了 Kling-Avatar，團隊前不久還提出實時多模態(tài)交互控制的數(shù)字人生成框架 MIDAS，二者分別在 “表達深度” 與 “響應速度” 上實現(xiàn)了重要突破。未來，團隊將持續(xù)推進高分辨率、精細動作控制、復雜多輪指令理解等方向的前沿探索，致力于讓數(shù)字人的每一次表達，都擁有真實而動人的靈魂。