TaoAvatar 是由阿里巴巴淘寶 Meta 技術(shù)團(tuán)隊(duì)研發(fā)的 3D 真人數(shù)字人技術(shù)，這一技術(shù)能在手機(jī)或 XR 設(shè)備上實(shí)現(xiàn) 3D 數(shù)字人的實(shí)時(shí)渲染以及 AI 對(duì)話的強(qiáng)大功能，為用戶帶來(lái)逼真的虛擬交互體驗(yàn)。

它是如何實(shí)現(xiàn)的呢？本文將為您揭秘 TaoAvatar 背后的黑科技！同時(shí)在今天，我們正式宣布開源了 3D 真人數(shù)字人應(yīng)用：MNN-TaoAvatar！目前應(yīng)用源碼已同步發(fā)布在 MNN 的 GitHub 倉(cāng)庫(kù)，開發(fā)者可自行下載安裝和體驗(yàn)，歡迎大家和我們一起交流討論，共同探索 AI 數(shù)字人技術(shù)的無(wú)限可能。

什么是 TaoAvatar？

TaoAvatar 是淘寶在數(shù)字人技術(shù)領(lǐng)域取得的最新突破，更多詳細(xì)的研究成果已經(jīng)發(fā)表在相關(guān)論文。

• 論文標(biāo)題：TaoAvatar: Real-Time Lifelike Full-Body Talking Avatars for Augmented Reality via 3D Gaussian Splatting
• 論文地址：https://arxiv.org/abs/2503.17032v1
• 開源地址:https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md 

TaoAvatar 基于先進(jìn)的 3D 高斯?jié)姙R技術(shù)，提供了一套全身互動(dòng)式的真人數(shù)字人解決方案。它通過(guò)多視角視頻的輸入，可以迅速生成具有高逼真度的數(shù)字人形象，這些形象不僅能夠精準(zhǔn)地捕捉到細(xì)膩的面部表情和手勢(shì)動(dòng)作，甚至連衣物細(xì)微的褶皺以及頭發(fā)的自然擺動(dòng)都能清晰呈現(xiàn)，帶來(lái)一種自然而真實(shí)的視覺體驗(yàn)。

值得一提的是，TaoAvatar 還同時(shí)顯著降低了數(shù)字人建模的成本，大幅提高了建模效率，從而為數(shù)字人的規(guī)模化應(yīng)用提供了基礎(chǔ)。在中國(guó)三維視覺大會(huì)上，TaoAvatar 憑借其卓越的性能和廣泛的適用性，成功入選「最佳演示 Demo 候選」，吸引了業(yè)界的廣泛關(guān)注，成為數(shù)字人技術(shù)研究領(lǐng)域的一個(gè)亮點(diǎn)。

什么是 MNN-TaoAvatar？

MNN-TaoAvatar 是我們推出的一款開源的 3D 數(shù)字人應(yīng)用，它集成了多項(xiàng)領(lǐng)先的 AI 技術(shù)，支持實(shí)時(shí) 3D 數(shù)字人語(yǔ)音交互，使用戶能夠在手機(jī)上實(shí)現(xiàn)與數(shù)字人的自然交流，仿佛真的在與一個(gè)「活生生」的人交談。MNN-TaoAvatar 不僅能夠在手機(jī)端流暢運(yùn)行，還完美兼容了 XR 設(shè)備。如下是在 Android 手機(jī)及 Apple Vision Pro 設(shè)備上的體驗(yàn)效果：

MNN-TaoAvatar 集成了多項(xiàng)關(guān)鍵技術(shù)，包括精準(zhǔn)的語(yǔ)音識(shí)別能力，能夠準(zhǔn)確理解你的每一句話；先進(jìn)的大語(yǔ)言模型，可以深入理解你的意圖和情感；以及自然流暢的語(yǔ)音合成技術(shù)，能夠以自然流暢的方式進(jìn)行回應(yīng)。更令人驚艷的是，它能夠根據(jù)語(yǔ)音實(shí)時(shí)驅(qū)動(dòng)面部表情的變化，從而帶來(lái)更加生動(dòng)真實(shí)的對(duì)話體驗(yàn)。

這一切的背后，是最新算法模型提供的強(qiáng)大支持。基于端側(cè) AI 推理引擎 MNN，我們研發(fā)了一系列的核心模塊，包括運(yùn)行大語(yǔ)言模型的 MNN-LLM、語(yǔ)音識(shí)別模型的 MNN-ASR、語(yǔ)音合成模型的 MNN-TTS，以及數(shù)字人渲染的 MNN-NNR。

現(xiàn)階段市面上的數(shù)字人方案很多，但基于 MNN 運(yùn)行的 TaoAvatar 有哪些獨(dú)特優(yōu)勢(shì)呢？

目前大多數(shù)主流的數(shù)字人方案主要基于云端 AI 算法，這些方案需要依賴強(qiáng)大的服務(wù)器和高性能顯卡資源，才能完成 ASR（Audio-Speech-Recognize，語(yǔ)音識(shí)別）、TTS（Text-To-Speech，語(yǔ)音生成）以及 A2BS（Audio-To-BlendShape，音頻驅(qū)動(dòng)面部表情）等復(fù)雜處理任務(wù)。即便一些開源方案支持本地運(yùn)行，往往也需要配備較為高端的硬件。

例如需搭載 RTX 3090 或更高規(guī)格顯卡的設(shè)備，才能確保流暢地執(zhí)行推理和渲染任務(wù)。相比之下，MNN-TaoAvatar 則能夠在僅一部手機(jī)上即可運(yùn)行上述所有算法模型以及 3D 模型，展現(xiàn)出極高的效率和便捷性。

MNN-TaoAvatar 具有兩個(gè)核心優(yōu)勢(shì)：端側(cè)實(shí)時(shí)對(duì)話和端側(cè)實(shí)時(shí)渲染。

端側(cè)實(shí)時(shí)對(duì)話

首先，為了實(shí)現(xiàn)端側(cè)的實(shí)時(shí)對(duì)話，需要將 ASR（自動(dòng)語(yǔ)音識(shí)別）、TTS（文本轉(zhuǎn)換語(yǔ)音）和 A2BS（口型驅(qū)動(dòng)）的綜合 RTF（Real Time Factor，實(shí)時(shí)因素）控制在 1 以內(nèi)，即能在 1 秒內(nèi)生成 1 秒長(zhǎng)度的語(yǔ)音，RTF 值越小生成速度越快。通過(guò)持續(xù)優(yōu)化，我們?nèi)〉昧艘韵峦黄疲?/span>

• 將 281 MB 的端側(cè) ASR 模型的 RTF 優(yōu)化到了 0.18，實(shí)現(xiàn)了用戶語(yǔ)音在端側(cè)的實(shí)時(shí)轉(zhuǎn)文本；
• 端側(cè)大語(yǔ)言模型預(yù)填充速度最快可達(dá) 165 token/s，解碼速度可達(dá) 41 token/s，確保了流暢的文本內(nèi)容生成；
• 將 1.34 GB 的端側(cè) TTS 模型 RTF 優(yōu)化至 0.58，實(shí)現(xiàn)了文本到語(yǔ)音的實(shí)時(shí)合成與播放。

端側(cè)實(shí)時(shí)渲染

為了讓數(shù)字人的面部動(dòng)作更為自然，渲染過(guò)程主要分為兩個(gè)關(guān)鍵步驟：首先，根據(jù)語(yǔ)音輸入，通過(guò)算法模型精準(zhǔn)提取面部表情動(dòng)作的系數(shù)，然后將表情系數(shù)和數(shù)字人 3D 模型的預(yù)錄數(shù)據(jù)進(jìn)行融合，最終借助 NNR 渲染器完成高質(zhì)量渲染。這兩部分我們做到的性能如下：

• 成功將 368 MB 的端側(cè) A2BS 模型的 RTF 優(yōu)化至 0.34，實(shí)現(xiàn)了實(shí)時(shí)語(yǔ)音到面部表情系數(shù)的轉(zhuǎn)換。
• 通過(guò)自主研發(fā)的高性能 NNR 渲染器，達(dá)到了對(duì) 25 萬(wàn)點(diǎn)云模型以每秒 60 幀（FPS）的流暢渲染速度，確保了動(dòng)畫的順滑自然。

上文提及的具體端側(cè)模型的功能及我們做到的技術(shù)指標(biāo)如下（基于搭載高通驍龍 Snapdragon 8 Elite芯片的智能手機(jī)測(cè)試結(jié)果）：

MNN-TaoAvatar 整體流程

在用戶尚未輸入語(yǔ)音的情況下，MNN-TaoAvatar 會(huì)利用 MNN-NNR 來(lái)渲染默認(rèn)的數(shù)字人模型姿態(tài)，生成閉唇、靜態(tài)表情或者預(yù)設(shè)動(dòng)作的畫面。一旦用戶開始語(yǔ)音輸入，系統(tǒng)將按以下流程運(yùn)行：

MNN-TaoAvatar 運(yùn)行關(guān)鍵流程

基于這一流程，用戶便能夠與一個(gè)自然流暢、表情生動(dòng)的數(shù)字人進(jìn)行實(shí)時(shí)對(duì)話了。在該流程的背后，MNN 框架在技術(shù)實(shí)現(xiàn)和性能優(yōu)化上做出了大量的努力。接下來(lái)，我們將深入探討 MNN-TaoAvatar 的技術(shù)架構(gòu)及其關(guān)鍵優(yōu)化點(diǎn)。

MNN-TaoAvatar 關(guān)鍵技術(shù)

MNN-TaoAvatar 是基于 MNN 引擎構(gòu)建而成的，它集成了 MNN-LLM、MNN-NNR 以及 Sherpa-MNN（包括 MNN-ASR 和 MNN-TTS）等多種算法模塊。下圖展示了這些模塊在應(yīng)用中的架構(gòu)示意：

MNN-TaoAvatar 架構(gòu)示意圖

MNN：輕量級(jí) AI 推理引擎

MNN（Mobile Neural Network）是一款功能強(qiáng)大的開源、跨平臺(tái) AI 模型推理引擎。

MNN 架構(gòu)示意圖

它的核心優(yōu)勢(shì)如下：

• 高性能推理：支持 CPU/GPU/NPU 等多種異構(gòu)計(jì)算方式，能夠輕松滿足增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)（AR/VR）、語(yǔ)音識(shí)別以及大型語(yǔ)言模型（LLM）等需要快速響應(yīng)的實(shí)時(shí)應(yīng)用；
• 跨平臺(tái)兼容：支持 C++、Python、Java 和 JavaScript 等多種語(yǔ)言接口，并與主流系統(tǒng)平臺(tái)無(wú)縫集成；
• 模型輕量化：內(nèi)置了量化與剪枝工具，有效壓縮了模型大小，大幅節(jié)省內(nèi)存空間并縮短加載時(shí)間。

MNN-LLM：移動(dòng)端部署大模型

MNN-LLM 是基于 MNN 之上開發(fā)的 MNN-Transformer 模塊的一個(gè)子功能模塊，用于支持大語(yǔ)言模型與文生圖等 AIGC 任務(wù)。它包含以下關(guān)鍵技術(shù)：

• 模型導(dǎo)出工具：能一鍵將主流 LLM/Diffusion 模型轉(zhuǎn)換為 MNN 格式，大大簡(jiǎn)化了模型的部署和使用過(guò)程；
• 模型量化機(jī)制：將大型模型如 Qwen2.5-1.5B 從原來(lái)的 5.58 GB 壓縮至 1.2 GB，同時(shí)保持較快的解碼速度，達(dá)到每秒 45 個(gè) token；
• KV 緩存/LoRA 支持：利用 KV 緩存技術(shù)，MNN-LLM 顯著提升了對(duì)話響應(yīng)的速度；LoRA 技術(shù)的應(yīng)用也使得模型能夠靈活適配不同的任務(wù)場(chǎng)景，而無(wú)需重新訓(xùn)練整個(gè)模型，從而降低了計(jì)算資源的消耗。

MNN-Transformer 架構(gòu)示意圖

MNN-Transformer 由三個(gè)核心部分構(gòu)成：導(dǎo)出工具、量化工具以及插件與引擎。

• 導(dǎo)出工具負(fù)責(zé)將各類大型模型轉(zhuǎn)化為 MNN 格式，并創(chuàng)建必要的資源包；
• 量化工具能有效減少 MNN 模型的體積，從而降低運(yùn)行時(shí)的內(nèi)存，加快執(zhí)行速度；
• 插件與引擎模塊則提供了 LLM/Diffusion 運(yùn)行時(shí)所需的關(guān)鍵功能，如分詞、KV 緩存管理以及 LoRA 等。

在小米 14 手機(jī)（搭載高通驍龍 8 Gen 3 芯片）上進(jìn)行的測(cè)試中，MNN-LLM 展現(xiàn)了卓越的 CPU 性能。其預(yù)填充速度相較于 llama.cpp 提高了 8.6 倍，較 fastllm 更是提升了 20.5 倍。在解碼速度方面，MNN-LLM 同樣表現(xiàn)優(yōu)異，分別達(dá)到了 llama.cpp 的 2.3 倍和 fastllm 的 8.9 倍。

MNN-LLM Benchmark

Sherpa-MNN：離線語(yǔ)音智能新方案

為提升語(yǔ)音識(shí)別在端側(cè)上的表現(xiàn)，MNN 團(tuán)隊(duì)對(duì)原始 sherpa-onnx 框架進(jìn)行了深度優(yōu)化，推出 Sherpa-MNN，它支持 ASR（自動(dòng)語(yǔ)音識(shí)別）和 TTS（文本轉(zhuǎn)語(yǔ)音）算法，并具備如下優(yōu)勢(shì)：

• 性能翻倍：在 MacBook Pro M1 上（基于 arm64 架構(gòu)），單線程運(yùn)行經(jīng)過(guò)量化處理的流式 ASR 模型（具體模型為 sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20）。在這一測(cè)試中，onnxruntime 的 RTF（實(shí)時(shí)因子）為 0.078，而 MNN 的 RTF 僅為 0.035，相比于 onnxruntime 快出一倍。
• 包體積更?。涸诠δ芟嗤?、性能更優(yōu)的情況下，MNN 的體積僅為 onnxruntime 的五分之一（對(duì)于 Android arm64 架構(gòu)，MNN 的體積為 3.3 MB，而 onnxruntime 則需 15 MB）。

MNN-NNR：高效神經(jīng)網(wǎng)絡(luò)渲染引擎

MNN-NNR 是 TaoAvatar 的核心 3D 渲染引擎，專為在移動(dòng)設(shè)備上實(shí)時(shí)渲染高質(zhì)量數(shù)字人模型而設(shè)計(jì)。其核心的技術(shù)優(yōu)勢(shì)如下：

• 開發(fā)簡(jiǎn)便：通過(guò)將算法與渲染過(guò)程解耦，開發(fā)者可以更專注于算法的創(chuàng)新與優(yōu)化。使用 PyTorch 訓(xùn)練的模型可以輕松導(dǎo)出為 NNR 模型并部署，無(wú)需深厚的圖形編程經(jīng)驗(yàn)。
• 極致輕量：通過(guò)將計(jì)算邏輯離線「編譯」為深度學(xué)習(xí)模型和渲染圖，運(yùn)行時(shí)只需要執(zhí)行深度學(xué)習(xí)模型和渲染圖，因此整個(gè)包體大小極?。ㄒ?Android 為例，僅需 200k）。并且首次集成后，幾乎無(wú)需變更。業(yè)務(wù)功能的擴(kuò)展由離線編譯器處理，算法的迭代只需更新 NNR 文件即可，實(shí)現(xiàn)了算法迭代與引擎集成的解耦。
• 高性能：結(jié)合 MNN 的高效執(zhí)行能力，MNN-NNR 通過(guò)引入「Dirty 機(jī)制」和免拷貝技術(shù)，確保了渲染過(guò)程的高效執(zhí)行，從而實(shí)現(xiàn)流暢的渲染效果。

MNN-NNR 架構(gòu)示意圖

為了讓數(shù)字人模型能夠?qū)崿F(xiàn)高效的渲染，我們進(jìn)行了以下幾項(xiàng)深度優(yōu)化：

• 數(shù)據(jù)同步優(yōu)化
  

為了消除數(shù)據(jù)同步所需的時(shí)間，我們讓所有模型都在 MNN GPU 后端上運(yùn)行，并在 NNR Runtime 中配置 MNN 所使用的 GPU 后端與渲染共享同一個(gè)上下文。這樣，MNN Tensor 的數(shù)據(jù)就直接存儲(chǔ)在 GPU 內(nèi)存中。NNR Runtime 實(shí)現(xiàn)了直接讀取 MNN Tensor GPU 內(nèi)存的方案，無(wú)需進(jìn)行數(shù)據(jù)拷貝即可直接用于渲染，從而免除了數(shù)據(jù)同步的時(shí)間。

• 調(diào)度優(yōu)化

在 NNR Runtime 中，我們實(shí)現(xiàn)了「Dirty 機(jī)制」，每一幀只運(yùn)行輸入數(shù)據(jù)發(fā)生變化的 MNN 模型。在 TaoAvatar 場(chǎng)景中，深度模型包括 Base Deformer、Aligner、Deformer、Color Compute 和 Sort 等。由于動(dòng)態(tài)高斯數(shù)字人重建所需的圖像是以 20 幀/秒的速度采集的，為了保持高斯數(shù)字人動(dòng)作的平滑性和一致性，驅(qū)動(dòng)高斯數(shù)字人動(dòng)作的參數(shù)只需以 20 fps 的頻率設(shè)置即可。

因此，Base Deformer、Aligner 和 Deformer 只需以 20 fps 的頻率運(yùn)行。在視角變化不大的情況下，也不需要每幀都對(duì)高斯點(diǎn)進(jìn)行排序，所以 Sort 模型通過(guò)另一個(gè)開關(guān)來(lái)控制運(yùn)行。這樣，每幀實(shí)際運(yùn)行的模型就只剩下 Color Compute，從而大幅降低了整體的運(yùn)行時(shí)間。

• 模型運(yùn)行時(shí)間優(yōu)化

對(duì)于使用 MNN 編譯器的模型，將輸入數(shù)據(jù)進(jìn)行 fp16 壓縮，可以提升 50% 的性能。

對(duì)于高斯排序，MNN 實(shí)現(xiàn)了基于 GPU 的基數(shù)排序算法，并且利用 autotuning 技術(shù)，確保在各類 GPU 上都能達(dá)到最佳性能。

在這些優(yōu)化的加持下，MNN-NNR 成功實(shí)現(xiàn)了在動(dòng)畫模型僅以較低頻率（如 20 fps）更新的情況下，畫面依然能夠以 60 fps 的流暢度進(jìn)行輸出。

3D 高斯數(shù)字人：小模型也能高質(zhì)量

傳統(tǒng)高斯點(diǎn)云重建成本高、存儲(chǔ)體積大，而 TaoAvatar 采用了全新的多重優(yōu)化方案：

• StyleUnet+MLP 混合建模：通過(guò)一個(gè)功能強(qiáng)大的 StyleUnet 教師網(wǎng)絡(luò)，學(xué)習(xí)復(fù)雜的姿勢(shì)變化，并將這些信息高效地「烘焙」到輕量級(jí)的 MLP 學(xué)生網(wǎng)絡(luò)中，極大降低了計(jì)算成本。
• 動(dòng)態(tài)高斯點(diǎn)云技術(shù)：將單幀重建的靜態(tài)高斯點(diǎn)云，升級(jí)成為可復(fù)用多幀數(shù)據(jù)的動(dòng)態(tài)高斯點(diǎn)云技術(shù)。這不僅顯著提升了渲染效果的穩(wěn)定性與清晰度，還顯著減少了渲染過(guò)程中的閃爍現(xiàn)象。
• 高壓縮率資產(chǎn)壓縮算法：在 25 萬(wàn)點(diǎn)云的量級(jí)下，模型文件大小僅約 160 MB，非常適合在端側(cè)設(shè)備上部署。

通過(guò)相同素材重建得到的數(shù)字人模型，在不同高斯點(diǎn)云數(shù)量下，會(huì)呈現(xiàn)出不同的清晰度、模型體積和渲染性能。為了找到最佳的平衡點(diǎn)，我們進(jìn)行了多種不同點(diǎn)云數(shù)量模型的測(cè)試：

經(jīng)過(guò)綜合對(duì)比，25 萬(wàn)高斯點(diǎn)云的數(shù)字人是終端側(cè)部署的最佳配置方案，它不僅確保了渲染時(shí)的高清晰度，還將單個(gè) ID 的存儲(chǔ)空間精妙地控制在 100 到 200 MB 之間。

使用說(shuō)明

硬件要求

雖然我們已經(jīng)進(jìn)行了大量的優(yōu)化工作，但由于需要將多個(gè)模型集成到手機(jī)中，所以對(duì)手機(jī)性能還是有一定要求的。以下是 MNN-TaoAvatar 的推薦配置：

• 需要高通驍龍 8 Gen 3 或同等性能 CPU。
• 需要至少 8 GB 內(nèi)存用于模型運(yùn)行。
• 需要至少 5 GB 空間用于存放模型文件。

?? 性能不足的設(shè)備可能會(huì)遇到卡頓、聲音斷續(xù)或功能受限哦。

快速體驗(yàn)

想要親自體驗(yàn)一下嗎？只需按照以下簡(jiǎn)單的步驟操作即可。

首先克隆項(xiàng)目代碼：

git clone https://github.com/alibaba/MNN.git
cd apps/Android/Mnn3dAvatar

然后構(gòu)建并部署：

連接你的安卓手機(jī)，打開 Android Studio 點(diǎn)擊「Run」，或執(zhí)行：

/gradlew installDebug

通過(guò)這兩個(gè)步驟，你就可以在自己的手機(jī)上體驗(yàn) MNN-TaoAvatar 數(shù)字人應(yīng)用了！趕快來(lái)試一試吧。

相關(guān)資源以及參考鏈接：

TaoAvatar Github 下載：https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md 

TaoAvatar 論文：https://arxiv.org/html/2503.17032v1

MNN LLM論文：https://arxiv.org/abs/2506.10443

TaoAvatar模型合集：https://modelscope.cn/collections/TaoAvatar-68d8a46f2e554a

LLM模型：Qwen2.5-1.5B MNN：https://github.com/alibaba/MNN/tree/master/3rd_party/NNR

TTS模型：bert-vits2-MNN：https://modelscope.cn/models/MNN/bert-vits2-MNN

基礎(chǔ)TTS模型:Bert-VITS2：https://github.com/fishaudio/Bert-VITS2

聲音動(dòng)作模型：UniTalker-MNN：https://modelscope.cn/models/MNN/UniTalker-MNN

基礎(chǔ)聲音動(dòng)作模型：UniTalker：https://github.com/X-niper/UniTalker

神經(jīng)渲染模型：TaoAvatar-NNR-MNN：https://modelscope.cn/models/MNN/TaoAvatar-NNR-MNN

ASR模型：Sherpa 雙語(yǔ)流式識(shí)別模型：https://modelscope.cn/models/MNN/sherpa-mnn-streaming-zipformer-bilingual-zh-en-2023-02-20

china3dv live demo滑動(dòng)可以看到 TaoAvatar：http://china3dv.csig.org.cn/LiveDemo.html