2022淘寶造物節(jié)3D直播虛擬營地技術(shù)亮點(diǎn)揭秘
2022年8月24日,淘寶造物節(jié)全新亮相!為了探索下一代互聯(lián)網(wǎng)沉浸式購物體驗(yàn),本次造物節(jié)除了在線下廣交會(huì)展館打造一個(gè)兩萬平?全景式的“未來營地”以外, 線上首次上線可萬人同時(shí)在線的虛擬互動(dòng)空間“3D瘋狂城-造物節(jié)虛擬營地”。
在3D虛擬營地里,用戶能夠以輕量級的方式體驗(yàn)高清的游戲質(zhì)感,并以虛擬人物形象加入到“3D人貨場”的世界,與玩家互動(dòng),與3D商品互動(dòng),滿足新一代消費(fèi)群體愛玩、愛造的訴求,以創(chuàng)新的技術(shù)帶來全新的消費(fèi)體驗(yàn)。
下面我們一起看看3D直播虛擬營地的體驗(yàn)&技術(shù)亮點(diǎn):
輕量級裸眼3D“實(shí)景游戲”
曾經(jīng)你喜歡一款3D游戲,客戶端下載好幾個(gè)G,想玩新游戲時(shí)卻不得不卸載,真是太占內(nèi)存了!在造物節(jié)的虛擬營地,你快速加載出一款裸眼3D、可互動(dòng)、可直播,甚至還能買買買的高清畫面“游戲”,而且你的淘寶App“一點(diǎn)都沒變大”,手機(jī)加載速度“嗖嗖的”~
? 技術(shù)亮點(diǎn):云端成本的挑戰(zhàn)
傳統(tǒng)的在移動(dòng)端做3D游戲應(yīng)用的開發(fā),往往需要在端測集成幾十上百 M 的游戲引擎,還需要下載幾個(gè)G的素材資源,這在淘寶app 內(nèi)目前是不現(xiàn)實(shí)的。采用云渲染的方式可以很好的解決這一問題,借助云端強(qiáng)大的GPU完成高清復(fù)雜的場景渲染,用戶無需下載大型的資源文件,也不需要安裝任何內(nèi)容,唯一需要的就是播放實(shí)時(shí)渲染的媒體流。
但這里帶來的最大的問題就是云渲染機(jī)器的成本問題。為了降低云渲染機(jī)器的成本, 我們除了在云渲染方面,做好模型減面、dp 合并、貼圖優(yōu)化、降低視頻素材分辨率等性能優(yōu)化策略。還在機(jī)器調(diào)度上, 結(jié)合業(yè)務(wù)場景做了分時(shí)段動(dòng)態(tài)擴(kuò)縮容策略,最大程度提高機(jī)器的利用率。
3D人與3D商品首次在3D虛擬世界相遇
曾經(jīng)在“淘寶人生”里穿衣打扮的3D用戶,第一次“走”出小家,來到了造物節(jié)的直播3D虛擬營地。在這里,你可以自由跳動(dòng)、點(diǎn)燃篝火,還可以查看3D商品,觀看賣家直播,與玩家互動(dòng)交流。3D人、3D商品、3D環(huán)境結(jié)合在一起,給你沉浸式的奇妙營地探險(xiǎn)體驗(yàn)。
? 技術(shù)亮點(diǎn):人貨場的搭建與互動(dòng)
人與人的交互 。淘寶人生里的3D人物,放置到3D虛擬世界里來,首先需要一定的資產(chǎn)轉(zhuǎn)換和渲染成本。用戶在營地里跑動(dòng),涉及到用戶位置的實(shí)時(shí)同步。對于用戶實(shí)時(shí)漫游,我們采用幀同步的技術(shù),按照固定頻率去更新用戶位置信息, 理想情況下,用戶是不會(huì)感覺到卡頓的, 但是不可避免網(wǎng)絡(luò)擁塞引起幀間抖動(dòng),相鄰兩次位置同步的時(shí)間超過一定間隔,則會(huì)引起跳變。為了彌補(bǔ)這種不足, 我們在人物渲染的時(shí)候采用了運(yùn)動(dòng)補(bǔ)償?shù)乃惴ǎ唵握f就是通過算法模擬讓用戶位置移動(dòng)過渡的更加平滑。同時(shí)在互動(dòng)數(shù)據(jù)的同步方面,采用了AOI 網(wǎng)格算法, 解決多人同屏數(shù)據(jù)同步的問題。 這樣,3D人物在虛擬世界里隨意跑動(dòng)都會(huì)比較流暢順滑。
人與商品的交互。用戶想要在虛擬場景下自由查看3D商品的細(xì)節(jié)并不容易,我們有兩種方案可以選擇:一種是移動(dòng)端渲染,一種是云端渲染。移動(dòng)端渲染在淘寶內(nèi)也有相對成熟的解決方案,遺憾的是移動(dòng)端的渲染引擎和云端渲染引擎并不是一套, 所以同一個(gè)商品模型并不能通用, 同時(shí)還要考慮模型動(dòng)態(tài)下載, 減面優(yōu)化等問題,為了避開這些劣勢,我們還是選擇了云端渲染的方案,通過動(dòng)態(tài)切換相機(jī)視角,實(shí)時(shí)響應(yīng)用戶端的交互指令,以達(dá)到旋轉(zhuǎn)、縮放觀看3D商品的體驗(yàn)。
1080P分辨率酷炫高清畫質(zhì)
曾經(jīng)你在手機(jī)App里嘗試頁面小游戲,糊得如同馬賽克,跑跑跳跳還掉幀。造物節(jié)全新3D虛擬營地,畫質(zhì)高清、效果流暢,舞臺(tái)燈光還能動(dòng)態(tài)追蹤到身為“明星”的你~
? 技術(shù)亮點(diǎn):云端渲染的內(nèi)容制作與實(shí)時(shí)傳輸
在云端,我們采用虛幻引擎做實(shí)時(shí)畫面的渲染, 并且結(jié)合動(dòng)態(tài)運(yùn)鏡、動(dòng)態(tài)舞臺(tái)燈光、人物多視角、粒子效果等技術(shù)讓畫面看起來更加酷炫,用戶互動(dòng)感更強(qiáng)。 為了把高清的畫面?zhèn)鬏數(shù)接脩舻氖謾C(jī)上,我們需要綜合考慮畫質(zhì),卡頓,延時(shí)的平衡, 借助大淘寶和阿里云共建的GRTN傳輸網(wǎng)絡(luò),以及自研的編解碼算法,可以最大程度保障畫質(zhì)的清晰。
交互式虛擬畫面不卡頓
曾經(jīng)你在淘寶主播直播間,倒數(shù)“3、2、1、開搶!”感受到了超低延遲秒殺的爽感。但屏幕外的你,卻無法通過交互直接干預(yù)直播間主播的行動(dòng)。在3D虛擬營地的你,一邊跳舞一邊打招呼,還可以點(diǎn)擊商家的3D商品,觀看喜歡的主播講解,實(shí)實(shí)在在做到了“與商家、主播同框交流”。
? 技術(shù)亮點(diǎn):全鏈路超低延遲
不同于互不干擾的畫面?zhèn)鬏敚诮换ナ较聦?shí)現(xiàn)超低延遲的流暢體驗(yàn),我們需要在百毫秒內(nèi)完成用戶指令的上行、 實(shí)時(shí)畫面的渲染、并將渲染好的畫面返回到用戶手機(jī)端。首先,這里面要綜合考慮用戶的機(jī)器、網(wǎng)絡(luò)、接入點(diǎn)情況,來動(dòng)態(tài)選擇離用戶最近的推流節(jié)點(diǎn),從而調(diào)整云端的推流策略(包括清晰度,編碼方式的選擇)。其次,在傳輸過程中,還需采用實(shí)時(shí)帶寬反饋、FEC 、動(dòng)態(tài)buffer 等弱網(wǎng)控制策略來對抗網(wǎng)絡(luò)的抖動(dòng), 從而使整個(gè)鏈路延時(shí)達(dá)到合理的位置,最終實(shí)現(xiàn)在虛擬世界的交互中,保障流暢的交互體驗(yàn)。
結(jié)語
此次造物節(jié)3D虛擬營地,是淘寶虛擬互動(dòng)空間“3D瘋狂城”系列的首次上線嘗試。 下一步,我們將會(huì)結(jié)合云端實(shí)時(shí)渲染, XR/CG技術(shù)實(shí)現(xiàn)虛擬化場景定制, 支撐更大規(guī)模的用戶實(shí)時(shí)互動(dòng),為消費(fèi)者帶來更沉浸式互動(dòng)體驗(yàn)。