【51CTO.com原創(chuàng)稿件】9月11日，以《音視頻技術(shù)探索與實(shí)踐》為主題的騰訊云Techo Hub技術(shù)巡回北京站活動(dòng)大幕開啟。疫情之下，遠(yuǎn)程辦公、視頻會議、在線教育等模式的應(yīng)用越來越多，極大地增加了音視頻技術(shù)的市場需求。本次活動(dòng)聚焦音視頻領(lǐng)域，多位技術(shù)專家與眾多開發(fā)者一起探索了技術(shù)如何賦能云上新“視”界。

實(shí)時(shí)音視頻在泛娛樂行業(yè)的落地實(shí)踐

移動(dòng)互聯(lián)網(wǎng)經(jīng)歷十年發(fā)展，即將步入全真互聯(lián)網(wǎng)時(shí)代，實(shí)時(shí)音視頻作為全真互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施，為用戶提供高并發(fā)、低延時(shí)、高清流暢、安全可靠的全場景、全互動(dòng)、全實(shí)時(shí)的音視頻服務(wù)。騰訊實(shí)時(shí)音視頻（Tencent Real-Time Communication，TRTC），是基于騰訊21年來在網(wǎng)絡(luò)與音視頻技術(shù)上的深度積累，以多人音視頻通話和低延時(shí)互動(dòng)直播兩大場景化方案，通過騰訊云服務(wù)向開發(fā)者開放，致力于幫助開發(fā)者快速搭建低成本、低延時(shí)、高品質(zhì)的音視頻互動(dòng)解決方案，在娛樂社交、在線教育、互動(dòng)游戲、協(xié)同通信、在線醫(yī)療、在線金融等場景下都有著廣泛應(yīng)用。

騰訊云TRTC架構(gòu)負(fù)責(zé)人崔立鵬

騰訊云TRTC產(chǎn)品架構(gòu)負(fù)責(zé)人崔立鵬老師在演講中表示，TRTC擁有三大優(yōu)勢：低延時(shí)低卡頓，高音質(zhì)高畫質(zhì)和全平臺覆蓋。

TRTC整體架構(gòu)

泛娛樂場景中，用戶對畫質(zhì)音質(zhì)要求很高，在畫質(zhì)方面，TRTC支持全鏈路H.265，實(shí)現(xiàn)了同等碼率下的畫質(zhì)提升。在音質(zhì)方面，TRTC內(nèi)置“騰訊天籟”音頻引擎，針對多人、多場景實(shí)時(shí)通信系統(tǒng)中3A問題（降噪、回聲抑制、增益控制）提供了低復(fù)雜度、高魯棒性解決方案，致力于讓用戶 “聽得見、聽得清、聽得真”。

弱網(wǎng)場景下更好保障通話語音質(zhì)量

隨著今年6.1日新著作權(quán)法的實(shí)施，直播場景下的音樂版權(quán)成為行業(yè)關(guān)注的焦點(diǎn)問題。TRTC攜手騰訊云正版曲庫直通車，于 5 月研發(fā)上線了直播互動(dòng)曲庫。

通過音樂上云,一站式解決了版權(quán)音樂在在線直播、語聊業(yè)務(wù)場景中使用過程中信息安全，精準(zhǔn)按量付費(fèi)的版權(quán)方管理需要，和應(yīng)用方原生化的集成版權(quán)曲庫服務(wù)，敏捷、小成本的創(chuàng)新，實(shí)現(xiàn)自身業(yè)務(wù)更加快速增長的需求。

接下來，崔立鵬老師詳細(xì)介紹了TRTC泛娛樂行業(yè)的典型應(yīng)用。如：在線KTV、語音聊天室/語音沙龍、語音互動(dòng)游戲、電臺FM、秀場直播、游戲陪玩、多人互動(dòng)直播、賽事直播等。

音視頻內(nèi)容風(fēng)控應(yīng)用實(shí)踐

近年來，隨著國家對互聯(lián)網(wǎng)內(nèi)容安全的持續(xù)關(guān)注，制定了一系列的法律法規(guī)，明確要求互聯(lián)網(wǎng)企業(yè)采取技術(shù)手段確保網(wǎng)絡(luò)環(huán)境安全健康，內(nèi)容安全問題已經(jīng)成為企業(yè)的生命線。在音視頻領(lǐng)域中，有效地發(fā)現(xiàn)和處置含有淫穢色情、血腥恐怖等違法違規(guī)內(nèi)容對企業(yè)健康發(fā)展至關(guān)重要。

騰訊云高級研發(fā)工程師蔡飛

騰訊云高級研發(fā)工程師蔡飛老師指出，在當(dāng)前音視頻領(lǐng)域的內(nèi)容安全風(fēng)控中依然存在著很多挑戰(zhàn)，比如內(nèi)容審核維度越來越多，需要滿足更加精細(xì)化的運(yùn)營需求；內(nèi)容審核標(biāo)準(zhǔn)也不統(tǒng)一，不同業(yè)務(wù)場景需要運(yùn)營不同的審核策略；同時(shí)新增風(fēng)險(xiǎn)類型需要對海量歷史數(shù)據(jù)再次審核，對審核系統(tǒng)提出更高的要求。

接下來，蔡飛老師詳細(xì)介紹了音頻圖文內(nèi)容識別模型框架、音視頻直播內(nèi)容風(fēng)控系統(tǒng)、音視頻文件內(nèi)容風(fēng)控系統(tǒng)的詳細(xì)架構(gòu)，以及審核策略定制化調(diào)優(yōu)過程。

騰訊云內(nèi)容風(fēng)控產(chǎn)品經(jīng)過22年的行業(yè)審核經(jīng)驗(yàn)積累，通過億級的樣本數(shù)據(jù)的訓(xùn)練，支持超過300多種審核標(biāo)簽識別能力，高達(dá)95%以上的識別準(zhǔn)確率，并提供7*24小時(shí)的策略調(diào)優(yōu)，以及彈性擴(kuò)容支撐大規(guī)模識別的需求，為騰訊云用戶提供實(shí)時(shí)、精準(zhǔn)、高效、易用的內(nèi)容審核整體解決方案。

云點(diǎn)播媒體處理平臺技術(shù)實(shí)踐

云點(diǎn)播是集音視頻上傳、媒體資源管理、媒體處理、分發(fā)加速、視頻分發(fā)于一體的解決方案。其中媒體處理是云點(diǎn)播的一項(xiàng)核心功能，支持如轉(zhuǎn)碼、截圖、視頻AI、視頻加密等能力。

一站式視頻點(diǎn)播解決方案

騰訊云高級研發(fā)工程師顏楚雄老師介紹了媒體處理中離線任務(wù)的特點(diǎn)，從模塊設(shè)計(jì)、算法設(shè)計(jì)、隊(duì)列選型等角度，介紹了云點(diǎn)播具體如何實(shí)現(xiàn)一個(gè)公平、可靠、高效調(diào)度的媒體處理平臺。

最后，引出了媒體處理平臺在實(shí)際運(yùn)營過程中，出現(xiàn)的容災(zāi)存在風(fēng)險(xiǎn)、集群利用率低、新業(yè)務(wù)接入難等幾個(gè)挑戰(zhàn)。顏楚雄老師對這些問題的原因和優(yōu)化策略進(jìn)行了詳細(xì)介紹。

騰訊云高級研發(fā)工程師顏楚雄

Xe GPU創(chuàng)新微架構(gòu) 打造云游無界暢玩體驗(yàn)

隨著5G、光纖等高速網(wǎng)絡(luò)的發(fā)展和普及，云游戲成為游戲行業(yè)的必然趨勢，也是音視頻技術(shù)應(yīng)用的下一個(gè)市場。

英特爾（中國）研究中心有限公司視覺云首席架構(gòu)師余志洪

英特爾第一代GPU產(chǎn)品是以游戲作為重點(diǎn)，并且以安卓游戲手游、云游作為突破口來打造市場。英特爾（中國）研究中心有限公司視覺云首席架構(gòu)師余志洪老師表示，“它并不是追求極致性能的GPU，而是從低功耗、高密度的思路出發(fā)，在一個(gè)板卡上堆疊多個(gè)GPU。手游云游是一個(gè)成本非常敏感的業(yè)務(wù)，英特爾第一代GPU在單卡上能支持更多的路數(shù)，可以將成本壓的更低。”英特爾把它做成了一個(gè)卡上有4個(gè)小的GPU，功率只有150瓦。針對云游戲的場景，英特爾與騰訊有緊密的合作，對一些特定場景需求進(jìn)行了了定制化，在編解碼密度方面也進(jìn)行了相應(yīng)的匹配。

英特爾（中國）研究中心有限公司視覺云首席架構(gòu)師余志洪老師表示，英特爾研發(fā)GPU的思路是以開放的形式提供軟件和生態(tài)，因此大部分驅(qū)動(dòng)代碼都是開源的，可以從開源社區(qū)得到，在安卓層面進(jìn)行了定制化，這樣方便貼心的軟件支持在行業(yè)里是少有的。英特爾提供了一整套的軟件，與騰訊一起合作開發(fā)了高密度的方案，兩卡可以支持160個(gè)實(shí)例。

H3C XG310采用4個(gè)Intel®Server GPU，內(nèi)置行業(yè)領(lǐng)先的媒體IP和低功耗固定功能塊。使用基于Intel®服務(wù)器GPU的卡，供應(yīng)商可以實(shí)現(xiàn): 與目前的安裝基礎(chǔ)相比，增加了5.5倍的流，同時(shí)提高了22%的比特率效率。通過降低準(zhǔn)備和分發(fā)成本，增加TCO節(jié)約。英特爾自研的Xe架構(gòu)GPU，包括四大級別，Xe_LP、Xe_HP、Xe_HPG和Xe_HPC，其中，HPG面向發(fā)燒級游戲玩家，同時(shí)還支持硬件級實(shí)時(shí)光線追蹤加速。

余志洪老師透露，英特爾前段時(shí)間發(fā)布了全新高性能顯卡產(chǎn)品品牌------英特爾銳炫（Intel® Arc），將于2022年上市。Intel®Arc顯卡產(chǎn)品基于Xe HPG微架構(gòu)設(shè)計(jì)，其硬件產(chǎn)品將涉及多代，不僅包括首代基于Xe HPG微架構(gòu)的Alchemist顯卡，還將包括代號分別為Battlemage、Celestial和Druid的后續(xù)幾代產(chǎn)品。

下一代Overlay網(wǎng)絡(luò)架構(gòu)探索

進(jìn)入互聯(lián)網(wǎng)的下半場即產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代，是物的互聯(lián)網(wǎng)時(shí)代，是以數(shù)據(jù)為中心的時(shí)代，面臨著比以往更加艱難的挑戰(zhàn)，比如人口紅利的終結(jié)、流量紅利的終結(jié)，但并不代表著超常規(guī)高速增長的終結(jié)。之前成功的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施，支撐了互聯(lián)網(wǎng)的高速發(fā)展，其成功可以總結(jié)為OSI分層模型成功，TCP-HTTP協(xié)議大放異彩。但是在產(chǎn)業(yè)互聯(lián)網(wǎng)時(shí)代，日益增長的數(shù)據(jù)量級、分發(fā)效率低下、用戶數(shù)據(jù)主權(quán)意識覺醒等因素的影響，使得只能客戶端訪問服務(wù)端的C/S、B/S架構(gòu)不再適用產(chǎn)業(yè)互聯(lián)網(wǎng)，需要有新的網(wǎng)絡(luò)架構(gòu)來支撐。

騰訊云專家工程師張鵬

騰訊云專家工程師張鵬老師認(rèn)為，新的網(wǎng)絡(luò)架構(gòu)首先需要更低廉（To B領(lǐng)域）、更高效，并且更容易使用，還需要打破架構(gòu)束縛。當(dāng)今，所有的數(shù)字化基本上都是經(jīng)過云中轉(zhuǎn)而產(chǎn)生的數(shù)字化。數(shù)據(jù)經(jīng)過云中轉(zhuǎn)能并不能覆蓋現(xiàn)實(shí)世界所有場景，世界應(yīng)該很復(fù)雜，靠關(guān)系數(shù)據(jù)其實(shí)能做的還是很少的，最適用的行業(yè)再回頭來看，僅有社交、電商、內(nèi)容傳播和數(shù)據(jù)錄入/管理等領(lǐng)域。架構(gòu)需要打破只能云中轉(zhuǎn)的方式，從而達(dá)成更加分布式的網(wǎng)絡(luò)。新的網(wǎng)絡(luò)架構(gòu)還要結(jié)合5G，但是邊緣服務(wù)器無法部署到每一個(gè)5G基站，所以還要依賴連接上的進(jìn)一步解放，盡量讓同一個(gè)5G基站的設(shè)備相互連接訪問，提供就近服務(wù)，就能發(fā)揮5G巨大的優(yōu)勢了，這才是5G的正確使用方式，而這方面對等網(wǎng)絡(luò)技術(shù)正當(dāng)時(shí)。

張鵬老師表示，未來的數(shù)據(jù)很可能不會存放在公司的云數(shù)據(jù)中心，而是托管在各種各樣的小的銀行保險(xiǎn)箱里，或者社區(qū)性質(zhì)的存儲箱中，存儲數(shù)據(jù)上反壟斷，應(yīng)用產(chǎn)生的數(shù)據(jù)主權(quán)不是屬于應(yīng)用本身，而是屬于個(gè)人，而且分發(fā)訪問速度更快，存儲成本更低。直播這個(gè)形態(tài)就非常具有代表性：媒體內(nèi)容例如圖片、文字、視頻等資料存放在云上，云服務(wù)商擁有絕對控制權(quán)，在直播形態(tài)下，云服務(wù)供應(yīng)商卻無法再對直播有絕對的控制權(quán)，主播下線就是下線了，云想讓直播內(nèi)容續(xù)上都沒法子，主播對直播內(nèi)容有絕對主權(quán)。

最后，張鵬老師詳細(xì)介紹了網(wǎng)絡(luò)、存儲、計(jì)算三大落地實(shí)踐，當(dāng)然終究離不開以云為基礎(chǔ)，為此騰訊云推出了RT-ONE三網(wǎng)合一。

以云為基：三網(wǎng)合一，RT-one助力

RT-one整合了騰訊云實(shí)時(shí)通信網(wǎng)絡(luò)(TRTC)、即時(shí)通信網(wǎng)絡(luò)(IM)以及流媒體分發(fā)網(wǎng)絡(luò)(CDN)三張網(wǎng)絡(luò)，是完整的音視頻通信PaaS平臺構(gòu)建基座。

智能語音技術(shù)在新居住領(lǐng)域的應(yīng)用

智能語音是指一種以語音信號識別為基礎(chǔ)，搭配自然語言處理和對話管理技術(shù)，將語言輸入信息提取、分析，最終通過語音合成或文字等方式輸出并完成響應(yīng)的人機(jī)語言交互技術(shù)。智能語音技術(shù)是人工智能的核心基礎(chǔ)技術(shù)之一，在人工智能技術(shù)中占據(jù)重要地位。權(quán)威數(shù)據(jù)顯示，2019年智能語音占據(jù)我國人工智能22%的市場份額，僅次于已經(jīng)大規(guī)模商用的機(jī)器視覺。經(jīng)過多年的發(fā)展，智能語音技術(shù)已經(jīng)進(jìn)入落地期，智能語音助手、智能音箱等產(chǎn)品也相繼落地。在消費(fèi)級市場，語音應(yīng)用立足于個(gè)人日常生活，主要應(yīng)用場景包括智慧生活、智能家居、智能辦公、智能駕駛等。在企業(yè)級市場，語音應(yīng)用服務(wù)于特定場景，如智慧醫(yī)療、智慧教育、智慧電信/金融/電商等。而在新居住領(lǐng)域，語音應(yīng)用主要應(yīng)用于智能家居、智能客服場景中。

[[424319]]
貝殼找房語音技術(shù)負(fù)責(zé)人鄒偉

貝殼找房語音技術(shù)負(fù)責(zé)人鄒偉在演講中表示，智能家居的目標(biāo)是實(shí)現(xiàn)全屋產(chǎn)品的智能化，智能音箱、掃地機(jī)器人、智能電視等都是人們生活中經(jīng)常使用的產(chǎn)品，這些產(chǎn)品可以進(jìn)行語音交互，實(shí)現(xiàn)智能中控。這些智能產(chǎn)品、智能硬件首先通過信息音頻，進(jìn)行語音處理，語音喚醒，之后進(jìn)行語音識別，通過語音理解來識別請求，比如詢問天氣，通過對話管理和用戶進(jìn)行交互，之后進(jìn)行語音合成，通過語音的方式和用戶交流，形成語音全鏈路。

接下來，鄒偉老師還詳細(xì)介紹了智能客服應(yīng)用。

智能客服技術(shù)架構(gòu)

騰訊視頻云明眸技術(shù)演進(jìn)之路

隨著顯示設(shè)備分辨率的增大，大眾對于超高清視頻的訴求越來越高，但是視頻的制作和生產(chǎn)端常見的分辨率還是1080P，對于廣電行業(yè)來說，急需使用AI技術(shù)將原來不夠清晰的視頻轉(zhuǎn)換成超高清視頻，進(jìn)而真正達(dá)到了4K的人眼感官。對于廣大互聯(lián)網(wǎng)企業(yè)來說，在直播、短視頻突飛猛進(jìn)發(fā)展的情況下，帶寬和存儲成本飛速的增加是一大難題。同時(shí)，對互聯(lián)網(wǎng)行業(yè)客戶來說，視頻播放的流暢性也是用戶體驗(yàn)的重要衡量標(biāo)準(zhǔn)。因此，基于AI的高清低碼和畫質(zhì)增強(qiáng)等能力越來越受到行業(yè)內(nèi)客戶的關(guān)注。

騰訊云高級研發(fā)工程師劉兆瑞

騰訊音視頻AI產(chǎn)品解決方案-騰訊明眸，可以實(shí)時(shí)對視頻流進(jìn)行識別，并進(jìn)行AI化處理。騰訊明眸包含“極速高清”、“視頻超分辨率”等產(chǎn)品，其中，極速高清能在保持視頻清晰度的情況下，相對于普通轉(zhuǎn)碼提升40%的壓縮率，畫質(zhì)重生能大幅提高視頻的人眼感官，為在線視頻、泛娛樂直播、短視頻等行業(yè)助力，可有效節(jié)省帶寬資源，提升觀看體驗(yàn)。

接下來，騰訊云高級研發(fā)工程師劉兆瑞老師詳細(xì)介紹了極速高清演進(jìn)之路和畫質(zhì)修復(fù)演進(jìn)之路。

音視頻內(nèi)容風(fēng)控中的AI實(shí)踐

在信息爆炸的時(shí)代，每天都產(chǎn)生大量的數(shù)字化信息，但其中包含了很多不良內(nèi)容，這極大地影響社會良性發(fā)展，內(nèi)容凈化迫在眉睫。在內(nèi)容風(fēng)控領(lǐng)域采用AI技術(shù)可以極大地減少人力的投入，幫助企業(yè)降本增效，為健康內(nèi)容保駕護(hù)航。

騰訊安全高級應(yīng)用研究員周維聰

各式各樣的場景產(chǎn)生的信息歸根結(jié)底以音、視、圖、文的形式呈現(xiàn)，而內(nèi)容風(fēng)控產(chǎn)品就以音、視、圖、文技術(shù)為基礎(chǔ)，向上構(gòu)建整體的審核能力。內(nèi)容風(fēng)控面臨的挑戰(zhàn)與困難有：強(qiáng)對抗，各形式的內(nèi)容存在大量對抗變異、多模態(tài)結(jié)合；不同業(yè)務(wù)場景上的標(biāo)準(zhǔn)不同，需要能靈活響應(yīng)不同場景的策略；有些業(yè)務(wù)場景復(fù)雜，存在長尾問題；時(shí)效性，能對新增風(fēng)險(xiǎn)快速響應(yīng)。

騰訊安全高級應(yīng)用研究員周維聰老師在演講中詳細(xì)介紹了圖像視頻風(fēng)控、音頻風(fēng)控、文本風(fēng)控的具體實(shí)現(xiàn)之路。周維聰老師表示，在內(nèi)容風(fēng)控中，各模塊之間的適配銜接需要優(yōu)化，對于噪音、背景音、遠(yuǎn)場下的ASR準(zhǔn)確提升等疑難問題要重點(diǎn)解決。多模態(tài)技術(shù)的應(yīng)用探索可以提升各類審核效果，同時(shí)需要對抗生成技術(shù)的應(yīng)用，增強(qiáng)對對抗樣本的審核能力。

至此，騰訊云Techo Hub技術(shù)巡回北京站圓滿結(jié)束。接下來，活動(dòng)還將走進(jìn)成都、杭州、上海，為更多開發(fā)者帶來學(xué)習(xí)、交流的機(jī)會！

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】