【51CTO.com原創(chuàng)稿件】近年來，得益于移動(dòng)互聯(lián)網(wǎng)的普及和智能終端設(shè)備的廣泛應(yīng)用，短視頻、直播、在線教學(xué)等各類形式的音視頻通信模式風(fēng)靡大眾，成為人們?nèi)粘贤ǖ男履Ｊ?。音視頻功能為用戶帶來了溝通的便捷性，也啟發(fā)了應(yīng)用平臺(tái)基于音視頻功能開拓業(yè)務(wù)模式的創(chuàng)新思路。不可否認(rèn)的是，使用起來很“普遍”的音視頻通話功能或者是使用起來很“酷”的短視頻功能，在底層技術(shù)開發(fā)上卻有“千山萬水”需要踏遍。

騰訊憑借在QQ、騰訊視頻等海量業(yè)務(wù)發(fā)展過程中，在音視頻領(lǐng)域多年積累的核心技術(shù)與優(yōu)勢(shì)能力，集成了一體化的云視頻解決方案，為包括在線教育、視頻社交、視頻網(wǎng)站新媒體、廣電網(wǎng)絡(luò)電視等應(yīng)用領(lǐng)域，提供囊括基礎(chǔ)網(wǎng)站及數(shù)據(jù)，內(nèi)容生產(chǎn)及分發(fā)，用戶及內(nèi)容運(yùn)營的一攬子服務(wù)，可以說是音視頻行業(yè)的領(lǐng)軍人物。

對(duì)于音視頻技術(shù)研發(fā)中的高門檻、重投入的痛點(diǎn)，騰訊云+社區(qū)推出了“音”你而來，“視”而可見--音視頻技術(shù)開發(fā)實(shí)戰(zhàn)沙龍活動(dòng)。在活動(dòng)中， 騰訊視頻云資深產(chǎn)品經(jīng)理王奇，騰訊音視頻實(shí)驗(yàn)室高級(jí)工程師張軻， OnVideo視頻創(chuàng)作平臺(tái)CTO劉歧，騰訊高級(jí)產(chǎn)品經(jīng)理董燚，騰訊視頻云終端技術(shù)總監(jiān)常青，進(jìn)行了精彩演講。

騰訊視頻云產(chǎn)品全景

王奇 騰訊視頻云高級(jí)產(chǎn)品經(jīng)理

王奇：2011年畢業(yè)后，先后在華為、網(wǎng)宿及騰訊從事產(chǎn)品經(jīng)理工作，先后負(fù)責(zé)無線網(wǎng)通信、直播、互動(dòng)直播與實(shí)時(shí)音視頻等產(chǎn)品的需求規(guī)劃、市場分析、宣傳推廣工作，近距離的了解并提煉客戶需求，以較合理的方式實(shí)現(xiàn)，對(duì)音視頻行業(yè)的發(fā)展趨勢(shì)有較深理解。

從視頻行業(yè)的發(fā)展來看，從黑白到彩色電視，從線上點(diǎn)播視頻到直播千播大戰(zhàn)，從連麥互動(dòng)到實(shí)時(shí)音視頻溝通，視頻一直在解決用戶信息獲取的痛點(diǎn)。在未來娛樂的同時(shí)是否能結(jié)合社交，或者滿足用戶認(rèn)同感和自我尊重的獲得，將會(huì)是用戶粘性能否提高的一個(gè)關(guān)鍵點(diǎn); 信息獲取方面，內(nèi)容是最為重要的，短視頻繼直播之后崛起，不無道理;最后如何結(jié)合新的行業(yè)技術(shù)，從內(nèi)容的產(chǎn)生到內(nèi)容的消費(fèi)，進(jìn)行閉環(huán)，是騰訊云規(guī)劃的一個(gè)重點(diǎn)。

十余年來，騰訊云為QQ、微信、QQ空間等業(yè)務(wù)提供互聯(lián)網(wǎng)服務(wù)能力，為企業(yè)提供公有云、混合云、專有云、金融專區(qū)等云服務(wù)，包含IaaS、PaaS、SaaS，并提供萬象優(yōu)圖、人臉識(shí)別、大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、音視頻技術(shù)、安全防護(hù)等全球領(lǐng)先的互聯(lián)網(wǎng)技術(shù);同時(shí)向不同垂直行業(yè)的客戶(涵蓋政務(wù)、電子商務(wù)、O2O服務(wù)、游戲、視頻直播以及互聯(lián)網(wǎng)金融等)提供優(yōu)質(zhì)的行業(yè)解決方案。

作為騰訊連接互聯(lián)網(wǎng)生態(tài)的重要橋梁和開放戰(zhàn)略的重要組成部分，騰訊云堅(jiān)信以高速(speed)、穩(wěn)定(stability)、安全(security)為競爭核心的3S品牌理念, 繼續(xù)加強(qiáng)云基礎(chǔ)設(shè)施投入，全力支持各行各業(yè)的合作伙伴在“互聯(lián)網(wǎng)+”領(lǐng)域的實(shí)踐，共建云端生態(tài)。

接下來，王奇主要對(duì)點(diǎn)播、直播、實(shí)時(shí)音視頻、短視頻，以及視頻+AI五個(gè)產(chǎn)品進(jìn)行了詳細(xì)介紹。

2018騰訊云視頻及通信產(chǎn)品矩陣圖

1. 點(diǎn)播

根據(jù)制作成本、播放方式，大致可以分為四類：PC端的視頻，如優(yōu)酷、土豆、騰訊視頻等;傳統(tǒng)廣電，如芒果TV和CNTV;最近火爆的短視頻;在2015、2016年特別火的直播應(yīng)用，可以把直播的內(nèi)容錄制下來，轉(zhuǎn)成點(diǎn)播。

騰訊云的點(diǎn)播支持UGC內(nèi)容、版權(quán)視頻、自媒體內(nèi)容、直播錄制?？梢酝ㄟ^短視頻的SDK、WebSDK、本地上傳、API上傳，傳到云端，進(jìn)行冷熱存儲(chǔ)和視頻的媒資管理。可以對(duì)點(diǎn)播的內(nèi)容進(jìn)行區(qū)分，如果不需要進(jìn)行在線播放，就把它作為冷資源進(jìn)行存儲(chǔ)，不支持隨時(shí)調(diào)用。

2. 直播

直播平臺(tái)的一個(gè)非常明顯的趨勢(shì)就是“直播+”。直播和點(diǎn)播的形式，本質(zhì)是承載信息，隨著基礎(chǔ)網(wǎng)絡(luò)設(shè)施的完善，視頻必將承載更多的信息。

此外，“互動(dòng)”、“廣告”也是直播平臺(tái)的兩個(gè)趨勢(shì)。

直播跟點(diǎn)播一樣，是非常難的一個(gè)技術(shù)。它需要基礎(chǔ)服務(wù)、音視頻計(jì)算、直播加速網(wǎng)絡(luò)、終端能力、社交互動(dòng)系統(tǒng)。需要耗費(fèi)大量的人力和時(shí)間。騰訊云把這塊基礎(chǔ)的能力提取出來，為大家提供平臺(tái)服務(wù)，只要手里有靠譜的主播，幾周就可以快速上線。目前，超過80%的Top100的直播平臺(tái)用的是騰訊云的服務(wù)，這來源于騰訊云積累了十幾年的音視頻技術(shù)。

3. 實(shí)時(shí)音視頻

目前，騰訊云在APP基礎(chǔ)上提供了微信公眾號(hào)和微信小程序，以及手機(jī)QQ、谷歌瀏覽器等多端的通信能力，相當(dāng)于在各個(gè)終端都可以進(jìn)行通信。這就是騰訊云融合的視頻通信能力。

騰訊云的實(shí)時(shí)音視頻支持騰訊內(nèi)部80%的音視頻的需求。外部客戶已經(jīng)超過400家。

4. 短視頻

“抖音有的我們的SDK都有”。短視頻是點(diǎn)播的一種。區(qū)別在于短視頻提供了很多采集拍攝、剪輯拼接、特效制作、混音字幕、動(dòng)態(tài)貼紙功能。SDK跟點(diǎn)播后臺(tái)是無縫對(duì)接的，點(diǎn)播的所有功能：上傳、轉(zhuǎn)碼、存儲(chǔ)、分發(fā)等功能都是互通的。

5. 視頻+AI

視頻+AI涉及了非常多的與AI相關(guān)的功能，比如極速高清、智能字幕、語音識(shí)別等。

騰訊云H5雙向音視頻語音質(zhì)量優(yōu)化

張軻 騰訊音視頻實(shí)驗(yàn)室 高級(jí)工程師

張軻，2004年參加工作，2011年加入騰訊?，F(xiàn)任職騰訊音視頻實(shí)驗(yàn)室高級(jí)工程師，曾負(fù)責(zé)QQ自研音視頻引擎SPEAR的設(shè)計(jì)，開發(fā)，運(yùn)營等工作，近年來專注于QQ語音通話，騰訊云實(shí)時(shí)SDK，騰訊云H5雙向音視頻，游戲多媒體引擎GME等的QOE提升上。

CallStatus.io公司中途中斷;10% -15%的用戶反饋顯示通話質(zhì)量不好;有7%左右的大丟包;有95%左右的用戶往返流失在240毫秒以下。

H5 雙向音視頻(T-H5)是騰訊云基于 QQ 十多年來在音視頻通話技術(shù)上積累，結(jié)合騰訊瀏覽服務(wù) TBS WebRTC 能力與騰訊實(shí)時(shí)音視頻 SDK ，為客戶提供多平臺(tái)互通高品質(zhì)視頻通話能力的一款產(chǎn)品，終端用戶只需要在手機(jī) QQ/微信/QQ 瀏覽器和其它所有接入了 TBS 的 APP 中，通過 H5 頁面發(fā)起視頻請(qǐng)求，即可輕松接入企業(yè)的實(shí)時(shí)視頻服務(wù)。

H5雙向/多向音視頻解決方案提供了三種差異化服務(wù)質(zhì)量：

1：TBS和 Chrom等瀏覽器對(duì)通，支持WeBRTC規(guī)范的互通。

2：TBS 之間互通仍然是WeBRTC的互通，但可以做一些WeBRTC內(nèi)核級(jí)別的Bug FIX，以及一些高級(jí)擴(kuò)展。

3：TBS 與NativeSDK互通，提供了差異化的通信質(zhì)量。

服務(wù)器端實(shí)現(xiàn)SFU/MCU---質(zhì)量控制示意圖

上圖是后臺(tái)音頻質(zhì)量控制系統(tǒng)示意圖，在拓?fù)鋵用?，提供SFU 和 MCU兩種模式。并且通過三級(jí)決策機(jī)制來保障轉(zhuǎn)發(fā)環(huán)節(jié)的質(zhì)量。

張軻總結(jié)了FEC應(yīng)用要點(diǎn)：設(shè)計(jì)一套好的FEC算法。

1：抗丟包算法要納入擁塞控制算法，必須是網(wǎng)絡(luò)自適應(yīng)的，這是非常重要的前提。

2：如何在保證抗丟包能力的前提下減少冗余流量。

3：如何最大化發(fā)揮各種FEC機(jī)制的優(yōu)點(diǎn)：場景反饋。

4：FEC算法，分組大小的選擇，對(duì)流量、延時(shí)、抗丟包性能的影響均要考慮到，這是通用思考方法。

5：動(dòng)態(tài)冗余率機(jī)制，收斂速度。

6：FEC效果評(píng)價(jià)。

7：一對(duì)多場景，需要針對(duì)每路接收定制化FEC保護(hù)方案。

張軻表示，優(yōu)化是永無止境的課題。WebRTC從M56到前兩天發(fā)布的M66版本，WebRTC解決了1000多個(gè)Bug。

在線音視頻素材創(chuàng)作合法化實(shí)際應(yīng)用

劉歧 OnVideo視頻創(chuàng)作平臺(tái) CTO

劉歧, 2007 年畢業(yè)參加工作，一直從事圖形圖像及音視頻流媒體相關(guān)工作，F(xiàn)Fmpeg 官方代碼開發(fā)者及顧問，曾供職于藍(lán)汛，高升，金山云任職為架構(gòu)師/技術(shù)總監(jiān)/資深技術(shù)專家，現(xiàn)創(chuàng)業(yè)開發(fā)在線多媒體創(chuàng)作平臺(tái)，主要包括素材匯聚，音視頻在線處理等等，《FFmpeg從入門到精通》作者。

OnVideo致力于打造一個(gè)專業(yè)級(jí)的云端視頻創(chuàng)作平臺(tái)，人人都能上手并快速地創(chuàng)作專業(yè)級(jí)影片。

OnVideo主要有以下幾個(gè)功能：云端素材匯聚、素材裁剪與精編輯、多平臺(tái)發(fā)布與運(yùn)營、超高清視頻生成、全球節(jié)點(diǎn)部署。

其中，云端素材匯聚包括：國內(nèi)視頻素材對(duì)接與處理、國外視頻素材對(duì)接與處理、非常規(guī)類網(wǎng)站素材處理。素材裁剪與精編可以對(duì)音視頻進(jìn)行：裁剪與拼接、轉(zhuǎn)場特效、文字處理、模板定制、濾鏡處理、調(diào)色處理等操作。多平臺(tái)發(fā)布與運(yùn)營不僅可以與國內(nèi)視頻平臺(tái)發(fā)布接口對(duì)接，還可以和國外視頻平臺(tái)發(fā)布接口對(duì)接。超高清視頻生成主要用到的是Super-Resolution Using a Generative Adversarial Network(SRGAN)、Super-Resolution Convolutional Neural Network (SRCNN)和騰訊云的明眸解決方案。OnVideo已經(jīng)在大陸、東南亞、歐美部署了節(jié)點(diǎn)。

音視頻處理素材庫各種各樣，包含種類繁多，由于是UGC業(yè)務(wù)，PGC 與 UGC 技術(shù)方面存在著素材上傳效率低下、格式兼容千奇百怪、Metadata 內(nèi)容支持、拼接處理異常支持的等問題。在業(yè)務(wù)反面又存在著用戶視頻素材涉黃涉恐、用戶視頻內(nèi)容踩紅線等問題。為了解決合法化和安全化問題，OnVideo采用騰訊云平臺(tái)進(jìn)行相關(guān)的處理，解決了根本問題。

未來，OnVideo將在自動(dòng)編排視頻、自動(dòng)去 logo、AR 支持等方面繼續(xù)努力。

小程序音視頻典型應(yīng)用場景剖析

[[227436]]

董燚 騰訊視頻云高級(jí)產(chǎn)品經(jīng)理

董燚，先后供職于樂視云、騰訊云。現(xiàn)為騰訊云小程序解決方案產(chǎn)品負(fù)責(zé)人。善于深入的探索行業(yè)，反復(fù)地嘗試創(chuàng)新，實(shí)現(xiàn)行業(yè)落地。

小程序中運(yùn)用實(shí)時(shí)音視頻，是微信發(fā)展的大趨勢(shì)。小程序?yàn)樾识?，音視頻的融入將提供更快捷、更便利的服務(wù)模式。首先，相較于H5，小程序的體驗(yàn)更優(yōu)。其次，由于有量的優(yōu)勢(shì)，小視頻的價(jià)格更優(yōu)。第三，小程序帶來了更好的分享體驗(yàn)。

噪聲消除、回聲抑制、Qos流控、丟包恢復(fù)等是自行實(shí)現(xiàn)音視頻功能面臨的困境。微信也對(duì)音視頻提出了更加苛刻的要求。

微信將音視頻所需的端能力進(jìn)行封裝，以小程序標(biāo)簽的形式提供給開發(fā)者

騰訊云提供底層音視頻組件，助力微信生態(tài)。有了騰訊云的小程序解決方案，客戶不用考慮整個(gè)音視頻的處理技術(shù)，只需集中精力完成業(yè)務(wù)部分。

接下來，董燚分享了小程序音視頻在教育、醫(yī)療等場景下的落地。

構(gòu)建一個(gè)小程序音視頻應(yīng)用

簡單極致，是騰訊云音視頻小程序解決方案的產(chǎn)品理念。

董燚詳細(xì)介紹了在線車險(xiǎn)理賠的業(yè)務(wù)場景模式。保險(xiǎn)理賠流程長，而且體驗(yàn)很差，而開發(fā)APP性價(jià)比很低。

其中，有三個(gè)核心的流程：報(bào)案、查勘、賠付。報(bào)案首先要考慮的就是效率。在查勘過程中，圖片容易偽造。保證實(shí)時(shí)通話交流更順暢，可信度高，是重中之重。

微信小程序：車險(xiǎn)理賠

一鍵報(bào)案、智能定損、坐席拍照、從根本上解決了內(nèi)網(wǎng)穿透問題、硬件落地問題、引流轉(zhuǎn)化問題。

在司法場景中也有著諸多痛點(diǎn)。首先對(duì)于法院來說，如果當(dāng)事人在其他城市，需要往返奔波，時(shí)間、精力耗費(fèi)巨大，而民商事簡易程序、小額訴訟，當(dāng)事人雙方對(duì)判決結(jié)果不會(huì)有太大爭議。第二，對(duì)于檢察院來說，律師辦理閱卷、聽取意見、律師會(huì)見等業(yè)務(wù)均需要律師到檢察院現(xiàn)場提交預(yù)約申請(qǐng)，檢察院將申請(qǐng)反饋給對(duì)應(yīng)的經(jīng)辦人安排接待時(shí)間，而后通過電話或短信等的方式通知律師到現(xiàn)場辦理業(yè)務(wù)。流程復(fù)雜，律師需要在路途上花費(fèi)大量的時(shí)間。第三，對(duì)于司法局來說，法律咨詢有較強(qiáng)私密性，群眾不愿輕易到現(xiàn)場尋求服務(wù)或者一個(gè)城市幾十到幾百名律師在呼叫中心每天接待群眾電話咨詢，成本消耗大。人民調(diào)解形式單一，以線下調(diào)解居多，不能夠很好擺脫地域限制進(jìn)行調(diào)解。

智慧司法：讓信息多跑路，讓群眾少跑腿

上圖是法院小程序的Demo，當(dāng)事人可以通過小程序完成注冊(cè)、咨詢引導(dǎo)、糾紛申請(qǐng)、提交審核、遠(yuǎn)程調(diào)解協(xié)議簽收整個(gè)過程。并通過智能語音識(shí)別自動(dòng)記錄所有筆錄。糾紛類案件可快速、有效的處理完畢，讓群眾少跑腿。

當(dāng)事人通過小程序可以完成訴前引導(dǎo)、立案、訴訟、庭審、文書送達(dá)全流程閉環(huán)，不必反復(fù)前往法院，極大節(jié)省了精力、時(shí)間。全鏈路加密，每次均使用不同的非對(duì)稱密鑰，保障安全性。并通過智能筆錄轉(zhuǎn)寫還原庭審全部內(nèi)容，大幅減輕書記員工作量。

群眾可以一鍵了解司法知識(shí)，發(fā)起法律咨詢，全鏈路加密，確保隱私，使用便捷、易于推廣，咨詢律師不受地點(diǎn)限制，可以更廣泛的調(diào)動(dòng)律師資源、降低成本。群眾還可以通過小程序視頻遠(yuǎn)程進(jìn)行預(yù)約、申請(qǐng)?jiān)诰€視頻調(diào)解，擺脫地域限制;有針對(duì)性地處理行業(yè)性、專業(yè)性的調(diào)解。

小程序可以通過真人身份核驗(yàn)確認(rèn)律師身份，律師可不用到檢察院，在線預(yù)約，在線與案件經(jīng)辦人“面對(duì)面”聽取意見，不受惡劣天氣影響，避免來回奔波。

整個(gè)核身過程包含身份證OCR、唇語活體鑒別和人臉識(shí)別技術(shù)。人臉識(shí)別過程中，騰訊優(yōu)圖技術(shù)比對(duì)手機(jī)端自拍照和儲(chǔ)存于公安部證件查詢中心的身份證，以此保證用戶身份的真實(shí)性與安全性。

董燚表示，出于政策合規(guī)性考慮，微信只對(duì)以下幾個(gè)類目開放了小程序音視頻能力：社交、教育、醫(yī)療、政務(wù)民生、金融，并且每一個(gè)類目，都要有很多相關(guān)資質(zhì)要求。

小程序音視頻技術(shù)實(shí)現(xiàn)以及在相關(guān)行業(yè)的實(shí)際應(yīng)用

[[227437]]

常青 騰訊視頻云終端 技術(shù)總監(jiān)

常青，2008 年畢業(yè)加入騰訊，一直從事客戶端研發(fā)相關(guān)工作，先后參與過 PC QQ、手機(jī)QQ、QQ物聯(lián) 等產(chǎn)品項(xiàng)目，目前在騰訊視頻云團(tuán)隊(duì)負(fù)責(zé)音視頻終端解決方案的優(yōu)化和落地工作，幫助客戶在可控的研發(fā)成本投入之下，獲得業(yè)內(nèi)一流的音視頻解決方案，目前產(chǎn)品線包括：互動(dòng)直播、點(diǎn)播、短視頻、實(shí)時(shí)視頻通話，圖像處理，AI 等等。

常青的演講從市場前景、原理剖析、技術(shù)演化、WebRTC、快速上手五方面進(jìn)行展開。

音視頻能力一直以來都是小程序上的一個(gè)短板，微信產(chǎn)品的市場定位是對(duì)用戶的。這就有了比較高的要求。第一要開源;第二接口必須簡單，一兩個(gè)標(biāo)簽就能完成;第三是定制性強(qiáng);第四，出了問題要方便檢查。2017年 Q4, 騰訊視頻云終端團(tuán)隊(duì)與微信團(tuán)隊(duì)一起合作，將騰訊視頻云的技術(shù)積累以SDK的形式落地到了微信版本上，從而為小程序增加了直播和實(shí)時(shí)音視頻能力。

標(biāo)簽 + 內(nèi)核

在音視頻解決方案里，把所有的問題都拆解成上行和下行，困難就迎刃而解了。

上行，就是把音視頻的畫面和聲音送到云上去，要經(jīng)過幾個(gè)基本過程。第一個(gè)采集，比如圖片或者聲音的模擬信號(hào)，之后轉(zhuǎn)成數(shù)字信號(hào)。采集之后做基礎(chǔ)處理和降噪處理。第二是編碼。生成網(wǎng)絡(luò)之后，把它傳到服務(wù)器上去。

下行則相反。網(wǎng)絡(luò)并不是永遠(yuǎn)都平穩(wěn)，所以要在播放器上準(zhǔn)備一個(gè)“應(yīng)急倉庫”，用以解決緩沖較大的問題。

技術(shù)演化路線圖

如上圖所示，從在線直播到遠(yuǎn)程遙控，到雙向視頻，再到多人視頻，分別加入了UDP加速、延時(shí)控制、噪聲消除、回聲抑制、Qos、丟包恢復(fù)、房間管理、IM系統(tǒng)等技術(shù)。

小程序 vs WebRTC

小程序和WebRTC各有千秋，但是如果把二者融在一起，就會(huì)有事半功倍的效果。

小程序 + WebRTC

最后，常青總結(jié)了使用騰訊云音視頻解決方案快速上手的步驟：

1.授權(quán)登錄騰訊云。

2.開通標(biāo)簽使用權(quán)限。

3.開通騰訊云服務(wù)。

4.安裝小程序開發(fā)工具。

5.下載Demo。

此次沙龍活動(dòng)現(xiàn)場火爆，有200余名音視頻愛好者參加，體驗(yàn)區(qū)也吸引了眾多的開發(fā)者，參會(huì)者紛紛表示干貨頗多，收獲滿滿!

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】