遠程辦公和在線教育崛起 騰訊用專利做好技術(shù)保障
新冠肺炎疫情期間,遠程辦公、在線教育等市場需求激增,騰訊會議、企業(yè)微信、騰訊QQ、騰訊課堂等騰訊遠程辦公、在線教育系列產(chǎn)品和服務(wù)廣受歡迎:騰訊會議誕生兩個月內(nèi)日活躍賬戶數(shù)超1000萬,成為當(dāng)前中國最多人使用的視頻會議產(chǎn)品,其國際版(VooV Meeting)也已在超過100個國家和地區(qū)上線,免費開放300人同時在線的會議能力,助力全球戰(zhàn)疫。企業(yè)微信憑借與微信一致的溝通體驗,支持即時通訊、OA應(yīng)用、300人音視頻會議、千萬人同時觀看群直播、連接微信生態(tài)等能力,成為眾多企業(yè)做好內(nèi)外部溝通的首選,其英文版也已在全球范圍內(nèi)上線。
面對如此龐大的用戶基數(shù)和并發(fā)數(shù),如何保障超大規(guī)模音視頻通話質(zhì)量?如何確保高質(zhì)量的會議視聽效果?如何提高直播授課畫面質(zhì)量?這得益于騰訊的技術(shù)創(chuàng)新為遠程辦公/在線教育產(chǎn)品提供的技術(shù)保障。
2020年4月26日是第二十個“世界知識產(chǎn)權(quán)日”。今年世界知識產(chǎn)權(quán)組織發(fā)布的知識產(chǎn)權(quán)日主題是“為綠色未來而創(chuàng)新”,全國開展的知識產(chǎn)權(quán)宣傳活動周確定的主題為“知識產(chǎn)權(quán)與健康中國”。
作為一家堅持科技創(chuàng)新的互聯(lián)網(wǎng)公司,騰訊一直重視知識產(chǎn)權(quán)保護,建立知識產(chǎn)權(quán)保護體系,鼓勵科技創(chuàng)新。截止2020年3月底,騰訊在全球主要國家和地區(qū)專利申請公開數(shù)量超過3.7萬件,授權(quán)專利超1.4萬件。在遠程會議/在線教育領(lǐng)域,騰訊全球發(fā)明專利申請超千件,發(fā)明授權(quán)四百余件。
專利技術(shù)保障超大規(guī)模實時音視頻通話服務(wù)
早在2003年,騰訊就提出了一種基于用戶列表的即時通話技術(shù)專利,可以快速邀請用戶進入群組通話,該專利技術(shù)目前已經(jīng)普遍應(yīng)用于各種即時通信產(chǎn)品和在線會議產(chǎn)品中,如微信、QQ直播以及騰訊會議等產(chǎn)品的預(yù)約會議功能上。
騰訊2015年申請的一種數(shù)據(jù)傳輸?shù)南嚓P(guān)專利,提供了一種超大規(guī)模實時多人音視頻通話解決方案,在疫情期間,助力騰訊會議、騰訊課堂、企業(yè)微信等眾多產(chǎn)品頂住服務(wù)后臺承受的巨大壓力,騰訊會議和企業(yè)微信均面向全國用戶免費升級開放了300人音視頻會議協(xié)同能力。
利用這種專利技術(shù),在保持現(xiàn)有的實時多人音視頻通話系統(tǒng)的小房間管理模式的同時,還可以平行擴展的方式極大地拓展了單房間支撐上限,同時又能夠做到對現(xiàn)有架構(gòu)沖擊最小、風(fēng)險可控。
在家辦公期間,難免聲音嘈雜,遠程辦公軟件是如何保證穩(wěn)定通話質(zhì)量的呢?這就要用到 AI語音增強技術(shù)。語音增強(Speech Enhancement)的本質(zhì)是語音降噪,麥克風(fēng)采集的語音通常是帶有不同噪聲的語音,語音增強的主要目的就是從帶噪聲的語音中恢復(fù)不帶噪聲的語音。騰訊的語音增強類專利申請,利用自適應(yīng)數(shù)據(jù)對語音增強模型進行自適應(yīng)提高降噪性能,不同說話人的說話方式、口音和停頓等各不相同,在通用的語音增強模型的基礎(chǔ)上進行自適應(yīng)有利用提高針對于該說話人的語音增強的性能。
為了確保高質(zhì)量的會議視聽效果,騰訊會議還通過收集喧鬧的公交站、雨水聲、辦公區(qū)域等噪音進行AI分析處理,從而優(yōu)化模型,實現(xiàn)了智能消除環(huán)境聲、鍵盤聲,完美還原人聲。
在家開會時背景可能會有些雜亂,騰訊會議上線背景虛化功能,通過計算機視覺AI算法檢測出人像和背景的區(qū)別,并通過自研的圖像分割算法將檢測出來的背景區(qū)域進行模糊或者替換成指定的背景圖片來實現(xiàn)。這背后也是有專利技術(shù)作為支撐,結(jié)合人像部件解析技術(shù)標(biāo)識出場景中人物身體的不同部位,進而篩選出場景中的前景人物,實現(xiàn)更加高效精準的前景人像識別并進行背景虛化;還基于深度學(xué)習(xí)模型并綜合利用人像分割和人像部件解析,實現(xiàn)了高效的人像檢測分割。
同時,騰訊會議還上線了語音激勵、表情彈幕、自定義頭像、會議白板、移動端虛擬背景多種功能,進一步滿足線上教學(xué)、商務(wù)會議的場景需求。通過虛擬背景功能,用戶不僅可以自由選擇系統(tǒng)提供的默認圖片,還可以通過添加自定義圖片作為背景,凸顯了自己的個性化選擇,讓你想在哪里開會,就在哪里開會。
高質(zhì)量直播授課畫面助力在線教育
作為一款國民級通訊及社交應(yīng)用,騰訊QQ在疫情中被挖掘出諸多潛力,幫助各地緩解因疫情停課的燃眉之急。在特殊時期,QQ專為網(wǎng)課打造“群課堂”,并針對群文件、作業(yè)等教育場景下的功能進行持續(xù)優(yōu)化,已助力超過1.2億用戶開展線上教育。在便利而穩(wěn)定的服務(wù)背后,QQ上音視頻、直播等在線教育相關(guān)功能申請專利超過200件、官方授權(quán)超100件。
音視頻通話一直是QQ的核心功能之一,早在2005年,QQ就拿到了多人數(shù)據(jù)通訊(語音視頻)的P2P技術(shù)專利,實現(xiàn)了使用少量服務(wù)器即可支撐大量用戶的多人數(shù)據(jù)通訊。2019 年,QQ在音視頻上,也朝著更加高清,更少抖動,更低時延的方向做了升級優(yōu)化。這兩個大的升級優(yōu)化工作,在網(wǎng)課場景下發(fā)揮了重要作用。在疫情時間,QQ也提升直播畫面清晰度:將屏幕分享最高碼率提升3倍至3M(分辨率1080P),多人視頻大畫面最大碼率提升2倍至1M (分辨率720P),讓老師網(wǎng)課直播的畫面更加清晰流暢。
據(jù)新華網(wǎng)聯(lián)合騰訊QQ發(fā)布的《老師網(wǎng)課行為圖鑒》顯示:除了設(shè)備的準備,老師們也積極學(xué)習(xí)各種軟件使用,豐富線上教學(xué)形式——使用QQ的PC端上課的老師,62.5%使用過屏幕共享等工具(PPT共享、屏幕共享、視頻播放),更直觀地展示教學(xué)課件等信息。其中很多網(wǎng)課期間的高頻使用功能,其實很早就完成了技術(shù)的實現(xiàn)。
例如在線上課堂中成為板書替代品的視頻會話白板——用戶可以在視頻白板上,使用文字編輯、繪圖、打開圖片或文件,保存截圖等功能輔助視頻會話,使得師生在會話過程可以就授課內(nèi)容進行討論,是QQ在2012年的專利之一。
除了QQ,企業(yè)微信在3.0.4版本中也上線了“群直播”功能,最大的好處之一是家長、學(xué)生無需下載額外的APP,可直接用微信加入班級群里看老師上課。在老師端,有上課需求的老師能一鍵發(fā)起直播,可支持全年級、全校的學(xué)生同時觀看。
直播上課時,受網(wǎng)絡(luò)帶寬、屏幕分辨率等因素影響,可能會出現(xiàn)花屏、卡頓等問題。這對在線教育直播授課的用戶來說是非常不好的體驗。
騰訊利用一種專利技術(shù),通過將PPT轉(zhuǎn)換成H5,通過本地加載H5以及實時push信令實現(xiàn)PPT翻頁、切換動畫、實時同步老師端畫筆、插入習(xí)題等操作實現(xiàn)直播授課。這種方案可以降低用戶網(wǎng)絡(luò)要求,同時提高了用戶的直播畫面清晰度,解決花屏卡頓等問題,大大提升了上課體驗。
此外,疫情期間,為了幫助全國師生保持正常教學(xué)進度,騰訊教育也聚合百余合作伙伴力量,成立“不停學(xué)”聯(lián)盟,為全國各級教育部門、全國各地中小學(xué)及高校、教育機構(gòu)、學(xué)生提供在線直播課堂、在線課程,以及在線協(xié)同辦公、教務(wù)教學(xué)管理等相關(guān)產(chǎn)品、技術(shù)、內(nèi)容資源,于疫情期間全部免費開放。