Labs 導(dǎo)讀

目前，在公共場(chǎng)景和個(gè)人應(yīng)用場(chǎng)景中，監(jiān)控?cái)z像頭安裝總數(shù)已經(jīng)超過了1.75億，但大部分均為普通攝像頭，通過監(jiān)控錄像實(shí)時(shí)存儲(chǔ)和事件發(fā)生后調(diào)取查閱的方式被使用，它們?nèi)鄙僮灾髡J(rèn)知和決策的“大腦”，無法避免危險(xiǎn)事件趨于惡化。在此背景下，具有智能視頻行為分析功能的跨境追蹤系統(tǒng)就顯得尤為重要。本文將從跨鏡追蹤系統(tǒng)內(nèi)部實(shí)現(xiàn)的角度展開論述，介紹跨鏡追蹤系統(tǒng)的核心功能及其應(yīng)用場(chǎng)景。

1、跨鏡追蹤技術(shù)背景

跨鏡追蹤系統(tǒng)，主要利用行人重識(shí)別技術(shù)依據(jù)人物穿著、體態(tài)、發(fā)型等信息來判斷圖像或視頻序列中是否存在特定的行人，可與人臉識(shí)別技術(shù)相結(jié)合，解決跨鏡頭場(chǎng)景下在人臉被遮擋、距離過遠(yuǎn)時(shí)的人物身份識(shí)別。 

2、跨鏡追蹤的研究意義

跨鏡追蹤系統(tǒng)通過實(shí)時(shí)、自動(dòng)化分析視頻流中人物身份信息，能夠?qū)崿F(xiàn)對(duì)特定人物跨時(shí)間、跨空間的布控追蹤和即時(shí)定位，對(duì)公安監(jiān)視追蹤嫌疑人、物業(yè)排查可疑人員等提升工作效率均有幫助，能減少因時(shí)間成本造成的事態(tài)惡劣化，且能極大程度上避免工作人員因倦怠、脫崗等因素造成誤報(bào)和不報(bào)的情況，可切實(shí)提高監(jiān)控區(qū)域的安全防范能力。由于監(jiān)控系統(tǒng)場(chǎng)景中人臉多數(shù)情況下不清晰，因而業(yè)界普遍采用行人重識(shí)別(Person Re-Identification, 簡(jiǎn)稱ReID)算法實(shí)現(xiàn)跨鏡追蹤，其對(duì)人臉清晰度、人臉角度、攝像頭位置的敏感度等方面要求較人臉識(shí)別要低一些。在今年爆發(fā)的新冠肺炎疫情期間，基于ReID技術(shù)的一套跨鏡追蹤系統(tǒng)就為疫情防控立下了功勞，因此ReID算法也備受關(guān)注。

3、跨鏡追蹤的研究難點(diǎn)

配合式場(chǎng)景人臉識(shí)別近幾年已逐步商用化，但在視頻監(jiān)控場(chǎng)景下，人臉質(zhì)量往往不高或存在人臉不可見現(xiàn)象，因此多數(shù)情況下人臉識(shí)別無法發(fā)揮作用，而ReID算法實(shí)際場(chǎng)景下準(zhǔn)確率也較低，仍存在不少研究難點(diǎn)，總結(jié)如下：

1、行人數(shù)據(jù)嚴(yán)重缺失

由于涉及到隱私，且收集行人數(shù)據(jù)時(shí)需要在不同鏡頭下采集同一人同時(shí)間段內(nèi)出現(xiàn)的畫面，導(dǎo)致數(shù)據(jù)集構(gòu)建受到限制，數(shù)據(jù)的缺失是跨鏡追蹤技術(shù)無法快速突破的首要難點(diǎn)。

2、實(shí)際應(yīng)用場(chǎng)景復(fù)雜

相比于人臉，人體由于具有多個(gè)肢體關(guān)節(jié)點(diǎn)，在實(shí)際監(jiān)控場(chǎng)景下人物會(huì)以各種姿態(tài)、角度出現(xiàn)在鏡頭中，增加了人體檢測(cè)和識(shí)別的難度，加上不同時(shí)間段光線的差異、建筑物的遮擋等，都對(duì)人物身份的準(zhǔn)確識(shí)別提出了挑戰(zhàn)。

3、變裝場(chǎng)景下失效

主要依靠提取人物衣貌外觀特征來實(shí)現(xiàn)人體識(shí)別的行人重識(shí)別技術(shù)無法直接用在變裝場(chǎng)景下(如季節(jié)性換裝)，目前只能支持小范圍內(nèi)的短時(shí)搜索。

4、跨鏡追蹤系統(tǒng)構(gòu)成

為克服ReID算法自身限制，充分發(fā)揮其優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)視頻畫面中人與物的實(shí)時(shí)定位，我們采用將人臉及人體技術(shù)相結(jié)合的思路。通過將人臉與人體技術(shù)相融合，并結(jié)合動(dòng)作識(shí)別，使系統(tǒng)能通過攝像機(jī)實(shí)時(shí)自動(dòng)的識(shí)別人物，發(fā)現(xiàn)“警情”并主動(dòng)“分析”，對(duì)已經(jīng)出現(xiàn)或?qū)⒁霈F(xiàn)的安全威脅，及時(shí)向安全防衛(wèi)人員發(fā)出警報(bào)，切實(shí)提高監(jiān)控區(qū)域的安全防范能力。該系統(tǒng)主要涉及到如下技術(shù)點(diǎn)：

• 人臉識(shí)別
• 行人重識(shí)別
• 動(dòng)作識(shí)別
• 動(dòng)態(tài)人體庫更新
• 人臉屬性及人體屬性識(shí)別
• 多路流并發(fā)異步處理
• 陌生人員庫動(dòng)態(tài)更新

5、跨鏡追蹤系統(tǒng)建設(shè)

跨境追蹤系統(tǒng)通過接入經(jīng)過標(biāo)準(zhǔn)統(tǒng)一化的RTMP視頻流，采用跳幀處理機(jī)制對(duì)上述多種算法功能模塊進(jìn)行多線程異步調(diào)用，同時(shí)通過共享內(nèi)存記錄當(dāng)前實(shí)時(shí)畫面幀來實(shí)現(xiàn)視頻畫面的實(shí)時(shí)解析處理，系統(tǒng)業(yè)務(wù)流程圖如下所示： 

下面主要針對(duì)幾個(gè)核心模塊做詳細(xì)技術(shù)介紹。

6、動(dòng)態(tài)人臉識(shí)別模塊

人臉識(shí)別處理流程圖如下所示： 

不同于閘機(jī)、門禁等靜態(tài)刷臉場(chǎng)景，視頻監(jiān)控屬于動(dòng)態(tài)人臉識(shí)別應(yīng)用場(chǎng)景，人物運(yùn)動(dòng)模糊和人臉遮擋的情況經(jīng)常出現(xiàn)，人臉角度多為偏俯拍情況，光線也更復(fù)雜。目前在動(dòng)態(tài)監(jiān)控場(chǎng)景下，業(yè)界人臉識(shí)別算法萬分之一誤識(shí)率下的準(zhǔn)確率也只達(dá)90%左右，相比靜態(tài)場(chǎng)景的99.9%還相差較大。但由于視頻監(jiān)控領(lǐng)域不涉及到支付交互和認(rèn)證交互，業(yè)務(wù)場(chǎng)景本身對(duì)人臉識(shí)別的準(zhǔn)確度具有較為寬限的容錯(cuò)度。針對(duì)動(dòng)態(tài)場(chǎng)景下的人臉識(shí)別準(zhǔn)確率過低的問題，我們主要從人臉檢測(cè)和低質(zhì)量人臉識(shí)別兩個(gè)維度進(jìn)行改善。

1、增強(qiáng)人臉檢出率

數(shù)據(jù)準(zhǔn)備：為增加動(dòng)態(tài)場(chǎng)景下的人臉檢出率，模擬動(dòng)態(tài)人臉識(shí)別場(chǎng)景數(shù)據(jù)，在訓(xùn)練數(shù)據(jù)中增加由多種旋轉(zhuǎn)角度因子生成的圖片，包括側(cè)臉、正臉、旋轉(zhuǎn)臉，并分別增加暗光、強(qiáng)光、模糊、遮擋等影響因素。

網(wǎng)絡(luò)模型：網(wǎng)絡(luò)設(shè)計(jì)上采用基于SSD的多尺度特征融合方法，以解決跨尺度及人臉過小的檢測(cè)問題，并結(jié)合Inception和RFBs的思想，增加多類型卷積核，使特征提取信息豐富化，對(duì)光線、遮擋、模糊的適應(yīng)能力提升。

2、低質(zhì)量人臉識(shí)別率提升

數(shù)據(jù)準(zhǔn)備：人臉識(shí)別算法極大程度上受限于數(shù)據(jù)量，我們采用增加旋轉(zhuǎn)、平移、遮擋、光照、模糊因子等方式生成自造人臉數(shù)據(jù)，以訓(xùn)練得到更高性能的模型。

通過自造數(shù)據(jù)可以豐富每個(gè)人物id的數(shù)據(jù)廣度，此外為同時(shí)有效提升戴口罩面部識(shí)別效果，基于面部關(guān)鍵點(diǎn)算法擬合出人物戴口罩圖片，如下所示： 

網(wǎng)絡(luò)模型：在網(wǎng)絡(luò)模型結(jié)構(gòu)設(shè)計(jì)上，基于arcloss進(jìn)行人臉特征提取訓(xùn)練，為進(jìn)一步提升戴口罩人臉的識(shí)別性能，在訓(xùn)練人臉識(shí)別時(shí)增加人臉遮擋判斷項(xiàng)，在面部有遮擋時(shí)，能夠?qū)⑻卣魈崛￡P(guān)注點(diǎn)集中在未遮擋部位。同時(shí)，建立業(yè)務(wù)層面輔助措施作為備選，采用雙底庫策略和多模型策略，針對(duì)戴口罩情況單獨(dú)做識(shí)別處理。

戴口罩情況人臉識(shí)別算法優(yōu)化策略示意

7、行人重識(shí)別模塊

行人重識(shí)別算法的原理同人臉識(shí)別類似，通常采用表征學(xué)習(xí)或者度量學(xué)習(xí)得到特征提取模型，目前在公開數(shù)據(jù)集Market1501上算法的Rank-1最高記錄在98%左右，業(yè)界平均水平也已達(dá)到92%左右。但在實(shí)驗(yàn)環(huán)境下一定程度上存在過擬合，實(shí)際場(chǎng)景下的效果仍不理想。

1、與人臉識(shí)別算法相結(jié)合擴(kuò)大使用場(chǎng)景

為達(dá)到較好的行人重識(shí)別效果，我們將其與人臉識(shí)別相結(jié)合，實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)創(chuàng)建行人庫，滿足對(duì)目標(biāo)人物的360度追蹤，使其在變裝場(chǎng)景下也有效：

• 在換裝場(chǎng)景下，基于人臉識(shí)別創(chuàng)建人體圖像庫，在監(jiān)測(cè)到同一人衣著不同時(shí)進(jìn)行行人庫的及時(shí)更新;
• 在人臉分辨率過低、人臉不可見的情況下，基于人體重識(shí)別進(jìn)行人物追蹤定位，使系統(tǒng)滿足在復(fù)雜場(chǎng)景下的人物實(shí)時(shí)追蹤。 

同時(shí)增加人臉屬性、人體屬性以得到一些輔助標(biāo)簽，減小搜索范圍，使在人臉不完全可見的情況下，ReID仍能有效工作。

2、模型識(shí)別率提升

在實(shí)驗(yàn)中仍然從兩個(gè)維度提高模型準(zhǔn)確率，一個(gè)是數(shù)據(jù)，一個(gè)是訓(xùn)練策略。

數(shù)據(jù)準(zhǔn)備：為增加訓(xùn)練數(shù)據(jù)，我們結(jié)合語義分割算法，采用將人體著裝進(jìn)行區(qū)域劃分后重新著色的方式，增加人物id，但這種方法依賴于語義分割算法的準(zhǔn)確性，且出現(xiàn)不同id衣服顏色重復(fù)的情況會(huì)造成干擾，無法大批量生成。另外我們使用不同的行人重識(shí)別數(shù)據(jù)集分別作為源域和目標(biāo)域訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)，將不同數(shù)據(jù)集中不同鏡頭拍攝的數(shù)據(jù)風(fēng)格進(jìn)行相互轉(zhuǎn)換，然后進(jìn)行隨機(jī)數(shù)據(jù)擦除處理，由此數(shù)據(jù)量可獲得成倍增加。

模型訓(xùn)練及策略：在網(wǎng)絡(luò)訓(xùn)練中，采用ID分類損失與Triplet損失相結(jié)合的訓(xùn)練方式，使模型既能兼顧類間距離，又能同時(shí)收斂類內(nèi)距離。在推理測(cè)試中，采用余弦距離計(jì)算的方式，其更易于區(qū)分提取到的人體特征向量，相比歐式距離的結(jié)果，rank-1指標(biāo)可提升1%。

8、動(dòng)態(tài)人臉庫管理模塊 

通過動(dòng)態(tài)創(chuàng)建人臉庫的策略，可以提升對(duì)陌生人員的管控效率，將陌生人員的記錄查詢范圍降低了至少2個(gè)數(shù)量級(jí)，同時(shí)可實(shí)現(xiàn)對(duì)任意目標(biāo)可疑人員的快速查找與定位分析。由于陌生人員的記錄數(shù)據(jù)量會(huì)隨時(shí)間積累逐漸增多，直接在所有記錄中查詢陌生人的識(shí)別記錄耗時(shí)非常大。通過在人臉識(shí)別后增加質(zhì)量判斷，將人臉質(zhì)量合格的陌生人員添加至陌生人庫中進(jìn)行管理，此方式能夠很大程度上節(jié)約搜索耗時(shí)。當(dāng)搜索陌生人記錄時(shí)，只需要將待搜索人員圖片與陌生人底庫做一次特征匹配即可，可實(shí)現(xiàn)百萬量級(jí)圖片全量搜索、秒級(jí)響應(yīng)。

9、小結(jié)

跨鏡追蹤系統(tǒng)作為智能化安防、智能化監(jiān)控場(chǎng)景下的通用解決方案，已在中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心園區(qū)內(nèi)落點(diǎn)試用，后續(xù)會(huì)借助中國(guó)移動(dòng)運(yùn)營(yíng)商的市場(chǎng)和品牌優(yōu)勢(shì)，打通與更多的攝像頭及硬件設(shè)備廠商在各個(gè)環(huán)節(jié)的業(yè)務(wù)協(xié)同合作渠道，通過省公司的落地輔助，打造一套軟硬一體化的智能化監(jiān)控管理體系，并可從智慧園區(qū)、智慧社區(qū)拓展到居民社區(qū)、辦公樓宇、工業(yè)園區(qū)、旅游景區(qū)、學(xué)校園區(qū)等場(chǎng)景中，增強(qiáng)人員管控和區(qū)域安全性，為打造良好社會(huì)環(huán)境、打造智能化生態(tài)圈持續(xù)發(fā)力。

【本文為51CTO專欄作者“移動(dòng)Labs”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】

戳這里，看該作者更多好文