一、概述  

近年來，隨著硬件成本的下降和電力、通信等基礎(chǔ)設(shè)施逐步完善以及城鎮(zhèn)化水平顯著提高，越來越多的監(jiān)控攝像頭被部署在公共場所以及家庭中，中國監(jiān)控攝像頭行業(yè)市場規(guī)模逐年增長。據(jù)統(tǒng)計，2022年中國攝像頭市場規(guī)模已達211億元，預計到2024年市場規(guī)模將達到244.1億元。經(jīng)由這個龐大的監(jiān)控網(wǎng)絡(luò)，每天有大量的視頻數(shù)據(jù)在被產(chǎn)生，一個中等規(guī)模的城市, 僅一天就能產(chǎn)生PB級數(shù)據(jù)量的視頻[1]。隨著計算機視覺（Computer Vision，CV）技術(shù)和深度學習算法的快速發(fā)展，從這些存在著千絲萬縷時空關(guān)聯(lián)、包含了數(shù)以億計有效信息的海量監(jiān)控視頻數(shù)據(jù)中高效、自動的識別提取有用信息，是視頻安防領(lǐng)域從“拍下來”到“認出來”的智能化轉(zhuǎn)變。

對監(jiān)控視頻的運用，從人工盯監(jiān)控階段到智能化視頻分析階段一以貫之的一個重要任務就是辨識人員的身份。在安防智能化大力推行的今天，通過對監(jiān)控視頻內(nèi)容關(guān)聯(lián)分析，確定重點關(guān)注人員的身份依然是重中之重的任務，不論在學術(shù)研究領(lǐng)域還是在工業(yè)應用領(lǐng)域，都是計算機視覺研究的熱點。除了較為成熟的人臉識別技術(shù)外，還包含步態(tài)識別技術(shù)、人員重識別技術(shù)、虹膜識別技術(shù)與跨模態(tài)行人檢測等新興技術(shù)。本文主要介紹幾種以視頻為輸入數(shù)據(jù)源的人員身份識別技術(shù)，同時給出了一些對應的應用場景，并在最后對基于視頻的人員識別技術(shù)存在問題進行回溯及未來應用進行展望。

二、基于視頻的人員身份識別技術(shù)主要包含方向

2.1 基于視頻流的步態(tài)識別技術(shù)

步態(tài)識別技術(shù)是一種通過挖掘人行走方式中的特征來鑒定人員身份的技術(shù)，與人臉識別技術(shù)、虹膜識別技術(shù)、指紋識別技術(shù)等其他依靠生物特征識別人員的方法相比，步態(tài)識別技術(shù)不需要近距離采集受識別者，對攝像頭的放置高度、視角以及獲取到視頻的清晰度具有更高寬容度，因此，在采集過程中更加隱蔽不易察覺，不需要受識別者進行主動配合。此外，相比于人臉識別技術(shù)容易通過口罩遮擋、使用偽裝圖片等方式混淆識別結(jié)果，步態(tài)難以偽裝隱藏，并且每個人具有獨特性，在身份識別領(lǐng)域具有獨特優(yōu)勢。目前提出的步態(tài)識別方法基本分為基于外觀（Appearance-Based）和基于模型（Model-based）的兩種方法。

圖 1基于外觀的步態(tài)識別方法示意圖

2.1.1 基于外觀的方法

該方法通過對原始視頻幀進行分割，得到消除了外部因素后的人體輪廓圖像，再利用卷積神經(jīng)網(wǎng)絡(luò)提取時空特征，又可分為基于特征模板的方法和基于序列的方法。

（1）基于特征模板的方法目前主要有：

-GEI-NET [2]：直接訓練CNN分類器，在最后一層提取步態(tài)特征，結(jié)構(gòu)簡單易于實現(xiàn)，運行速度快常用做baseline；

-Gait Net：分別在兩個CNN網(wǎng)絡(luò)中進行分割和分類，并對兩個CNN聯(lián)合學習建模，使分割結(jié)果更適用于識別，原始的視頻數(shù)據(jù)在分割后得到步態(tài)輪廓，合成步態(tài)模板最終學習到步態(tài)特征；

-GaitGAN：以GAN模型生成側(cè)視圖，解決任意視角問題；

-GEI-GAN：用GAN解決步態(tài)周期不完整問題，重建出完整的步態(tài)能量圖，解決遮擋問題。

（2）基于序列的方法目前主要有：

-GaitSet[3]網(wǎng)絡(luò)：不再使用GEI步態(tài)能量圖，將步態(tài)剪影序列看作圖像集并從中進行學習，在多個公開跨視角數(shù)據(jù)集中測試出較好性能，如圖2所示；

-GaitPart[4]：對視頻序列進行處理，分別利用幀級部分特征提取器FPFE以及微小運動捕獲器MCM來獲取短程時間特征，具有結(jié)構(gòu)簡單、性能優(yōu)異、速度快、易實現(xiàn)的特點；

-Gait Lateral Network：設(shè)計了一個壓縮模塊，顯著減少步態(tài)表示尺寸，并保證檢測結(jié)果準確性；

-MT3D：將3D-CNN應用于小時間尺寸和大空間尺度來提取時空信息，對幀進行池化，具有高效率的特點。

圖 2 GaitSet特征提取示意圖

2.1.2 基于模型的方法

該方法是通過研究骨架的基本結(jié)構(gòu)，從視頻中提取骨架結(jié)構(gòu)進行位姿估計，進而提取步態(tài)特征，目前主要有Pose Gait、Gait Graph等，相比于基于外觀的方法具有更好的性能。但是基于輪廓的方法在保留身體形狀時無法處理身體重疊區(qū)域的遮蔽問題，并且容易收到服裝變換的影響。而基于模型的方法雖然能夠保留內(nèi)部結(jié)構(gòu)信息屏蔽遮擋問題，但因為完全忽略輪廓會導致性能不佳，因此，目前有學者在進行兩種數(shù)據(jù)模態(tài)的聯(lián)合訓練，以進一步提升步態(tài)識別效果。在進行多模數(shù)據(jù)融合時，如果只是簡單的進行信息鏈接，無法有效捕獲更細粒度的空間信息，也無法對兩種模態(tài)的時間信息進行充分利用，

近年來步態(tài)識別解決方案逐步從傳統(tǒng)的非深度學習方法向深度學習方法轉(zhuǎn)變，但目前基于視頻的步態(tài)識別算法仍存在容易受到跨視角、著裝變化、外物遮擋、攜帶物品等因素的干擾等問題，檢測算法魯棒性有待提升。

2.2  基于視頻流的人員重識別技術(shù)

在實際應用場景中經(jīng)常會出現(xiàn)如下需求：某一特定人員通過了多個監(jiān)控區(qū)域，且視域互不重疊，需要人工在各個監(jiān)控視角中尋找該人員的身影并串聯(lián)出他的行進路線。在機器視覺領(lǐng)域，對這種可以銜接目標對象在不同監(jiān)控區(qū)域內(nèi)運動軌跡，實現(xiàn)跨時間、跨地點和跨設(shè)備的行人跟蹤的自動化行人檢索技術(shù)稱為行人重識別技術(shù)（person re-identification，Re-ID）。行人重識別自2006年首次在國際計算機視覺與模式會議中提出后，得到了快速的發(fā)展和大量的關(guān)注，逐漸形成日趨成熟的模型框架和算法。在視頻安全領(lǐng)域，在大規(guī)模的視頻監(jiān)控系統(tǒng)中應用該技術(shù)，能夠有效彌補攝像頭視覺局限，提高人員識別的檢測效率以及準確性，具有重要應用價值。

早期人員重識別主要基于傳統(tǒng)計算機視覺方法，需要手工提取圖像特征后再進行匹配，隨著深度學習技術(shù)的突飛猛進，研究者也將深度學習的方法引入人員重識別領(lǐng)域。首先，根據(jù)行人特征提取方法從檢索圖片/視頻庫中提取特征; 隨后，針對提取的特征利用相似性判別模型進行訓練, 獲得能夠描述和區(qū)分不同行人的特征表達向量, 度量計算特征表達向量之間的相似性; 最后，根據(jù)相似性大小對圖像進行排序, 將相似度最高的圖像作為最終的識別結(jié)果。

在實際實驗中，特征提取階段會因為采集到的人員視頻數(shù)據(jù)存在遮擋、部位不對齊以及姿態(tài)差異等問題，導致直接提取圖像的全局特征并不能達到最好的識別精度。這也反映了人員重識別研究中，由于數(shù)據(jù)可能會來自于不同位置、不同品牌的攝像頭，因而成像畫質(zhì)、人物背景都存在較大差異，并且數(shù)據(jù)中人員的外觀還易受遮擋、穿著、視角、光照和姿態(tài)等多種因素的影響[5]。因此人員重識別技術(shù)還可以劃分為關(guān)注不同問題點的研究方向：多源數(shù)據(jù)人員重識別、換裝人員重識別、小股人員重識別等。

 2.2.1  多源數(shù)據(jù)行人重識別

多源數(shù)據(jù)行人員重識別主要針對每類數(shù)據(jù)使用一個特定于該類型的網(wǎng)絡(luò)來提取或構(gòu)造特定信息并映射到同一個表達空間，然后利用共享網(wǎng)絡(luò)在共享表達空間中生成特征，這個通用的重識別網(wǎng)絡(luò)通過中心損失、三重損失等損失函數(shù)進行訓練并與普通網(wǎng)絡(luò)相連，實現(xiàn)跨數(shù)據(jù)類型的人員重識別。

多源數(shù)據(jù)一般分為下列幾種：

-使用不同的相機規(guī)格和設(shè)置，如高分辨率與低分辨率圖像；

-使用不同的拍攝設(shè)備，如可見光與紅外攝像機、可見光與深度傳感器；

-根據(jù)歷史文檔記錄或?qū)π腥说拿枋霁@得的文本信息；

-由專家或者數(shù)字傳感器自動獲得的圖像，如刑偵系統(tǒng)使用的素描與數(shù)字照片。

2.2.2 換裝行人重識別

換裝人員重識別技術(shù)主要通過提取出對著裝、視角和光照等因素具有魯棒性的身份判別特征用作相似性度量。該方向的研究近幾年蓬勃發(fā)展，涌現(xiàn)了大量大規(guī)模數(shù)據(jù)集及研究方法。換裝人員重識別技術(shù)根據(jù)數(shù)據(jù)采集樣本可分為基于非視覺傳感器的方法和基于視覺相機的方法。其中，基于非視覺傳感器的方法主要包含使用深度相機或射頻裝置；基于視覺相機的方法主要采用監(jiān)控攝像頭采集RGB圖像或視頻，再從中學習判別特征。主要分類情況如圖3所示。

本文主要討論基于視覺相機的方法，可分為：

-基于顯式特征構(gòu)建或?qū)W習的方法：對人的人臉、輪廓、體型等具有唯一性的生物特征構(gòu)建輪廓模型或輪廓特征約束，從輪廓中提取身份判別信息[6]；

-基于解耦特征的方法[7]：從人員特征中去除著裝顏色、紋理等身份無關(guān)特性以提高性能，通?？捎申P(guān)節(jié)信息、服裝模板等作為控制條件引導特征分離，或者基于生成對抗網(wǎng)絡(luò)進行特征解耦；

-隱式數(shù)據(jù)驅(qū)動的自適應學習方法：數(shù)據(jù)驅(qū)動學習模型能夠自適應類內(nèi)樣本間的差異，利于分類的判別行性特征，但對數(shù)據(jù)依賴嚴重，可解釋性差。

圖 3 換裝行人重識別方法分類示意圖

2.2.3  小股人員重識別

小股人員重識別結(jié)合人類的社會屬性和群居屬性，對研究對象數(shù)目進行擴展，將小規(guī)模人群作為重識別目標的任務，可以檢測團伙作案等違法行為。同時，利用小股人員重識別技術(shù)，可以在單個人員被遮擋表觀特征不可靠時，將與其同行的其他人員的表觀特征作為檢索的線索，提高人員重識別在遮擋等復雜條件下的魯棒性和判別性。因此，除了傳統(tǒng)人員識別需要面對的問題，小股人員重識別還需要解決由群組人數(shù)變化和群組人員位置變化引起的群組結(jié)構(gòu)變化。

小股行人重識別的算法在數(shù)據(jù)類型上可分為基于靜態(tài)圖像的方法[8]和基于視頻序列的方法；在標簽策略上可分為有監(jiān)督、弱監(jiān)督和無監(jiān)督的方法；在模型策略上可分為基于數(shù)據(jù)增強、基于特征提取和基于度量學習的方法，如圖4所示?；谔卣魈崛〉姆椒ㄓ挚杉毞譃榛谑止ぬ卣鞯姆椒ê突谏疃葘W習的方法。

各類方法的核心目的都是對群組結(jié)構(gòu)的建模與描述，早期的手工特征描述子從全圖提取群組特征；后續(xù)引入深度學習技術(shù)基于卷積神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)的方法從特征層面先構(gòu)造單人特征，并進一步在基礎(chǔ)上構(gòu)造群組特征；再后來，基于自注意力模型的方法也是沿襲該研究思路并加以改進。但目前并沒有在各種深度學習的方法中形成完全統(tǒng)一的處理框架。一般而言，基于生成對抗網(wǎng)絡(luò)的方法通常用于模型離線訓練的數(shù)據(jù)增強階段；基于度量學習的方法傾向于僅在訓練時使用。在實際工程應用中，一般傾向于使用特征提取的網(wǎng)絡(luò)模型，并且選擇提取特征維度短、依賴額外先驗少、檢索速度快的深度模型。

圖 4 小股人群重識別分類示意圖

人員重識別技術(shù)作為一種跨鏡頭視頻閾的任務，用于采集視頻的攝像頭數(shù)量龐大品類繁雜，同一人員在不同場景、不同角度、不同光照條件、不同著裝、是否存在遮擋等問題下都會呈現(xiàn)出較大的圖像差異，相信隨著對這些細分領(lǐng)域子問題解決方案的逐步優(yōu)化，人員重識別技術(shù)可用于跨街區(qū)追蹤人員、挖掘反復出現(xiàn)可疑人員等場景，將有力推動視頻安全領(lǐng)域更上一個臺階。

2.3 基于視頻的虹膜識別技術(shù)

人眼中黑色瞳孔和白色鞏膜之間的環(huán)狀部分稱為虹膜，其包含有很多相互交錯的斑點、細絲、冠狀、條紋、隱窩等細節(jié)特征，且不隨年歲增長而變化。相比于其他的生物特征模態(tài)，虹膜具有獨特性、穩(wěn)定性和非接觸性三個特點，因此虹膜識別技術(shù)相比于別的生物特征技術(shù)具有更高的識別精度。與近年來已經(jīng)得到大規(guī)模應用的人臉識別技術(shù)相比，雖然都屬于依靠生物信息進行識別，但在底層識別原理上還是存在較大不同。人臉識別技術(shù)提取眼睛、鼻子、嘴巴等面部器官的幾何特征以及皮膚紋理顏色等信息，但上述特征容易隨著年齡增長、身體狀況變化而改變，同時也容易被刻意變造偽裝容顏的方法干擾；而虹膜具有復雜紋路，自嬰兒期發(fā)育穩(wěn)定后就不再變化，雖然在應用便捷度和硬件成本上較高于人臉識別，但對具有更高安全需求的場景可提供更準確的人員識別結(jié)果。

算法上，分為采集、預處理、模式識別三個環(huán)節(jié)。在虹膜圖像采集環(huán)節(jié)，傳統(tǒng)方法是使用近距離圖像采集，隨著技術(shù)發(fā)展，利用光場成像進行遠距離虹膜采集的技術(shù)已經(jīng)成為主流。圖像預處理環(huán)節(jié)，需要進行虹膜檢測、活體檢測、質(zhì)量評估、分割、定位等常規(guī)流程，同時也需要對處理后的虹膜圖像進行獨特的歸一化和圖像增強來將環(huán)狀虹膜區(qū)域展開成標準矩形紋理。模式識別在全流程中是最能夠?qū)ψ罱K識別結(jié)果產(chǎn)生影響的關(guān)鍵環(huán)節(jié)。

Daugma利用多尺度的 Gabor濾波器來獲得相位相關(guān)的編碼，并通過漢明距離有效地度量了兩個樣本之間的相似性；Wildes利用Laplacian塔式分解在多個尺度上進行對比，實現(xiàn)了圖像對間的身份驗證；Boles利用小波變換來將虹膜的環(huán)狀一維采樣結(jié)果進行處理，實現(xiàn)了特征提取和匹配功能。為提高遠距離非限制場景下識別效率，可引入其他生物特征進行輔助認證，每種生物特征根據(jù)其自身特點都會在具體的場景中具備獨特優(yōu)劣勢，根據(jù)實際場景選擇合適的模態(tài)及融合方式，如利用虹膜和眼周的眼瞼、睫毛、瞳孔等生物特征信息豐富的部位相結(jié)合[9]，提取特征信息，可以使識別可靠性和穩(wěn)定性得到提高。

2.4  跨模態(tài)行人檢測技術(shù)

在人員的識別任務中，行人檢測是重要的前置任務，使用深度學習方法進行行人檢測已經(jīng)成為主流方案并且取得了較大進展，在該方向的研究熱點發(fā)展時間軸整理如圖5所示。但僅依靠可見光視頻圖像作為處理數(shù)據(jù)源，在遇到低照度、惡劣天氣等情況時，很難從可見光圖像中分辨出行人輪廓，限制了應用場景，此時引入一種新的模態(tài)可有效提升檢測效果。

目前研究較多的跨模態(tài)組合方式有可見光+深度圖、可見光+雷達圖以及可見光+紅外圖，其中雷達點云圖的細粒度不足以把人的輪廓精細的提取處理出來，深度圖像可提供行人輪廓但同樣不夠精準，而紅外熱像儀成像原理是采集物體與絕對零度溫之差，人與周圍環(huán)境有清晰的輪廓線，因此將紅外熱像圖與可見光圖像相結(jié)合，可以有效地解決在低照度或雨雪等惡劣天氣場景中識別率低的問題。

圖 5 跨模態(tài)人員識別研究熱點時間軸

早期處理雙模態(tài)圖像數(shù)據(jù)融合的方法主要有基于輪廓的融合方法、基于聯(lián)合雙邊濾波器的融合方法和基于黎曼流形[10]的融合方法。隨著深度學習算法的快速發(fā)展成熟，自2016年后跨模態(tài)的行人檢測任務都是基于CNN模型進行改進研究。檢測的基本流程為，將可見光-紅外熱像圖像對輸入，產(chǎn)生行人候選框，候選框分類與回歸，后處理階段極大值抑制，輸出檢測結(jié)果。在不同的檢測方法中，融合操作可處于不同的階段，具體分為圖像階段進行融合、特征階段進行融合、決策階段進行檢測結(jié)果融合。

近年來對于跨模態(tài)行人檢測的研究主要分為對模態(tài)差異大問題的研究和實際應用難問題的研究?；谀B(tài)差異大問題的研究又可分為基于圖像未對準為題的研究（兩種模態(tài)圖像存在位置偏移問題）、基于融合不充分問題的研究（何時融合，如何融合）。基于實際應用難問題的研究可分為基于標準成本問題的研究（引入自動標注等方法建立場景多、全天候的數(shù)據(jù)集）、基于硬件成本問題的研究、基于實時檢測問題的研究。隨著對上述細分領(lǐng)域研究的不斷推進，跨模態(tài)人員識別算法在精度上已測試出了相對優(yōu)異的性能，但在人員密集地區(qū)存在嚴重遮擋條件下、小目標行人檢測、檢測實時性等方面還存在較大提升空間，也是未來研究持續(xù)發(fā)力的方向。

三、結(jié)語  

視頻智能分析技術(shù)是保障場所安全的重要手段，在監(jiān)控設(shè)備部署規(guī)模日臻完善、網(wǎng)絡(luò)傳輸能力極大提升、算力水平成倍增長、基于各種框架的深度學習算法百花齊放的今天，視頻分析技術(shù)在實際工程中的應用迎來了全新機遇。場所安全中，對于人員我們關(guān)心他是誰、于何時、在何地、做了什么，基于這些基本屬性，我們可以結(jié)合場所規(guī)則的數(shù)據(jù)化解讀進一步分析判斷是否存在安全威脅。因此人員識別可以說是視頻智能分析在安全領(lǐng)域中最核心最基礎(chǔ)的應用。本文就人員識別中的步態(tài)識別、人員重識別、虹膜識別、跨模態(tài)融合識別進行了簡單介紹和討論，相信隨著算法的逐漸優(yōu)化和大模型等新興技術(shù)的引入，對遮擋、偽裝、換裝、低照度場景、雨雪惡劣天氣等主觀、客觀制造人員識別難度的場景會有更快速高準確率的解決方案。

參考文獻

[1] 中國公共安全, 高.J.: ‘視頻結(jié)構(gòu)化技術(shù)視頻數(shù)據(jù)的"賦能者"’, 2018, (5), pp. 4

[2] Shiraga, K., Makihara, Y., Muramatsu, D., Echigo, T., and Yagi, Y.J.I.: ‘GEINet: View-invariant gait recognition using a convolutional neural network’, 2016

[3] Zhang, Z., Tran, L., Yin, X., Atoum, Y., and Wang, N.J.I.: ‘Gait Recognition via Disentangled Representation Learning’, 2019

[4] Fan, C., Peng, Y., Cao, C., Liu, X., and He, Z.J.I.: ‘GaitPart: Temporal Part-Based Model for Gait Recognition’, 2020

[5] 羅浩, 姜偉, 范星, and 自動化學報, 張.J.: ‘基于深度學習的行人重識別研究進展’, 2019, 45, (11), pp. 18

[6] Hong, P., Wu, T., Wu, A., Han, X., and Zheng, W.S.J.I.: ‘Fine-Grained Shape-Appearance Mutual Learning for Cloth-Changing Person Re-Identification’, 2021

[7] Jia, X., Zhong, X., Ye, M., Liu, W., Huang, W., and Zhao, S.: ‘Patching Your Clothes: Semantic-Aware Learning for Cloth-Changed Person Re-Identification’, in Editor (Ed.)^(Eds.): ‘Book Patching Your Clothes: Semantic-Aware Learning for Cloth-Changed Person Re-Identification’ (2022, edn.), pp.

[8] Chen, L., Yang, H., Xu, Q., and Gao, Z.J.N.: ‘Harmonious attention network for person re-identification via complementarity between groups and individuals’, 2020

[9] Algashaam, F., Nguyen, K., Banks, J., Chandran, V., Do, T.A., Alkanhal, M.J.M.V., and Applications: ‘Hierarchical fusion network for periocular and iris by neural network approximation and sparse autoencoder’, 2021, 32, (1), pp. 1-10

[10] San-Biagio, M., Crocco, M., Cristani, M., Martelli, S., and Murino, V.: ‘Low-level multimodal integration on Riemannian manifolds for automatic pedestrian detection’, in Editor (Ed.)^(Eds.): ‘Book Low-level multimodal integration on Riemannian manifolds for automatic pedestrian detection’ (2012, edn.), pp.