[[402533]]

人臉檢測，看似要使用深度學習，覺得很高大牛逼，其實通過opencv就可以制作人臉識別的窗口。

今天，Runsen教大家將構(gòu)建一個簡單的Python腳本來處理圖像中的人臉，使在OpenCV庫中兩種方法 。

首先，我們將使用haar級聯(lián)分類器，這對初學者來說是一種簡單的方法(也不太準確)，也是最方便的方法。

其次是單發(fā)多盒檢測器(或簡稱SSD)，這是一種深度神經(jīng)網(wǎng)絡(luò)檢測圖像中對象的方法。

使用Haar級聯(lián)進行人臉檢測

基于haar特征的級聯(lián)分類器的，OpenCV已經(jīng)為我們提供了一些分類器參數(shù)，因此我們無需訓(xùn)練任何模型，直接使用。

opencv的安裝

pip install opencv-python 

我們首先導(dǎo)入OpenCV：

import cv2 

下面對示例圖像進行測試，我找來了我學校的兩個漂亮美女的圖像：

image = cv2.imread("beauty.jpg") 

函數(shù)imread()從指定的文件加載圖像，并將其作為numpy的 N維數(shù)組返回。

在檢測圖像中的面部之前，我們首先需要將圖像轉(zhuǎn)換為灰度圖：

image_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) 

下面，因為要初始化人臉識別器(默認的人臉haar級聯(lián))，需要下載對應(yīng)的參數(shù)xml文件，

這里選擇最初的haarcascade_frontalface_default.xml

下面代碼就是加載使用人臉識別器

face_cascade = cv2.CascadeClassifier("haarcascade_fontalface_default.xml") 

現(xiàn)在讓我們檢測圖像中的所有面孔：

# 檢測圖像中的所有人臉 
faces = face_cascade.detectMultiScale(image_gray) 
print(f"{len(faces)} faces detected in the image.") 

detectMultiScale() 函數(shù)將圖像作為參數(shù)并將不同大小的對象檢測為矩形列表，因此我們繪制矩形，同樣有rectangle方法提供

#為每個人臉繪制一個藍色矩形 
for x, y, width, height in faces: 
 # 這里的color是 藍 黃 紅，與rgb相反，thickness設(shè)置寬度 
 cv2.rectangle(image, (x, y), (x + width, y + height), color=(255, 0, 0), thickness=2) 

最后，讓我們保存新圖像：

cv2.imwrite("beauty_detected.jpg", image) 

基于haar特征的級聯(lián)分類器的結(jié)果圖

我們驚奇的發(fā)現(xiàn)圖片1是沒有設(shè)備出來的，這是因為存在障礙物，

我們驚奇的發(fā)現(xiàn)圖片2是竟然設(shè)別出來了兩個窗口。

Haar級聯(lián)結(jié)合攝像頭

使用Haar級聯(lián)進行人臉檢測可以說是opencv最基礎(chǔ)的效果，下面我們利用攝像頭將Haar級聯(lián)進行合并，這樣就可以達到開頭的效果。

import cv2 
 
#創(chuàng)建新的cam對象 
cap = cv2.VideoCapture(0) 
#初始化人臉識別器（默認的人臉haar級聯(lián)） 
face_cascade = cv2.CascadeClassifier("haarcascade_fontalface_default.xml") 
 
while True: 
    # 從攝像頭讀取圖像 
    _, image = cap.read() 
    # 轉(zhuǎn)換為灰度 
    image_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) 
    # 檢測圖像中的所有人臉 
    faces = face_cascade.detectMultiScale(image_gray, 1.3, 5) 
    # 為每個人臉繪制一個藍色矩形 
    for x, y, width, height in faces: 
        cv2.rectangle(image, (x, y), (x + width, y + height), color=(255, 0, 0), thickness=2) 
    cv2.imshow("image", image) 
    if cv2.waitKey(1) == ord("q"): 
        break 
 
cap.release() 
cv2.destroyAllWindows() 

使用SSD的人臉檢測

上面的效果是已經(jīng)過時了，但是OpenCV為我們提供了包裝中dnn模塊cv2，從而可以直接加載經(jīng)過預(yù)訓(xùn)練的深度學習模型。

2015年底有人提出了一個實時對象檢測網(wǎng)絡(luò)Single Shot MultiBox Detector縮寫為SSD

SSD對象檢測的Model

SSD對象檢測網(wǎng)絡(luò)簡單說可以分為三個部分：

• 基礎(chǔ)網(wǎng)絡(luò)(backbone) 這里為VGG16
• 特征提取Neck，構(gòu)建多尺度特征
• 檢測頭 – 非最大抑制與輸出

要開始使用SSD在OpenCV中，需要下載RESNET人臉檢測模型和其預(yù)訓(xùn)練的權(quán)重，然后將其保存到代碼weights工作目錄：

RESNET人臉檢測模型和權(quán)重

import cv2 
import numpy as np 
 
# 下載鏈接：https://raw.githubusercontent.com/opencv/opencv/master/samples/dnn/face_detector/deploy.prototxt 
prototxt_path = "weights/deploy.prototxt.txt" 
# 下載鏈接：https://raw.githubusercontent.com/opencv/opencv_3rdparty/dnn_samples_face_detector_20180205_fp16/res10_300x300_ssd_iter_140000_fp16.caffemodel  
model_path = "weights/res10_300x300_ssd_iter_140000_fp16.caffemodel" 
# 加載Caffe model 
model = cv2.dnn.readNetFromCaffe(prototxt_path, model_path) 
# 讀取所需圖像 
image = cv2.imread("beauty.jpg") 
# 獲取圖像的寬度和高度 
h, w = image.shape[:2] 

現(xiàn)在，需要這個圖像傳遞到神經(jīng)網(wǎng)絡(luò)中，由于下載的模型是(300, 300) px的。

因此，我們需要將圖像調(diào)整為的(300, 300)px形狀：

# 預(yù)處理圖像：調(diào)整大小并執(zhí)行平均減法。104.0, 177.0, 123.0 表示b通道的值-104，g-177,r-123   
# 在深度學習中通過減去數(shù)人臉據(jù)集的圖像均值而不是當前圖像均值來對圖像進行歸一化，因此這里寫死了 
blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300),(104.0, 177.0, 123.0)) 

將此blob對象用作神經(jīng)網(wǎng)絡(luò)的輸入，獲取檢測到的面部：

# 將圖像輸入神經(jīng)網(wǎng)絡(luò) 
model.setInput(blob) 
# 得到結(jié)果 
output = np.squeeze(model.forward()) 

輸出對象output 具有所有檢測到的對象，在這種情況下一般都是人臉，讓我們遍歷output，并在取一個置信度大于50%的判斷條件：

font_scale = 1.0 
# output.shape ==(200, 7) 
for i in range(0, output.shape[0]): 
    # 置信度  
    confidence = output[i, 2] 
    # 如果置信度高于50%，則繪制周圍的方框 
    if confidence > 0.5: 
        # 之前將圖片變成300*300，接下來提取檢測到的對象的模型的置信度后，我們得到周圍的框 output[i, 3:7]，然后將其width與height原始圖像的和相乘，以獲得正確的框坐標 
        box = output[i, 3:7] * np.array([w, h, w, h]) 
        # 轉(zhuǎn)換為整數(shù) 
        start_x, start_y, end_x, end_y = box.astype(np.int) 
        # 繪制矩形 
        cv2.rectangle(image, (start_x, start_y), (end_x, end_y), color=(255, 0, 0), thickness=2) 
        # 添加文本 
        cv2.putText(image, f"{confidence*100:.2f}%", (start_x, start_y-5), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (255, 0, 0), 2) 

最后我們展示并保存新圖像：

cv2.imshow("image", image) 
cv2.waitKey(0) 
cv2.imwrite("beauty_detected.jpg", image) 

 

下面是完整代碼

import cv2 
import numpy as np 
# 下載鏈接：https://raw.githubusercontent.com/opencv/opencv/master/samples/dnn/face_detector/deploy.prototxt 
prototxt_path = "weights/deploy.prototxt.txt" 
# 下載鏈接：https://raw.githubusercontent.com/opencv/opencv_3rdparty/dnn_samples_face_detector_20180205_fp16/res10_300x300_ssd_iter_140000_fp16.caffemodel  
model_path = "weights/res10_300x300_ssd_iter_140000_fp16.caffemodel" 
model = cv2.dnn.readNetFromCaffe(prototxt_path, model_path) 
image = cv2.imread("beauty.jpg") 
h, w = image.shape[:2] 
blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300),(104.0, 177.0, 123.0)) 
model.setInput(blob) 
output = np.squeeze(model.forward()) 
font_scale = 1.0 
for i in range(0, output.shape[0]): 
    confidence = output[i, 2] 
    if confidence > 0.5: 
        box = output[i, 3:7] * np.array([w, h, w, h]) 
        start_x, start_y, end_x, end_y = box.astype(np.int) 
        cv2.rectangle(image, (start_x, start_y), (end_x, end_y), color=(255, 0, 0), thickness=2) 
        cv2.putText(image, f"{confidence*100:.2f}%", (start_x, start_y-5), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (255, 0, 0), 2) 
cv2.imshow("image", image) 
cv2.waitKey(0) 
cv2.imwrite("beauty_detected.jpg", image) 

SSD結(jié)合攝像頭的人臉檢測

SSD結(jié)合攝像頭的人臉檢測方法更好，更準確，但是每秒傳輸幀數(shù)FPS方面可能低，因為它不如Haar級聯(lián)方法快，但這問題并不大。

下面是SSD結(jié)合攝像頭的人臉檢測的全部代碼

import cv2 
import numpy as np 
prototxt_path = "weights/deploy.prototxt.txt" 
model_path = "weights/res10_300x300_ssd_iter_140000_fp16.caffemodel" 
model = cv2.dnn.readNetFromCaffe(prototxt_path, model_path) 
cap = cv2.VideoCapture(0) 
while True: 
    _, image = cap.read() 
    h, w = image.shape[:2] 
    blob = cv2.dnn.blobFromImage(image, 1.0, (300, 300), (104.0, 177.0, 123.0)) 
    model.setInput(blob) 
    output = np.squeeze(model.forward()) 
    font_scale = 1.0 
    for i in range(0, output.shape[0]): 
        confidence = output[i, 2] 
        if confidence > 0.5: 
            box = output[i, 3:7] * np.array([w, h, w, h]) 
            start_x, start_y, end_x, end_y = box.astype(np.int) 
            cv2.rectangle(image, (start_x, start_y), (end_x, end_y), color=(255, 0, 0), thickness=2) 
            cv2.putText(image, f"{confidence*100:.2f}%", (start_x, start_y-5), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (255, 0, 0), 2) 
    cv2.imshow("image", image) 
    if cv2.waitKey(1) == ord("q"): 
        break 
cv2.destroyAllWindows() 
cap.release()