基于Python+Keras+OpenCV實(shí)現(xiàn)實(shí)時(shí)人臉活體檢測
def isBlinking(history, maxFrames): """ @history: A string containing the history of eyes status where a '1' means that the eyes were closed and '0' open. @m(xù)axFrames: The maximal number of successive frames where an eye is closed """ for i in range(maxFrames): pattern = '1' + '0'*(i+1) + '1' if pattern in history: return True return False3.活體的人臉識(shí)別我們幾乎擁有了建立“真實(shí)”人臉識(shí)別算法的所有要素,我們只需要一種實(shí)時(shí)檢測人臉和眼睛的方法。我使用openCV預(yù)先訓(xùn)練的Haar級(jí)聯(lián)分類器來完成這些任務(wù)。有關(guān)Haar cascade人臉和眼睛檢測的更多信息,我強(qiáng)烈建議你閱讀openCV的這篇強(qiáng)大的文章。https://docs.opencv.org/3.4.3/d7/d8b/tutorial_py_face_detection.htmldef detect_and_display(model, video_capture, face_detector, open_eyes_detector, left_eye_detector, right_eye_detector, data, eyes_detected): frame = video_capture.read() # 調(diào)整框架大小 frame = cv2.resize(frame, (0, 0), fx=0.6, fy=0.6)
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 檢測人臉 faces = face_detector.detectMultiScale( gray, scaleFactor=1.2, minNeighbors=5, minSize=(50, 50), flags=cv2.CASCADE_SCALE_IMAGE )
# 對(duì)于每個(gè)檢測到的臉 for (x,y,w,h) in faces: # 將人臉編碼為128維嵌入向量 encoding = face_recognition.face_encodings(rgb, [(y, x+w, y+h, x)])[0]
# 將向量與所有已知的人臉編碼進(jìn)行比較 matches = face_recognition.compare_faces(data["encodings"], encoding)
# 目前我們不知道該人的名字 name = "Unknown"
# 如果至少有一次匹配: if True in matches: matchedIdxs = [i for (i, b) in enumerate(matches) if b] counts = {} for i in matchedIdxs: name = data["names"][i] counts[name] = counts.get(name, 0) + 1
# 匹配次數(shù)最多的已知編碼對(duì)應(yīng)于檢測到的人臉名稱 name = max(counts, key=counts.get)
face = frame[y:y+h,x:x+w] gray_face = gray[y:y+h,x:x+w]
eyes = []
# 眼睛檢測 # 首先檢查眼睛是否睜開(考慮到眼鏡) open_eyes_glasses = open_eyes_detector.detectMultiScale(gray_face,scaleFactor=1.1,minNeighbors=5,minSize=(30, 30),flags = cv2.CASCADE_SCALE_IMAGE ) # 如果open_eyes_glasses檢測到眼睛,則眼睛睜開 if len(open_eyes_glasses) == 2: eyes_detected[name]+='1' for (ex,ey,ew,eh) in open_eyes_glasses: cv2.rectangle(face,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)
# 否則嘗試使用left和right_eye_detector檢測眼睛 # 以檢測到睜開和閉合的眼睛 else: # 將臉分成左右兩邊 left_face = frame[y:y+h, x+int(w/2):x+w] left_face_gray = gray[y:y+h, x+int(w/2):x+w]
right_face = frame[y:y+h, x:x+int(w/2)] right_face_gray = gray[y:y+h, x:x+int(w/2)]
# 檢測左眼 left_eye = left_eye_detector.detectMultiScale( left_face_gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE )
# 檢測右眼 right_eye = right_eye_detector.detectMultiScale( right_face_gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30), flags = cv2.CASCADE_SCALE_IMAGE )
eye_status = '1' # we suppose the eyes are open
# 檢查每只眼睛是否閉合。 # 如果有人閉著眼睛,我們得出結(jié)論是閉著眼睛 for (ex,ey,ew,eh) in right_eye: color = (0,255,0) pred = predict(right_face[ey:ey+eh,ex:ex+ew],model) if pred == 'closed': eye_status='0' color = (0,0,255) cv2.rectangle(right_face,(ex,ey),(ex+ew,ey+eh),color,2) for (ex,ey,ew,eh) in left_eye: color = (0,255,0) pred = predict(left_face[ey:ey+eh,ex:ex+ew],model) if pred == 'closed': eye_status='0' color = (0,0,255) cv2.rectangle(left_face,(ex,ey),(ex+ew,ey+eh),color,2) eyes_detected[name] += eye_status
# 每次,我們都會(huì)檢查該人是否眨眼 # 如果是,我們顯示其名字 if isBlinking(eyes_detected[name],3): cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 255, 0), 2)
# 顯示名字 y = y - 15 if y - 15 > 15 else y + 15 cv2.putText(frame, name, (x, y), cv2.FONT_HERSHEY_SIMPLEX,0.75, (0, 255, 0), 2)
return frame上面的功能是用于檢測和識(shí)別真實(shí)人臉的代碼,它接受以下參數(shù):model:我們的睜眼/閉眼分類器video_capture:流視頻face_detector:Haar級(jí)聯(lián)的人臉分類器。我使用了haarcascade_frontalface_alt.xmlopen_eyes_detector:Haar級(jí)聯(lián)睜眼分類器。我使用了haarcascade_eye_tree_eyeglasses.xmlleft_eye_detector:Haar級(jí)聯(lián)的左眼分類器。我使用了haarcascade_lefteye_2splits.xml,它可以檢測睜眼或閉眼。right_eye_detector:Haar級(jí)聯(lián)的右眼分類器。我使用了haarcascade_righteye_2splits.xml,它可以檢測睜眼或閉眼。data:已知編碼和已知名稱的字典eyes_detected:包含每個(gè)名稱的眼睛狀態(tài)歷史記錄的字典。在第2-4行,我們從網(wǎng)絡(luò)攝像頭流中獲取一個(gè)幀,然后調(diào)整其大小以加快計(jì)算速度。在第10行,我們從幀中檢測人臉,然后在第21行,我們將其編碼為128-d矢量。在第23-38行,我們將這個(gè)向量與已知的人臉編碼進(jìn)行比較,并通過計(jì)算匹配的次數(shù)來確定此人的姓名,選擇匹配次數(shù)最多的一個(gè)。從第45行開始,我們試著探測眼睛進(jìn)入人臉框。首先,我們嘗試用睜眼檢測器來檢測睜眼,如果探測器探測成功,則在第54行,將“1”添加到眼睛狀態(tài)歷史記錄中,這意味著眼睛是睜開的,因?yàn)楸犻_的眼睛探測器無法檢測到閉著的眼睛;否則,如果第一個(gè)分類器失敗(可能是因?yàn)檠劬κ情]著的,或者僅僅是因?yàn)樗荒茏R(shí)別眼睛),則使用左眼和右眼檢測器,人臉被分為左右兩側(cè),以便對(duì)各個(gè)探測器進(jìn)行分類。從第92行開始,提取眼睛部分,訓(xùn)練后的模型預(yù)測眼睛是否閉合,如果檢測到一只眼睛閉著,則兩眼都將被預(yù)測為閉著,并將“0”添加到眼睛狀態(tài)歷史記錄中;否則就可以斷定眼睛是睜開的。最后,在第110行,is blinking()函數(shù)用于檢測眨眼,如果該人眨眼,則顯示姓名。整個(gè)代碼都可以在我的github帳戶上找到。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市