項(xiàng)目概況

該項(xiàng)目的目標(biāo)是預(yù)測(cè)面部圖片上關(guān)鍵點(diǎn)的位置。這可以用作各種應(yīng)用程序中的組件,包括:

圖片和視頻中的人臉識(shí)別。

面部表情的研究。

用于醫(yī)學(xué)診斷,識(shí)別畸形面部癥狀。

識(shí)別面部關(guān)鍵點(diǎn)是一個(gè)很難解決的話題。人與人的面部特征差異很大,即使在一個(gè)人內(nèi),由于 3D 姿勢(shì)、大小、位置、視角和照明環(huán)境,也會(huì)存在很多差異。盡管計(jì)算機(jī)視覺(jué)研究在解決這些問(wèn)題方面取得了長(zhǎng)足的進(jìn)步,但仍有許多可以改進(jìn)的領(lǐng)域。

目錄

介紹

先決條件

程序和編程

面部關(guān)鍵點(diǎn)檢測(cè)的有用應(yīng)用

介紹

利用卷積神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)技術(shù)進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè),對(duì)人臉的重要區(qū)域(如眼睛、嘴角和鼻子)進(jìn)行標(biāo)記,這些區(qū)域與各種任務(wù)(如人臉濾波、情感識(shí)別和姿勢(shì)識(shí)別)相關(guān)。

它需要預(yù)測(cè)特定面部的面部關(guān)鍵點(diǎn)坐標(biāo),例如鼻尖、眼睛中心等。為了識(shí)別面部關(guān)鍵點(diǎn),我們使用基于卷積神經(jīng)網(wǎng)絡(luò)的模型使用自動(dòng)編碼器。

卷積神經(jīng)網(wǎng)絡(luò) (CNN) 具有深層結(jié)構(gòu),允許它們提取高級(jí)信息并在識(shí)別每個(gè)重要點(diǎn)時(shí)提供更好的精度。卷積網(wǎng)絡(luò)旨在同時(shí)預(yù)測(cè)所有點(diǎn)。

先決條件

因?yàn)樯窠?jīng)網(wǎng)絡(luò)經(jīng)常需要標(biāo)準(zhǔn)化的圖片,所以它們應(yīng)該有一個(gè)恒定的大小,顏色范圍和坐標(biāo)的標(biāo)準(zhǔn)化范圍,并從 NumPy 列表和數(shù)組轉(zhuǎn)換為 Tensor 和 Keras(用于 PyTorch)。因此,需要進(jìn)行一些預(yù)處理。

程序和編程

我正在使用 Kaggle 數(shù)據(jù)集來(lái)訓(xùn)練模型,你可以通過(guò)運(yùn)行 API 命令下載它kaggle competitions download -c facial-keypoints-detection
導(dǎo)入 NumPy 和 pandas 庫(kù):import numpy as np # linear algebra
import pandas as pd # data processing
import os
for directoryname, _, filenames in os．walk('/kaggle/input'):
   for filename in filenames:
       print(os．path．join(directoryname, filename))
你寫(xiě)入當(dāng)前目錄的任何輸出都會(huì)被存儲(chǔ)。下一步是為訓(xùn)練和測(cè)試數(shù)據(jù)的每個(gè)文件設(shè)置路徑,train_zip_path = "．．/input/facial-keypoints-detection/training．zip"
test_zip_path = "．．/input/facial-keypoints-detection/test．zip"
id_lookup_table = "．．/input/facial-keypoints-detection/IdLookupTable．csv"
sample_Submission = "．．/input/facial-keypoints-detection/SampleSubmission．csv"
讓我們使用 zip 文件解壓 zip 文件,然后加載數(shù)據(jù)集。import zipfile
with zipfile．ZipFile(train_zip_path,'r') as zip_ref:
zip_ref．extractall('')
with zipfile．ZipFile(test_zip_path,'r') as zip_ref:
zip_ref．extractall('')
train_df = pd．read_csv('training．csv')
test_df = pd．read_csv('test．csv')
idLookupTable = pd．read_csv(id_lookup_table)
sampleSumission = pd．read_csv(sample_Submission)
加載數(shù)據(jù)集后,我們可以使用pandas的庫(kù)查看數(shù)據(jù)框,并列出數(shù)據(jù)集的頭部。train_df．info()

填充 Nan 值并分離和重塑輸入值(x_train) train_df．fillna(method='ffill',inplace=True)
在訓(xùn)練數(shù)據(jù)集中分離和重塑輸入值(x_train):使用圖像創(chuàng)建一個(gè)數(shù)組,keypoints:關(guān)鍵點(diǎn)將是我們數(shù)據(jù)集的一個(gè)樣本。我們的數(shù)據(jù)集將接受一個(gè)可選的參數(shù)轉(zhuǎn)換,允許我們對(duì)樣本執(zhí)行任何必要的處理。image_df = train_df['Image']
imageArr = []
for i in range(0,len(image_df)):
    img = image_df[i]．split()
    img = ['0' if x == '' else x for x in img]
    imageArr．a(chǎn)ppend(img)
x_train = np．a(chǎn)rray(imageArr,dtype='float')
x_train = x_train．reshape(-1,96,96,1)
print(x_train．shape)
創(chuàng)建一個(gè)以圖片為輸入輸出關(guān)鍵點(diǎn)的CNN:輸入圖片大小為224*224px(由transform決定),輸出類分?jǐn)?shù)為136,即136/2 = 68。(我們想要的68個(gè)關(guān)鍵點(diǎn))和分離目標(biāo)值keypoints_df = train_df．drop('Image',axis = 1)
y_train = np．a(chǎn)rray(keypoints_df,dtype='float')
print(y_train．shape)
def visualizeWithNoKeypoints(index):
   plt．imshow(x_train[index]．reshape(96,96),cmap='gray')
def visualizeWithKeypoints(index):
   plt．imshow(x_train[index]．reshape(96,96),cmap='gray')
   for i in range(1,31,2):
       plt．plot(y_train[0][i-1],y_train[0][i],'ro')
在我們編寫(xiě)了可視化函數(shù)之后,接下來(lái),我們可以使用函數(shù)調(diào)用來(lái)可視化每個(gè)圖像import matplotlib．pyplot as plt
fig = plt．figure(figsize=(8,4))
fig．subplots_adjust(left=0,right=1,bottom=0,top=1,hspace=0．05,wspace=0．05)
plt．subplot(1,2,1)
visualizeWithNoKeypoints(1)
plt．subplot(1,2,2)
visualizeWithKeypoints(1)

數(shù)據(jù)已經(jīng)預(yù)處理完畢�，F(xiàn)在是創(chuàng)建訓(xùn)練模型的時(shí)候了。為了創(chuàng)建我們的 CNN 模型,我們將使用 Keras 框架。from keras．models import Sequential, Model
from keras．layers import Activation, Convolution2D,MaxPooling2D,BatchNormalization, Flatten, Dense, Dropout
from keras．layers．a(chǎn)dvanced_activations import LeakyReLU
最初只從一兩個(gè) epoch 開(kāi)始,以快速評(píng)估你的模型是如何訓(xùn)練的,并確定你是否應(yīng)該改變其結(jié)構(gòu)或超參數(shù)。在訓(xùn)練時(shí)跟蹤模型的損失如何隨時(shí)間變化:它是否首先快速減少,然后減速?在訓(xùn)練多個(gè)時(shí)期并創(chuàng)建最終模型之前,使用這些初始觀察對(duì)模型進(jìn)行更改并決定最佳架構(gòu)。model = Sequential()
model．a(chǎn)dd(Convolution2D(32,(3,3),padding='same',use_bias=False, input_shape=(96,96,1)))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(32,(3,3),padding='same',use_bias = False))
model．a(chǎn)dd(LeakyReLU(alpha=0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2,2)))
model．a(chǎn)dd(Convolution2D(64,(3,3),padding='same',use_bias = False))
model．a(chǎn)dd(LeakyReLU(alpha=0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(64, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(96, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(96, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(128, (3,3),padding='same', use_bias=False))
# model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(128, (3,3),padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(256, (3,3),padding='same',use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(256, (3,3),padding='same',use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(512, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(512, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Flatten())
model．a(chǎn)dd(Dense(512,activation='relu'))
model．a(chǎn)dd(Dropout(0．1))
model．a(chǎn)dd(Dense(30))
model．summary()

下一步是配置模型:model．compile(optimizer='adam',loss='mean_squared_error',metrics=['mae','acc'])
model．fit(x_train,y_train,batch_size=256,epochs=45,validation_split=2．0)
示例輸出:

在整個(gè)訓(xùn)練數(shù)據(jù)集中執(zhí)行了總共 50 次迭代。我們已經(jīng)學(xué)會(huì)了如何簡(jiǎn)單地使用 CNN 來(lái)訓(xùn)練深度學(xué)習(xí)模型�，F(xiàn)在是時(shí)候使用我們的數(shù)據(jù)收集對(duì)模型進(jìn)行測(cè)試了。我們必須首先準(zhǔn)備我們的測(cè)試集。test_df．isnull()．a(chǎn)ny()
x 測(cè)試:分離和重塑輸入測(cè)試值image_df = test_df['Image']
keypoints_df = test_df．drop('Image',axis = 1)
imageArr = []
for i in range(0,len(image_df)):
   img = image_df[i]．split()
   img = ['0' if x=='' else x for x in img]
   imageArr．a(chǎn)ppend(img)
x_test = np．array(imageArr,dtype='float')
x_test = x_test．reshape(-1,96,96,1)
print(x_test．shape)
我們知道要在測(cè)試數(shù)據(jù)集中分離目標(biāo)值 (y_test)y_test = np．array(keypoints_df,dtype='float')
print(y_test．shape)
現(xiàn)在,是時(shí)候預(yù)測(cè)訓(xùn)練模型的結(jié)果了:pred = model．predict(x_test)
idLookupTable．head()

我們已經(jīng)學(xué)習(xí)了如何簡(jiǎn)單地使用 CNN 構(gòu)建深度學(xué)習(xí)面部關(guān)鍵點(diǎn)檢測(cè)模型。

面部關(guān)鍵點(diǎn)檢測(cè)的一些有用應(yīng)用該技術(shù)的適用性是多種多樣的。以下只是當(dāng)今企業(yè)界中一些更有趣的面部識(shí)別應(yīng)用。1) 使用 CNN 檢測(cè)面部關(guān)鍵點(diǎn)并在帶有面部過(guò)濾器的應(yīng)用程序中使用它們用有趣的東西覆蓋人臉照片的面部過(guò)濾器越來(lái)越受歡迎。它們通常出現(xiàn)在社交媒體平臺(tái)上。此過(guò)濾器應(yīng)用程序中使用了面部關(guān)鍵點(diǎn)(或“關(guān)鍵點(diǎn)”)檢測(cè)技術(shù)�？梢栽u(píng)估一個(gè)人的面部表情(以及情緒)的面部重要區(qū)域被稱為面部關(guān)鍵點(diǎn)。它們對(duì)于開(kāi)發(fā)實(shí)時(shí)應(yīng)用程序以檢測(cè)困倦、評(píng)估生物特征和讀取人們的情緒至關(guān)重要。

2) 虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí) (AR)幾個(gè)流行的智能手機(jī)應(yīng)用程序中使用了面部關(guān)鍵點(diǎn)識(shí)別。Instagram、Snapchat 和 LINE 上的面部過(guò)濾器就是一些眾所周知的例子。AR軟件可以通過(guò)識(shí)別用戶面部關(guān)鍵點(diǎn),實(shí)時(shí)將圖片濾鏡正確疊加在用戶面部上。

如果你是游戲或應(yīng)用程序設(shè)計(jì)師,如果用戶專注于將東西放置在靠近地板或桌子角落的地方,該算法的性能會(huì)好得多。由于這種架構(gòu),算法將始終在錨點(diǎn)附近發(fā)現(xiàn)足夠多的關(guān)鍵點(diǎn)。3)Snap pay(無(wú)現(xiàn)金支付)

盡管在大多數(shù)國(guó)家/地區(qū)尚無(wú)法使用,但目前中國(guó)的大量零售商已接受面部識(shí)別支付。SnapPay 還宣布于 2019 年 10 月 16 日在北美推出面部識(shí)別支付技術(shù)。所有新興國(guó)家都正在引入這種支付方式。4) 帶面鎖的防盜門(mén)安全門(mén)或門(mén)是該技術(shù)的另一個(gè)應(yīng)用。面部識(shí)別技術(shù)可用于允許或拒絕進(jìn)入你的公寓大樓、你公司的大堂,甚至火車(chē)站的檢票口。雖然這項(xiàng)技術(shù)在其他國(guó)家沒(méi)有廣泛使用。