關(guān)于人臉識(shí)別，這一篇齊活~

01 發(fā)展史

1. 人臉識(shí)別的理解

人臉識(shí)別(Face Recognition)是一種依據(jù)人的面部特征(如統(tǒng)計(jì)或幾何特征等)，自動(dòng)進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)，又稱為面像識(shí)別、人像識(shí)別、相貌識(shí)別、面孔識(shí)別、面部識(shí)別等。通常我們所說的人臉識(shí)別是基于光學(xué)人臉圖像的身份識(shí)別與驗(yàn)證的簡稱。

人臉識(shí)別利用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉圖像進(jìn)行一系列的相關(guān)應(yīng)用操作。技術(shù)上包括圖像采集、特征定位、身份的確認(rèn)和查找等等。簡單來說，就是從照片中提取人臉中的特征，比如眉毛高度、嘴角等等，再通過特征的對(duì)比輸出結(jié)果。

2. 人臉識(shí)別的發(fā)展簡史

第一階段（1950s—1980s）初級(jí)階段

人臉識(shí)別被當(dāng)作一個(gè)一般性的模式識(shí)別問題，主流技術(shù)基于人臉的幾何結(jié)構(gòu)特征。這集中體現(xiàn)在人們對(duì)于剪影（Profile）的研究上，人們對(duì)面部剪影曲線的結(jié)構(gòu)特征提取與分析方面進(jìn)行了大量研究。人工神經(jīng)網(wǎng)絡(luò)也一度曾經(jīng)被研究人員用于人臉識(shí)別問題中。較早從事 AFR 研究的研究人員除了布萊索（Bledsoe）外還有戈登斯泰因（Goldstein）、哈蒙（Harmon）以及金出武雄(Kanade Takeo)等?？傮w而言，這一階段是人臉識(shí)別研究的初級(jí)階段，非常重要的成果不是很多，也基本沒有獲得實(shí)際應(yīng)用。

第二階段（1990s）高潮階段

這一階段盡管時(shí)間相對(duì)短暫，但人臉識(shí)別卻發(fā)展迅速，不但出現(xiàn)了很多經(jīng)典的方法，例如Eigen Face, Fisher Face和彈性圖匹配；并出現(xiàn)了若干商業(yè)化運(yùn)作的人臉識(shí)別系統(tǒng)，比如最為著名的 Visionics（現(xiàn)為 Identix）的 FaceIt 系統(tǒng)。 從技術(shù)方案上看， 2D人臉圖像線性子空間判別分析、統(tǒng)計(jì)表觀模型、統(tǒng)計(jì)模式識(shí)別方法是這一階段內(nèi)的主流技術(shù)。

第三階段（1990s末~現(xiàn)在）

人臉識(shí)別的研究不斷深入，研究者開始關(guān)注面向真實(shí)條件的人臉識(shí)別問題，主要包括以下四個(gè)方面的研究：1）提出不同的人臉空間模型，包括以線性判別分析為代表的線性建模方法，以Kernel方法為代表的非線性建模方法和基于3D信息的3D人臉識(shí)別方法。2）深入分析和研究影響人臉識(shí)別的因素，包括光照不變?nèi)四樧R(shí)別、姿態(tài)不變?nèi)四樧R(shí)別和表情不變?nèi)四樧R(shí)別等。3）利用新的特征表示，包括局部描述子（Gabor Face, LBP Face等）和深度學(xué)習(xí)方法。4）利用新的數(shù)據(jù)源，例如基于視頻的人臉識(shí)別和基于素描、近紅外圖像的人臉識(shí)別。

02 市場(chǎng)研究

1. 全球人臉識(shí)別市場(chǎng)

前瞻根據(jù)人臉識(shí)別行業(yè)發(fā)展現(xiàn)狀；到2016年，全球生物識(shí)別市場(chǎng)規(guī)模在127.13億美元左右，其中人臉識(shí)別規(guī)模約26.53億美元，占比在20%左右。預(yù)計(jì)到2021年，全球人臉識(shí)別市場(chǎng)預(yù)計(jì)將達(dá)到63.7億美元，按預(yù)計(jì)期間的復(fù)合增長率達(dá)17.83％。

2. 中國人臉識(shí)別市場(chǎng)

前瞻根據(jù)人臉識(shí)別行業(yè)發(fā)展現(xiàn)狀，估算我國人臉識(shí)別市場(chǎng)規(guī)模約占全球市場(chǎng)的10%左右。2010-2016年，我國人臉識(shí)別市場(chǎng)規(guī)模逐年增長，年均復(fù)合增長率達(dá)27%。2016年，我國人臉識(shí)別行業(yè)市場(chǎng)規(guī)模約為17.25億元，同比增長27.97%，增速較上年上升4.64個(gè)百分點(diǎn)。

3. 國內(nèi)主要玩家分布

3.1 中國部分人臉識(shí)別公司（排名不分先后）

3.2 四大獨(dú)角獸介紹及對(duì)比細(xì)分領(lǐng)域

（1）曠視科技：

2014年，獲阿里巴巴旗下螞蟻金服投資，主攻金融和監(jiān)控兩大行業(yè)，有子公司曠視智安；團(tuán)隊(duì)成員除了幾名來自清華校友外，還有來自美國哥倫比亞大學(xué)、英國牛津大學(xué)和美國南加州大學(xué)的科研及開發(fā)人員，截至目前員工僅有100余人。

在金融、安防、零售領(lǐng)域分別開始了商業(yè)化探索成功發(fā)育出Face++Financial，F(xiàn)ace++Security，F(xiàn)ace++BI等垂直人臉驗(yàn)證解決方案，主要將人臉識(shí)別應(yīng)用在互聯(lián)網(wǎng)產(chǎn)品上，自己做研發(fā)，在美圖秀秀、淘寶等互聯(lián)網(wǎng)領(lǐng)域得到良好的應(yīng)用，在金融領(lǐng)域的市場(chǎng)一直占據(jù)沙發(fā)前排陣營；2016年獲得上億元C輪融資，最后選擇通過計(jì)算機(jī)視覺技術(shù)與NLP技術(shù)的結(jié)合，制造出能“識(shí)別萬物”的智能機(jī)器人，提供硬件模組，里面內(nèi)置他們家的算法。目前正在準(zhǔn)備啟動(dòng)IPO的步伐，VIE架構(gòu)讓他們得以繞過A股，不用達(dá)到連續(xù)三年盈利的標(biāo)準(zhǔn)實(shí)現(xiàn)快速上市。

（2）商湯科技：

SenseTime（商湯科技），獲IDG資本投資，主攻金融、移動(dòng)互聯(lián)網(wǎng)、安防監(jiān)控三大行業(yè)；由香港中文大學(xué)的湯曉歐創(chuàng)建，“商湯”中的湯指的就是湯曉歐本人，湯曉鷗及其研究團(tuán)隊(duì)所開發(fā)的DeepID算法率先將深度學(xué)習(xí)應(yīng)用到人臉識(shí)別上，在技術(shù)指標(biāo)上實(shí)現(xiàn)了新的突破。主要案例是圍繞各個(gè)美化軟件與直播平臺(tái)制作人臉貼圖，重點(diǎn)強(qiáng)化了人臉識(shí)別的關(guān)鍵點(diǎn)檢測(cè)及跟蹤技術(shù)。

團(tuán)隊(duì)有300多號(hào)，也從當(dāng)初toC轉(zhuǎn)向toB領(lǐng)域；成立于2014年的商湯科技選擇另辟蹊徑，選擇用“四大美女”這個(gè)話題讓人們?cè)陝?dòng)起來，到最后四大美女走了三個(gè)；商湯的網(wǎng)絡(luò)都是自己設(shè)計(jì)的，這樣對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的掌控力就會(huì)更強(qiáng)，提供SaaS服務(wù)的同時(shí)，可以通過SaaS把背后的數(shù)據(jù)拿到，再進(jìn)行更多更細(xì)致的分析再次提升服務(wù)質(zhì)量。

（3）云從科技：

2015年4月，周曦拿到戰(zhàn)略投資成立云從科技，同年針對(duì)金融和銀行業(yè)推出了40多種解決方案，包含從算法、產(chǎn)品、銷售、售后的全產(chǎn)業(yè)鏈打造，針對(duì)農(nóng)行、建行、交行、中行及多地公安提供定制化服務(wù)。團(tuán)隊(duì)成員除了來自中科大的校友外，還來自中國科學(xué)院各大研究所、UIUC、IBM、NEC、MicroSoft等全球頂尖學(xué)府及研究機(jī)構(gòu)。

截止2016年11月，成立一年半，研發(fā)團(tuán)隊(duì)擴(kuò)展為200余名，核心產(chǎn)品是人臉識(shí)別系統(tǒng)及IBIS集成生物識(shí)別平臺(tái)，還具備3D模型、紅外活體、靜默活體等技術(shù)，可根據(jù)場(chǎng)景需求自由調(diào)節(jié)。選擇連接硬件、開發(fā)與技術(shù)，屬于全產(chǎn)業(yè)鏈模式，因?yàn)槿四樧R(shí)別系統(tǒng)多數(shù)情況下需要深度定制，只有這樣，才能在客戶提出需求的情況下迅速反饋，修改，統(tǒng)一用戶體驗(yàn)。

（4）依圖科技：

2012 年九月，朱瓏與他的好友林晨曦在創(chuàng)立依圖科技，這家從事人工智能創(chuàng)新性研究的創(chuàng)企從圖像識(shí)別入手，首先與全國省市級(jí)公安系統(tǒng)合作，對(duì)車輛品牌、型號(hào)等進(jìn)行精準(zhǔn)識(shí)別，隨后擴(kuò)展到人像識(shí)別，通過靜態(tài)人像比對(duì)技術(shù)和動(dòng)態(tài)人像比對(duì)技術(shù)，協(xié)助公安系統(tǒng)進(jìn)行人員身份核查、追逃、監(jiān)控、關(guān)系挖掘等。

發(fā)展近6年，依圖科技的產(chǎn)品已經(jīng)應(yīng)用到全國二十多個(gè)省市地區(qū)的安防領(lǐng)域，安防領(lǐng)域之外，依圖也進(jìn)入智慧城市領(lǐng)域和健康醫(yī)療領(lǐng)域，它要協(xié)助政府構(gòu)建"城市大腦"，也希望將醫(yī)療領(lǐng)域的巨大知識(shí)鴻溝縮小，改善醫(yī)患體驗(yàn)。

（5）細(xì)分領(lǐng)域?qū)Ρ缺?/strong>

（6）主要客戶對(duì)比

4. 商業(yè)模式

4.1 人臉識(shí)別商業(yè)模式設(shè)計(jì)步驟

4.2 人臉識(shí)別盈利模式

03 人臉識(shí)別的流程及主要技術(shù)

1. 人臉識(shí)別系統(tǒng)組成

2. 人臉識(shí)別的一般流程

2.1 人臉采集

（1）簡介

不同的人臉圖像通過攝像鏡頭采集得到，比如靜態(tài)圖像、動(dòng)態(tài)圖像、不同的位置、不同表情等，當(dāng)采集對(duì)象在設(shè)備的拍攝范圍內(nèi)時(shí)，采集設(shè)備會(huì)自動(dòng)搜索并拍攝人臉圖像。

（2）人臉采集的主要影響因素

• 圖像大小：人臉圖像過小會(huì)影響識(shí)別效果，人臉圖像過大會(huì)影響識(shí)別速度。非專業(yè)人臉識(shí)別攝像頭常見規(guī)定的最小識(shí)別人臉像素為60*60或100*100以上。在規(guī)定的圖像大小內(nèi)，算法更容易提升準(zhǔn)確率和召回率。圖像大小反映在實(shí)際應(yīng)用場(chǎng)景就是人臉離攝像頭的距離。

• 圖像分辨率：越低的圖像分辨率越難識(shí)別。圖像大小綜合圖像分辨率，直接影響攝像頭識(shí)別距離。現(xiàn)4K攝像頭看清人臉的最遠(yuǎn)距離是10米，7K攝像頭是20米。

• 光照環(huán)境：過曝或過暗的光照環(huán)境都會(huì)影響人臉識(shí)別效果?？梢詮臄z像頭自帶的功能補(bǔ)光或?yàn)V光平衡光照影響，也可以利用算法模型優(yōu)化圖像光線。

• 模糊程度：實(shí)際場(chǎng)景主要著力解決運(yùn)動(dòng)模糊，人臉相對(duì)于攝像頭的移動(dòng)經(jīng)常會(huì)產(chǎn)生運(yùn)動(dòng)模糊。部分?jǐn)z像頭有抗模糊的功能，而在成本有限的情況下，考慮通過算法模型優(yōu)化此問題。

• 遮擋程度：五官無遮擋、臉部邊緣清晰的圖像為最佳。而在實(shí)際場(chǎng)景中，很多人臉都會(huì)被帽子、眼鏡、口罩等遮擋物遮擋，這部分?jǐn)?shù)據(jù)需要根據(jù)算法要求決定是否留用訓(xùn)練。

• 采集角度：人臉相對(duì)于攝像頭角度為正臉最佳。但實(shí)際場(chǎng)景中往往很難抓拍正臉。因此算法模型需訓(xùn)練包含左右側(cè)人臉、上下側(cè)人臉的數(shù)據(jù)。工業(yè)施工上攝像頭安置的角度，需滿足人臉與攝像頭構(gòu)成的角度在算法識(shí)別范圍內(nèi)的要求。

2.2 人臉檢測(cè)

（1）簡介

在圖像中準(zhǔn)確標(biāo)定出人臉的位置和大小，并把其中有用的信息挑出來（如直方圖特征、顏色特征、模板特征、結(jié)構(gòu)特征及Haar特征等），然后利用信息來達(dá)到人臉檢測(cè)的目的。

（2）人臉關(guān)鍵點(diǎn)檢測(cè)（人臉對(duì)齊）

自動(dòng)估計(jì)人臉圖片上臉部特征點(diǎn)的坐標(biāo)。

（3）主流方法

基于檢測(cè)出的特征采用Adaboost學(xué)習(xí)算法（一種用來分類的方法，它把一些比較弱的分類方法合在一起，組合出新的很強(qiáng)的分類方法）挑選出一些最能代表人臉的矩形特征（弱分類器），按照加權(quán)投票的方式將弱分類器構(gòu)造為一個(gè)強(qiáng)分類器，再將訓(xùn)練得到的若干強(qiáng)分類器串聯(lián)組成一個(gè)級(jí)聯(lián)結(jié)構(gòu)的層疊分類器，有效地提高分類器的檢測(cè)速度。

最近人臉檢測(cè)算法模型的流派包括三類及其之間的組合：viola-jones框架（性能一般速度尚可，適合移動(dòng)端、嵌入式上使用），dpm（速度較慢），cnn（性能不錯(cuò)）。

2.3 人臉圖像預(yù)處理

（1）簡介

基于人臉檢測(cè)結(jié)果，對(duì)圖像進(jìn)行處理并最終服務(wù)于特征提取的過程。

（2）原因

系統(tǒng)獲取的原始圖像由于受到各種條件的限制和隨機(jī)干擾，往往不能直接使用，必須在圖像處理 的早期階段對(duì)它進(jìn)行灰度矯正、噪聲過濾等圖像預(yù)處理。

（3）主要預(yù)處理過程

人臉對(duì)準(zhǔn)（得到人臉位置端正的圖像），人臉圖像的光線補(bǔ)償，灰度變換、直方圖均衡化、歸一 化（取得尺寸一致，灰度取值范圍相同的標(biāo)準(zhǔn)化人臉圖像），幾何校正、中值濾波（圖片的平滑操作以消除噪聲）以及銳化等。

2.4 人臉特征提取

（1）簡介

人臉識(shí)別系統(tǒng)可使用的特征通常分為視覺特征、像素統(tǒng)計(jì)特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。人臉特征提取就是針對(duì)人臉的某些特征進(jìn)行的，也稱人臉表征，它是對(duì)人臉進(jìn)行特征建模的過程

（2）人臉特征提取的方法

1. 基于知識(shí)的表征方法（主要包括基于幾何特征法和模板匹配法）：根據(jù)人臉器官的形狀描述以及它們之間的距離特性來獲得有助于人臉分類的特征數(shù)據(jù)，其特征分量通常包括特征點(diǎn)間的歐氏距離、曲率、和角度等。人臉由眼睛、鼻子、嘴、下巴等局部構(gòu)成，對(duì)這些局部和他們之間結(jié)構(gòu)關(guān)系的幾何描述，可作為識(shí)別人臉的重要特征，這些特征被稱為幾何特征。

2. 基于代數(shù)特征或統(tǒng)計(jì)學(xué)習(xí)的表征方法：基于代數(shù)特征方法的基本思想是將人臉在空域內(nèi)的高維描述轉(zhuǎn)化為頻域或者其他空間內(nèi)的低維描述，其表征方法為線性投影表征方法和非線性投影表征方法?；诰€性投影的方法主要有主成分分析法或稱K-L變化、獨(dú)立成分分析法和Fisher線性判別分析法。非線性特征提取方法有兩個(gè)重要的分支：基于核的特征提取技術(shù)和以流形學(xué)習(xí)為主導(dǎo)的特征提取技術(shù)。

2.5 匹配與識(shí)別

提取的人臉特征值數(shù)據(jù)與數(shù)據(jù)庫中存貯的特征模板進(jìn)行搜索匹配，通過設(shè)定一個(gè)閾值，將相似度與這一閾值進(jìn)行比較，來對(duì)人臉的身份信息進(jìn)行判斷。

3. 人臉識(shí)別的主要方法

3.1 Eigen Face（特征臉）

MIT實(shí)驗(yàn)室的特克（Turk）和潘特（Pentland）提出的“特征臉”方法無疑是這一時(shí)期內(nèi)最負(fù)盛名的 人臉識(shí)別方法。其后的很多人臉識(shí)別技術(shù)都或多或少與特征臉有關(guān)系，現(xiàn)在特征臉已經(jīng)與歸一化的協(xié)相關(guān) 量(Normalized Correlation)方法一道成為人臉識(shí)別的性能測(cè)試基準(zhǔn)算法。

人臉識(shí)別特征臉?biāo)惴ㄎ臋n：

https://blog.csdn.net/zizi7/article/details/52757300

3.2 Fisher Face（漁夫臉）

貝爾胡米爾（Belhumeur）等提出的 Fisherface 人臉識(shí)別方法是這一時(shí)期的另一重要成果。該方法 首先采用主成分分析（PCA）對(duì)圖像表觀特征進(jìn)行降維。在此基礎(chǔ)上，采用線性判別分析（LDA）的方法 變換降維后的主成分以期獲得“盡量大的類間散度和盡量小的類內(nèi)散度”。該方法目前仍然是主流的人臉 識(shí)別方法之一，產(chǎn)生了很多不同的變種，比如零空間法、子空間判別模型、增強(qiáng)判別模型、直接的LDA 判 別方法以及近期的一些基于核學(xué)習(xí)的改進(jìn)策略。

Fisher Face算法文檔：

https://blog.csdn.net/zizi7/article/details/52999432

3.3 EGM（彈性圖匹配）

其基本思想是用一個(gè)屬性圖來描述人臉：屬性圖的頂點(diǎn)代表面部關(guān)鍵特征點(diǎn)，其屬性為相應(yīng)特征點(diǎn)處 的多分辨率、多方向局部特征——Gabor變換12特征，稱為Jet；邊的屬性則為不同特征點(diǎn)之間的幾何 關(guān)系。對(duì)任意輸入人臉圖像，彈性圖匹配通過一種優(yōu)化搜索策略來定位預(yù)先定義的若干面部關(guān)鍵特征點(diǎn)， 同時(shí)提取它們的Jet特征，得到輸入圖像的屬性圖。最后通過計(jì)算其與已知人臉屬性圖的相似度來完成識(shí) 別過程。該方法的優(yōu)點(diǎn)是既保留了面部的全局結(jié)構(gòu)特征，也對(duì)人臉的關(guān)鍵局部特征進(jìn)行了建模。

彈性圖匹配算法文檔：

https://blog.csdn.net/real_myth/article/details/44828219

3.4 基于幾何特征的方法

幾何特征可以是眼、鼻、嘴等的形狀和它們之間的幾何關(guān)系（如相互之間的距離）。這些算法識(shí)別速 度快，需要的內(nèi)存小，但識(shí)別率較低。

3.5 基于神經(jīng)網(wǎng)絡(luò)的方法

神經(jīng)網(wǎng)絡(luò)的輸入可以是降低分辨率的人臉圖像、局部區(qū)域的自相關(guān)函數(shù)、局部紋理的二階矩等。這類方法同樣需要較多的樣本進(jìn)行訓(xùn)練，而在許多應(yīng)用中，樣本數(shù)量是很有限的。

3.6 基于線段Hausdorff 距離(LHD) 的方法

心理學(xué)的研究表明，人類在識(shí)別輪廓圖（比如漫畫）的速度和準(zhǔn)確度上絲毫不比識(shí)別灰度圖差。LHD是基于從人臉灰度圖像中提取出來的線段圖的，它定義的是兩個(gè)線段集之間的距離，與眾不同的是，LHD并不建立不同線段集之間線段的一一對(duì)應(yīng)關(guān)系，因此它更能適應(yīng)線段圖之間的微小變化。實(shí)驗(yàn)結(jié)果表明，LHD在不同光照條件下和不同姿態(tài)情況下都有非常出色的表現(xiàn)，但是它在大表情的情況下識(shí)別效果不好。

3.7 基于支持向量機(jī)(SVM) 的方法

近年來，支持向量機(jī)是統(tǒng)計(jì)模式識(shí)別領(lǐng)域的一個(gè)新的熱點(diǎn)，它試圖使得學(xué)習(xí)機(jī)在經(jīng)驗(yàn)風(fēng)險(xiǎn)和泛化能力上達(dá)到一種妥協(xié)，從而提高學(xué)習(xí)機(jī)的性能。支持向量機(jī)主要解決的是一個(gè)2分類問題，它的基本思想是試圖把一個(gè)低維的線性不可分的問題轉(zhuǎn)化成一個(gè)高維的線性可分的問題。通常的實(shí)驗(yàn)結(jié)果表明SVM有較好的識(shí)別率，但是它需要大量的訓(xùn)練樣本（每類300個(gè)），這在實(shí)際應(yīng)用中往往是不現(xiàn)實(shí)的。而且支持向量機(jī)訓(xùn)練時(shí)間長，方法實(shí)現(xiàn)復(fù)雜，該函數(shù)的取法沒有統(tǒng)一的理論。

4. 技術(shù)發(fā)展方向

1. 結(jié)合三維信息：二維和三維信息融合使特征更加魯棒

2. 多特征融合：單一特征難以應(yīng)對(duì)復(fù)雜的光照和姿態(tài)變化

3. 大規(guī)模人臉比對(duì)：面向海量數(shù)據(jù)的人臉比對(duì)與搜索

4. 深度學(xué)習(xí)：在大數(shù)據(jù)條件下充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力

5. 人臉識(shí)別數(shù)據(jù)庫

1. Yale人臉數(shù)據(jù)庫

2. ORL人臉數(shù)據(jù)庫

3. CMU PIE人臉數(shù)據(jù)庫

4. FERET人臉數(shù)據(jù)庫

5. MIT數(shù)據(jù)庫

6. BANCA人臉數(shù)據(jù)庫

7. CAS-PEAL人臉數(shù)據(jù)庫

8. JAFE表情數(shù)據(jù)庫

9. Cohn-Kanade表情數(shù)據(jù)庫

10. MMI表情數(shù)據(jù)庫

6. 技術(shù)指標(biāo)

6.1 人臉檢測(cè)中的關(guān)鍵指標(biāo)

例子：在攝像頭某張抓拍圖像中，一共有100張人臉，算法檢測(cè)出80張人臉，其中75張是真實(shí)人臉，5 張是把路標(biāo)誤識(shí)為人臉。

• 檢測(cè)率：識(shí)別正確的人臉/圖中所有的人臉。檢測(cè)率越高，代表檢測(cè)模型效果越好。

• 誤檢率：識(shí)別錯(cuò)誤的人臉/識(shí)別出來的人臉。誤檢率越低，代表檢測(cè)模型效果越好。

• 漏檢率：未識(shí)別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測(cè)模型效果越好。

• 速度：從采集圖像完成到人臉檢測(cè)完成的時(shí)間。時(shí)間約短，檢測(cè)模型效果越好。

在這個(gè)實(shí)際案例中：檢測(cè)率=75/100 誤檢率=5/80 漏檢率=（100-75）/100

6.2 人臉識(shí)別中的關(guān)鍵指標(biāo)

1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數(shù)量確很少，只有99/600。這樣很容易發(fā)生漏識(shí)的情況。

• 檢測(cè)率：識(shí)別正確的人臉/圖中所有的人臉。檢測(cè)率越高，代表檢測(cè)模型效果越好。

• 誤檢率：識(shí)別錯(cuò)誤的人臉/識(shí)別出來的人臉。誤檢率越低，代表檢測(cè)模型效果越好。

• 漏檢率：未識(shí)別出來的人臉/圖中所有的人臉。漏檢率越低，代表檢測(cè)模型效果越好。

• 速度：從采集圖像完成到人臉檢測(cè)完成的時(shí)間。時(shí)間約短，檢測(cè)模型效果越好。

在這個(gè)實(shí)際案例中：檢測(cè)率=75/100 誤檢率=5/80 漏檢率=（100-75）/100

6.3 人臉識(shí)別中的關(guān)鍵指標(biāo)

1000張樣本圖片里，共600張正樣本。相似度為0.9的圖片一共100張，其中正樣本為99張。雖然0.9閾值的正確率很高，為99/100；但是0.9閾值正確輸出的數(shù)量確很少，只有99/600。這樣很容易發(fā)生漏識(shí)的情況。

• 精確率（precision）：識(shí)別為正確的樣本數(shù)/識(shí)別出來的樣本數(shù)=99/100

• 召回率（recall）：識(shí)別為正確的樣本數(shù)/所有樣本中正確的數(shù)=99/600

• 錯(cuò)誤接受率/認(rèn)假率/誤識(shí)率（FARFalse Accept Rate）：

1. 定義：指將身份不同的兩張照片，判別為相同身份，越低越好

2. FAR = NFA / NIRA

3. 式中 NIRA 代表的是類間測(cè)試次數(shù)，既不同類別間的測(cè)試次數(shù)，打比方如果有1000個(gè)識(shí)別 模型，有1000個(gè)人要識(shí)別，而且每人只提供一個(gè)待識(shí)別的素材，那 NIRA=1000*(1000-1) 。NFA是錯(cuò)誤接受次數(shù)。

4. FAR決定了系統(tǒng)的安全性，F(xiàn)RR決定了系統(tǒng)的易用程度，在實(shí)際中，F(xiàn)AR對(duì)應(yīng)的風(fēng)險(xiǎn)遠(yuǎn)遠(yuǎn)高于FRR，因此，生物識(shí)別系統(tǒng)中，會(huì)將FAR設(shè)置為一個(gè)非常低的范圍，如萬分之一甚至百萬分之一，在FAR固定的條件下，F(xiàn)RR低于5%，這樣的系統(tǒng)才有實(shí)用價(jià)值。

• 錯(cuò)誤拒絕率/拒真率/拒識(shí)率（FRR False Reject Rate）：

1. 定義：指將身份相同的兩張照片，判別為不同身份，越低越好

2. FRR = NFR / NGRA

3. 上式中NFR是類內(nèi)測(cè)試次數(shù)，既同類別內(nèi)的測(cè)試次數(shù)，打比方如果有1000個(gè)識(shí)別模型， 有1000個(gè)人要識(shí)別， 而且每人只提供一個(gè)待識(shí)別的素 材，那 NIRA=1000，如果每個(gè)人提供N張圖片，那么 NIRA=N*1000 。NFR是錯(cuò)誤拒絕次數(shù)。

04 行業(yè)應(yīng)用

1. 人臉識(shí)別（FR）+其他行業(yè)

1.1 FR+金融

（1）實(shí)名認(rèn)證

金融機(jī)構(gòu)傳統(tǒng)上使用人工肉眼判斷、短信驗(yàn)證、綁定銀行卡等手段進(jìn)行實(shí)名認(rèn)證。這些傳統(tǒng)手段存在準(zhǔn)確率不高、客戶體驗(yàn)較差、成本高等問題，對(duì)金融企業(yè)業(yè)務(wù)發(fā)展造成了巨大的困擾。基于人臉識(shí)別的實(shí)名認(rèn)證方式具有準(zhǔn)確率高（一億人中才存在兩人長相相同）、客戶體驗(yàn)好（認(rèn)證速度快、客戶操作少）、成本低（相較于傳統(tǒng)認(rèn)證方式）的優(yōu)點(diǎn)，已被眾多領(lǐng)先金融企業(yè)所采用。

（2）人臉識(shí)別在銀行遠(yuǎn)程開戶上的應(yīng)用

在遠(yuǎn)程開戶時(shí)，金融機(jī)構(gòu)可以通過智能終端在線上進(jìn)行身份鑒權(quán)驗(yàn)證，使用人臉識(shí)別技術(shù)開戶可以極大提升業(yè)務(wù)辦理的安全性、時(shí)效性，并節(jié)省大量人力。

（3）刷臉取款

在這方面人臉取代了銀行卡，只需要人臉+密碼即可完成取款。在前兩個(gè)方面，人臉識(shí)別技術(shù)已經(jīng)被國內(nèi)各大銀行廣泛采用，刷臉取款方面，農(nóng)行和招行搶先一步在ATM上線了刷臉取款功能。

1.2 FR+醫(yī)療

（1）重點(diǎn)應(yīng)用

• 打擊涉醫(yī)犯罪，確保就診安全。建立有針對(duì)性的涉醫(yī)犯罪人員布控庫，與屬地公安部門配合，進(jìn)行實(shí)時(shí)布控。

• 管控職務(wù)犯罪，控制不當(dāng)競(jìng)爭。對(duì)進(jìn)入醫(yī)院診療區(qū)域的醫(yī)藥代表進(jìn)行管控，協(xié)助解決藥品流通領(lǐng)域經(jīng)營不規(guī)范、競(jìng)爭失序等問題。

• 杜絕職業(yè)醫(yī)鬧，保護(hù)人身安全。打擊頻繁出現(xiàn)的職業(yè)醫(yī)鬧，提高事件的響應(yīng)速度，從被動(dòng)響應(yīng)變?yōu)橹鲃?dòng)預(yù)防。

• 規(guī)范就診流程，和諧醫(yī)患關(guān)系。重點(diǎn)防范黃牛、醫(yī)托等干擾正常就診秩序的特殊人群。

• 加強(qiáng)監(jiān)管力度，維護(hù)醫(yī)?；?。實(shí)現(xiàn)就診病人與醫(yī)保信息庫中身份證照的比對(duì)，杜絕冒用醫(yī)?？ǖ默F(xiàn)象。

• 易肇事肇禍嚴(yán)重精神障礙患者管控。結(jié)合“雪亮工程”，確保嚴(yán)重精神障礙患者流入地、流出地發(fā)現(xiàn)管控到位。

（2）人臉識(shí)別在醫(yī)療行業(yè)的應(yīng)用突破基于三點(diǎn)

1. 獲取到目標(biāo)對(duì)象的信息：因?yàn)樾姓w系不同，醫(yī)療行業(yè)想獲取到目標(biāo)對(duì)象信息存在較大困難，需相關(guān)行政單位進(jìn)行關(guān)鍵的協(xié)調(diào)工作。目標(biāo)對(duì)象信息包含但不局限于：人臉照片、人像照片、人員基本信息、人員動(dòng)態(tài)等。

2. 人臉識(shí)別的算法進(jìn)一步提升：目前的人臉識(shí)別算法的精度已經(jīng)達(dá)到了相當(dāng)高的水準(zhǔn)，誤報(bào)、漏報(bào)均已控制在可接受范圍；更近一步的算法，可以從非結(jié)構(gòu)化的視頻/圖片中獲取更多的價(jià)值信息，從更多地維度來實(shí)現(xiàn)不同的應(yīng)用。

3. 管理者思維和水平的提升：人工智能、人臉識(shí)別是革命性顛覆性的技術(shù)，可以給醫(yī)療行業(yè)帶來巨大的提升。如何將人臉識(shí)別真正應(yīng)用到醫(yī)療行業(yè)的各方各面需要管理者與技術(shù)提供方一起拓展思維、共同努力。

（3）人臉識(shí)別在醫(yī)療行業(yè)的前景

1. 對(duì)接公安視頻監(jiān)控、醫(yī)警聯(lián)動(dòng)平臺(tái)：系統(tǒng)滿足公安現(xiàn)有標(biāo)準(zhǔn)要求，后續(xù)可與公安機(jī)關(guān)視頻監(jiān)控、醫(yī)警聯(lián)動(dòng)等平臺(tái)進(jìn)行無縫對(duì)接，將報(bào)警信息及關(guān)聯(lián)的視頻、圖片推送給轄區(qū)派出所，實(shí)現(xiàn)聯(lián)動(dòng)。

2. 人臉身份查證：輸入目標(biāo)人員照片，即可知道此人身份及其是否屬于重點(diǎn)管控人員，是否曾經(jīng)來過醫(yī)院，及其出現(xiàn)時(shí)間、頻次?？捎糜诤Y查可疑人員，找到其活動(dòng)規(guī)律。

3. 人員軌跡回放：輸入目標(biāo)人員照片，即可查詢此人是否來過醫(yī)院，到過哪些地方。此功能可還原特定人員的行動(dòng)軌跡，用于嫌疑人行為研判和事后取證。

4. 對(duì)接門禁系統(tǒng)：與門禁系統(tǒng)對(duì)接，預(yù)留刷臉開門、人臉考勤等高級(jí)功能，方便辦公區(qū)、手術(shù)室、藥品庫、住院部等區(qū)域的出入管理。

5. 對(duì)接刷卡系統(tǒng)：與二代證、醫(yī)?？ǖ人⒖ㄏ到y(tǒng)對(duì)接，將采集的人臉照片與證件上存儲(chǔ)的照片進(jìn)行比對(duì)，驗(yàn)證刷卡人的真實(shí)身份。

1.3 FR+新零售

（1）應(yīng)用人臉識(shí)別的優(yōu)勢(shì)

1. 為重點(diǎn)客戶畫像：幫助賣家獲得顧客和潛在顧客更精準(zhǔn)的信息，構(gòu)建用戶畫像?？梢园惭b在超市、商場(chǎng)、門店等入口，統(tǒng)計(jì)每天進(jìn)入門店的人數(shù)、大致年齡和性別等;另一種可以安裝在貨架上，分析客戶的關(guān)注點(diǎn)和消費(fèi)習(xí)慣等。通過大數(shù)據(jù)分析挖掘回頭客，提升客戶提袋率和VIP轉(zhuǎn)化率；

2. 為零售商降本增益：以智能化系統(tǒng)來代替人工，以人臉識(shí)別系統(tǒng)連接支付端來代替收銀員，能跟快實(shí)現(xiàn)零售店的導(dǎo)流和商品人流分析等。

3. 減少突發(fā)事件的產(chǎn)生：門店遇到商品失竊的突發(fā)事件，通過對(duì)所獲數(shù)據(jù)的分析，也可以將不良客戶拉入“黑名單”或是降低其信用水平。

4. 完美連接線上線下：識(shí)別系統(tǒng)獲得的用戶偏好還能反哺線上，將所得數(shù)據(jù)通過線上反饋給廠商，助力于廠商更全面地了解消費(fèi)者需求，進(jìn)而精準(zhǔn)地研發(fā)產(chǎn)品，設(shè)計(jì)營銷策略。這些都是完美實(shí)現(xiàn)新零售“打通線上線下”內(nèi)在要求的極佳方式。

（2）人臉識(shí)別的安全隱患

• 人臉特征容易被復(fù)制：眾所周知，破解密碼的最常用手段是復(fù)制，通過竊取數(shù)字密碼以及套取指紋來解密的案例己經(jīng)不勝枚舉。與記錄在大腦中或其他介質(zhì)上面的數(shù)字密碼相比，暴露在外面的人臉更容易被復(fù)制。通過拍照完全可以獲得一個(gè)人的臉部特征并進(jìn)行復(fù)制，利用整容技術(shù)或者用照片識(shí)別等欺詐的方法可以騙過人臉支付系統(tǒng)。

• 個(gè)人信息泄露問題：在科技發(fā)達(dá)的今天，人們似乎很輕易就可以通過無孔不入的渠道查到消費(fèi)者的各種信息。而對(duì)于刷臉支付來講，像人臉特征這種人體密碼一旦交給別人保管，個(gè)人信息的安全系數(shù)將如何確保？獲取用戶的面部特征是否會(huì)涉及到個(gè)人隱私？基于面部掃描系統(tǒng)的支付在普遍應(yīng)用之后會(huì)不會(huì)帶來基于位置服務(wù)造成的個(gè)人行蹤泄露？

1.4 FR+安防

（1）智慧城市的基礎(chǔ)

• 視頻分析：基于視頻中的人臉照片進(jìn)行遠(yuǎn)距離、快速、無接觸式的重點(diǎn)人員布控預(yù)警。讓應(yīng)用于車站、機(jī)場(chǎng)、地鐵等重點(diǎn)場(chǎng)所和大型商場(chǎng)超市等人群密集的公共場(chǎng)所視頻監(jiān)控系統(tǒng)能夠?qū)σ曨l圖像進(jìn)行采集、自動(dòng)分析、抓取人臉實(shí)時(shí)比對(duì)，主動(dòng)在監(jiān)控場(chǎng)景中識(shí)別重點(diǎn)關(guān)注人員，實(shí)現(xiàn)重點(diǎn)人員的布控和識(shí)別。

• 重要場(chǎng)所的布控：對(duì)機(jī)場(chǎng)、車站、港口、地鐵重點(diǎn)場(chǎng)所和大型商超等人群密集公共場(chǎng)所進(jìn)行布控，以達(dá)到對(duì)一些重點(diǎn)人員的排查，抓捕逃犯等目的。

• 靜態(tài)庫或身份庫的檢索：對(duì)常住人口、暫住人口的人臉圖片進(jìn)行預(yù)先建庫，通過輸入各種渠道采集的人臉圖片，能夠進(jìn)行比對(duì)和按照相似度排序，進(jìn)而獲悉輸入人員的身份或者其他關(guān)聯(lián)信息，此類應(yīng)用存在兩種擴(kuò)展形式，單一身份庫自動(dòng)批量比對(duì)并發(fā)現(xiàn)疑似的一個(gè)人員具有兩個(gè)或以上身份信息的靜態(tài)庫查重，兩個(gè)身份庫之間自動(dòng)交叉比對(duì)發(fā)現(xiàn)交集數(shù)據(jù)的靜態(tài)庫碰撞。

• 動(dòng)態(tài)庫或抓拍庫的檢索：對(duì)持續(xù)采集的各攝像頭點(diǎn)位的抓拍圖片建庫，通過輸入一張指定人員的人臉圖片，獲得其在指定時(shí)間范圍和指定攝像頭點(diǎn)位出現(xiàn)的所有抓拍記錄，方便快速瀏覽，當(dāng)攝像頭點(diǎn)位關(guān)聯(lián)GIS系統(tǒng)，則可以進(jìn)一步的按照時(shí)間順序排列檢索得到的抓拍記錄，并繪制到GIS上，得到人員運(yùn)動(dòng)的軌跡。

（2）反恐行動(dòng)的助力

現(xiàn)在新疆、西藏等城市都將人臉識(shí)別作為基礎(chǔ)設(shè)施建設(shè)領(lǐng)域的投資重點(diǎn)，由于人員復(fù)雜、居住人口相對(duì)混亂等因素，這些城市成為了恐怖襲擊等違法犯罪行為的高發(fā)場(chǎng)所。而人臉識(shí)別技術(shù)采用人臉檢測(cè)算法、人臉跟蹤算法、人臉質(zhì)量評(píng)分算法以及人臉識(shí)別算法。實(shí)現(xiàn)城市居住人員人臉的抓拍采集、建模存儲(chǔ)，實(shí)時(shí)黑名單比對(duì)報(bào)警和人臉后檢索等功能。能及時(shí)在危險(xiǎn)發(fā)生之前制止。

（3）兒童安全的保鏢

近年來兒童拐賣活動(dòng)越來越猖獗，為了更好的保護(hù)兒童安全，有些幼兒園、小學(xué)在門口已經(jīng)安裝上了面部識(shí)別系統(tǒng)。系統(tǒng)采用人臉識(shí)別加IC/ID卡(非接觸式智能卡) 雙重認(rèn)證：每一位幼兒在入學(xué)注冊(cè)時(shí)進(jìn)行相關(guān)登記：資料、面像、IC/ID卡號(hào)、接送者、接送者面像。

每次入園時(shí)刷卡進(jìn)行報(bào)道，放學(xué)時(shí)刷卡并進(jìn)行接送家長人臉認(rèn)證，如果認(rèn)證失敗拍照后即報(bào)警通知管理員，如果認(rèn)證成功即拍照放行。不論識(shí)別成功與否，系統(tǒng)都會(huì)記錄下被識(shí)別者圖像。每一次接送都有詳細(xì)的時(shí)間、接送人員的照片可供查詢。另外系統(tǒng)提供短信提示的擴(kuò)展功能，家長可在手機(jī)上看到人臉識(shí)別認(rèn)證時(shí)所拍的照片，從而監(jiān)控到接送這個(gè)過程，從其中一個(gè)重要源頭杜絕了兒童被拐的可能性。

（4）智慧酒店的管理

以前開房登記流程是：接待人員問詢——身份證掃描確認(rèn)——支付押金——選房層發(fā)房卡——打印紙質(zhì)票據(jù)，這些流程非常繁雜，尤其是身份認(rèn)證耗時(shí)最長，若遇到團(tuán)隊(duì)入住情況則更為復(fù)雜，身份證識(shí)別設(shè)備可能會(huì)因高頻使用出現(xiàn)故障，而急于進(jìn)房間休息的顧客卻只能在前臺(tái)等待手續(xù)完成，客戶體驗(yàn)非常糟糕。

人臉識(shí)別技術(shù)就能很好的解決這一難題，幫助酒店實(shí)現(xiàn)系統(tǒng)化業(yè)務(wù)管理和一站式共享解決方案。智慧酒店的安防系統(tǒng)利用人臉識(shí)別技術(shù)，當(dāng)顧客走到前臺(tái)時(shí)系統(tǒng)已經(jīng)自動(dòng)根據(jù)顧客被攝像頭捕捉到的影像調(diào)取顧客身份核對(duì)。整個(gè)驗(yàn)證核對(duì)過程簡單、快速且實(shí)現(xiàn)了自動(dòng)化，更大幅降低了人工識(shí)別造成的誤差。而且，針對(duì)酒店VIP客人，系統(tǒng)可實(shí)時(shí)對(duì)比酒店大堂的攝像頭影像和登記在酒店基礎(chǔ)系統(tǒng)中的VIP面部數(shù)據(jù)，當(dāng)VIP客人到達(dá)時(shí)，酒店可第一時(shí)間提供個(gè)性化周到服務(wù)，提高客戶的滿意度。

1.5 FR+公安

• 尋人尋親：對(duì)老百姓或其他業(yè)務(wù)部門提供的照片，直接送入系統(tǒng)進(jìn)行比對(duì)、檢索、篩選，最后人工確認(rèn)。

• 派出所擋獲違法人員：對(duì)派出所擋獲的人員，登記筆錄，對(duì)于其中一些少數(shù)民族、聾啞人或保持沉默者等無法查證身份的人員，可拍攝照片送入各種照片庫中比對(duì)，排查涉及大案要案人員，以免漏網(wǎng)；或查證其前科，累計(jì)處理。

• 查證無名尸源：需要查證無名尸源時(shí)，先拍攝正面照片，送入計(jì)算機(jī)，如果照片閉眼、破損或變形，可用人像合成系統(tǒng)或人工繪制一幅標(biāo)準(zhǔn)照，送入比對(duì)系統(tǒng)比對(duì)查證。

• 目擊者描述排查：獲得現(xiàn)場(chǎng)目擊者對(duì)嫌疑人的形象描述后，可用人像合成系統(tǒng)進(jìn)行排查。

• 視頻監(jiān)控照片：一般監(jiān)控系統(tǒng)針對(duì)場(chǎng)景，得到的涉案嫌疑人的圖像都有模糊、偏轉(zhuǎn)、逆?zhèn)裙獾荣|(zhì)量不佳問題，這時(shí)需要根據(jù)圖像用人像合成系統(tǒng)或人工繪制一幅標(biāo)準(zhǔn)照，送入照片比對(duì)系統(tǒng)比對(duì)查證。

• 公共場(chǎng)所集會(huì)：在政府、球場(chǎng)等公共場(chǎng)所，時(shí)常會(huì)有人員滋事，此時(shí)公安民警不便直接帶人處理，可以采用長焦攝像機(jī)拍攝特寫鏡頭，如果效果不夠好可以用人像合成系統(tǒng)修正，送入比對(duì)系統(tǒng)比對(duì)查證。

• 一代/二代居民身份證識(shí)別：根據(jù)犯罪人員的身份證照片信息，與系統(tǒng)照片庫中的信息資料進(jìn)行比對(duì)，提取出與證件上照片相似的人員信息，能充分利用現(xiàn)有的二代身份證照片資源，為公安部門的工作提供高效有利的幫助。

• 其他應(yīng)用：常住人口的比對(duì)查詢、暫住人口的比對(duì)查詢、重點(diǎn)人口的比對(duì)查詢、CCIC在逃人員的比對(duì)查詢等。

1.6 FR+商業(yè)場(chǎng)景

• 訪客登記：訪客到訪公司，于平板電腦進(jìn)行訪客信息登記，由攝像頭自動(dòng)抓取人臉，通過系統(tǒng)打印出 訪客貼紙；

• 識(shí)別迎賓：公司員工，貴賓進(jìn)入公司入口，攝像頭能識(shí)別到訪人員，實(shí)現(xiàn)門禁功能管理；

• 人臉識(shí)別考勤：通過入口處的前臺(tái)平板電腦進(jìn)行人臉識(shí)別考勤，也可通過手機(jī)端進(jìn)行人臉識(shí)別考；

• 智能生活：較多的園區(qū)、樓宇需要人臉門禁系統(tǒng)，人員進(jìn)出快速通行，便于管理住戶、訪客的進(jìn)出記 錄；

• 智慧教育：為嚴(yán)防替考事件的發(fā)生，確保考試安全，人臉識(shí)別可加強(qiáng)考試入場(chǎng)環(huán)節(jié)的考生身份認(rèn)證， 并有效實(shí)現(xiàn)智能視頻監(jiān)考、作弊防控等；

• 智慧商場(chǎng)：利用人臉識(shí)別技術(shù)追蹤并分析商場(chǎng)內(nèi)的人流屬性，人群分布等。

應(yīng)用模式典型具體應(yīng)用特點(diǎn)說明應(yīng)用領(lǐng)域：

2. FR的部分應(yīng)用

2.1 人臉檢測(cè)跟蹤

（1）應(yīng)用

商場(chǎng)客流跟蹤分析，地鐵、火車站、會(huì)場(chǎng)、機(jī)場(chǎng)等場(chǎng)所的可疑人員的跟蹤檢測(cè)，體育賽事的現(xiàn)場(chǎng)監(jiān)控等。

（2）難點(diǎn)

多人臉跟蹤、遠(yuǎn)場(chǎng)識(shí)別人臉、背景復(fù)雜、低質(zhì)量圖片人臉識(shí)別（算法預(yù)處理），還有側(cè)臉（3D重建人物全面），遮擋，模糊，表情變化、強(qiáng)弱光（多特征融合增強(qiáng)抗干擾力）等各種實(shí)際環(huán) 境。

（3）建議

遠(yuǎn)場(chǎng)識(shí)別（可依據(jù)距離識(shí)別）、背景復(fù)雜（可虛化無關(guān)場(chǎng)景，凸顯主角）。

2.2 人臉關(guān)鍵點(diǎn)定位

（1）應(yīng)用

可用于圖片的合成、動(dòng)態(tài)圖片的分析（直播行業(yè)鑒黃、鑒暴），通過關(guān)鍵點(diǎn)分析人臉表情情緒。

（2）難點(diǎn)

大角度側(cè)臉，表情變化、遮擋、模糊、明暗等，動(dòng)靜態(tài)關(guān)鍵點(diǎn)捕捉。

（3）建議

對(duì)模糊部位可進(jìn)行平滑處理，根據(jù)眼睛、嘴的特點(diǎn)建立不同的區(qū)域塊等。

2.3 人臉身份認(rèn)證

（1）應(yīng)用

關(guān)鍵性應(yīng)用（金融身份認(rèn)證、海關(guān)檢查、火車站和機(jī)場(chǎng)等進(jìn)站），非關(guān)鍵性應(yīng)用（智慧小區(qū)居民進(jìn)出、辦公大樓進(jìn)出、公司單位上班打卡等）

（2）難點(diǎn)

年輕時(shí)的證件照和本人識(shí)別匹配、戴眼鏡和未戴眼鏡、側(cè)臉和正臉、表情、背景干擾、整容后、雙胞胎及長相類似等。

（3）建議

可基于三維人像分析避免認(rèn)證時(shí)的假冒，動(dòng)作分析等。（曠視的難以區(qū)分蠟像、海報(bào)和真人）

2.4 人臉屬性（性別、年齡、種族、表情、飾品、胡須、面部動(dòng)作狀態(tài)）

（1）人臉表情識(shí)別（Face expression recognition 簡稱FER）

1. 普遍認(rèn)為人類主要有六種基本情感：憤怒（anger）、高興（happiness）、悲傷（sadness）、驚訝（surprise）、厭惡（disgust）、恐懼（fear）。而大多數(shù)表情識(shí)別是基于這六種情感及其拓展情緒實(shí)現(xiàn)的

2. 主要困難點(diǎn)是：

3. 表情的精細(xì)化程度劃分：每種情緒最微弱的表現(xiàn)是否需要被分類。分類的界限需要產(chǎn)品給出評(píng)估規(guī)則。

4. 表情類別的多樣化：是否還需要補(bǔ)充其他類別的情緒，六種情緒在一些場(chǎng)景下遠(yuǎn)不能變現(xiàn)人類的真實(shí) 情緒。因此除了基本表情識(shí)別外，還有精細(xì)表情識(shí)別、混合表情識(shí)別、非基本表情識(shí)別等細(xì)致領(lǐng)域的研究。

5. 缺少魯棒性

（2）人臉性別識(shí)別

性別分類是一個(gè)典型的二類問題，人臉性別分類問題需要解決的兩個(gè)關(guān)鍵問題是人臉特征提取和分類器的選擇。人臉性別識(shí)別其實(shí)僅能識(shí)別到人臉外貌更偏向于女性還是男性，很難對(duì)女生男相、男生女相進(jìn)行正確判斷。

（3）人臉年齡識(shí)別

• 難點(diǎn)：單人的不同年齡段識(shí)別和多人的不同年齡段識(shí)別，人臉年齡識(shí)別常和人臉識(shí)別進(jìn)行組合識(shí)別，能更正確的判斷在一定年限內(nèi)“是否是一個(gè)人”的問題；除了以上內(nèi)容，還有是否戴眼鏡、頭發(fā)長度、膚色等。

• 建議：識(shí)別年齡無變化的人臉用分類即可，而對(duì)年齡變化的人臉識(shí)別方法是通過年齡模擬，將測(cè)試圖像和查詢庫中的圖像變換到某一共同的年年齡，從而去除年齡不同的影響，使識(shí)別在年齡相同的人臉圖像進(jìn)行。

（4）人臉屬性的應(yīng)用

根據(jù)物理屬性（性別、年齡、種族、眼鏡顏值等）可用于廣告定向投放、個(gè)性化智能推薦、顧客分析、婚戀交友等；化學(xué)屬性（面部動(dòng)作、情緒等）可用于即時(shí)視頻社交、圖片合成、圖片美化等。

（5）識(shí)別建議

人臉屬性分析時(shí)，可利用K-近鄰算法匹配云端庫里的類似照片后再對(duì)相似屬性進(jìn)行分析。

2.5 人臉聚類

（1）應(yīng)用：個(gè)性化相冊(cè)管理、照片分享社交、婚戀交友相似臉型匹配推薦興趣社交等。

（2）難點(diǎn)：角度、光線、發(fā)型、相似臉型等干擾分類。

（3）建議：可基于一張正臉照片，將其他照片進(jìn)行依次比對(duì)分析后再分類等（智能相冊(cè)、婚戀社交）。

2.6 真人檢測(cè)

（1）應(yīng)用：銀行開戶驗(yàn)證、車站、機(jī)場(chǎng)、公司打卡等。

（2）難點(diǎn)：2D和3D的識(shí)別檢測(cè)、真人與蠟像、硅膠假冒人臉識(shí)別、照片和真人識(shí)別檢測(cè)驗(yàn)證等。

（3）建議：可基于三維人像分析避免認(rèn)證時(shí)的假冒等，動(dòng)態(tài)識(shí)別驗(yàn)證以區(qū)分假象（曠視的難以區(qū)分蠟像、海報(bào)和真人）。

2.7 人像美顏/美妝

（1）應(yīng)用：興趣社交、婚戀交友、圖像合成、個(gè)性化用品推薦和廣告投放等。

（2）難點(diǎn)：美顏與一般濾鏡效果的區(qū)別、美顏后的自然效果等。

（3）建議：基于數(shù)據(jù)集的算法更新迭代。

2.8 人體關(guān)鍵點(diǎn)（CPM、DeeperCut）

（1）應(yīng)用：關(guān)鍵動(dòng)作抓拍、人體姿態(tài)估計(jì)、舞蹈難度評(píng)定。

（2）難點(diǎn)：多目標(biāo)關(guān)鍵點(diǎn)定位、關(guān)鍵點(diǎn)遮擋、光線強(qiáng)弱等。

（3）建議：關(guān)鍵點(diǎn)遮擋（分塊處理、三維構(gòu)建找尋關(guān)鍵點(diǎn)）

3. FR的商業(yè)化

3.1 從時(shí)間上看商業(yè)化的不同階段

3.2 從業(yè)務(wù)場(chǎng)景上看

場(chǎng)景關(guān)鍵點(diǎn)：

• 盤子夠大，支撐公司發(fā)展

• 數(shù)據(jù)回流，為公司所用

• 高頻使用，需求占比高

• 可在行業(yè)中復(fù)制

3.3 垂直行業(yè)人臉解決方案（地產(chǎn)行業(yè)為例）

（1）地產(chǎn)行業(yè)分布

• 商業(yè)地產(chǎn)：辦公樓宇+園區(qū)廠區(qū)+商業(yè)零售+酒店

• 住宅地產(chǎn)：生活小區(qū)+公寓

（2）地產(chǎn)行業(yè)的市場(chǎng)規(guī)模

（3）演變方向及客戶痛點(diǎn)

1. 視頻監(jiān)控：傳統(tǒng)視頻監(jiān)控廠家正在進(jìn)行智能化轉(zhuǎn)型，從原先的“監(jiān)控”視頻，到現(xiàn)在的“讀懂”視頻當(dāng)中的人、 車、物、事；

2. 門禁控制：傳統(tǒng)門禁控制領(lǐng)域價(jià)值鏈低，所有廠家正在尋求新的方式來轉(zhuǎn)型，絕大部分都在生物識(shí)別方式上進(jìn)行 摸索；人臉識(shí)別面板機(jī)、閘機(jī)及其它通行道閘雨后春筍般出現(xiàn)；

3. 樓宇對(duì)講：普通樓宇對(duì)講功能已無法滿足使用要求，結(jié)合人臉識(shí)別功能的門禁系統(tǒng)需求越來越多；

4. 防盜告警：通過智能化手段，達(dá)到降本增效目的，已成為防盜告警、巡更檢查等功能的重點(diǎn)迭代方向；

5. 可視化系統(tǒng)：降低非專業(yè)人士的使用難度，使得多方數(shù)據(jù)為“我”所用，為多種決策提供依據(jù)；信息孤島問題亟待解決，萬物互聯(lián)已是所有廠家達(dá)成的共識(shí)。

6. 信息孤島問題（痛點(diǎn)）：

7. 智能化系統(tǒng)種類繁多，系統(tǒng)之間無法實(shí)現(xiàn)無縫連接，綜合管理難度大，效率低；

8. 智能化子系統(tǒng)數(shù)據(jù)采集離散，標(biāo)準(zhǔn)不一，數(shù)據(jù)價(jià)值大打折扣，無法為管理提供決策依據(jù)和幫助；

9. 各子系統(tǒng)依靠人工管理，人員配備要求高、勞動(dòng)強(qiáng)度大，人工成本居高不??；

10. 絕大多數(shù)B端客戶不懂具體業(yè)務(wù)或細(xì)節(jié)，需要具象化、可視化系統(tǒng)呈現(xiàn)。

（4）建設(shè)步驟及架構(gòu)

步驟：

第一步：人員通信管理

• 基于人員通行管理的平臺(tái)系統(tǒng)（功能性產(chǎn)品+后臺(tái)系統(tǒng)管理）

• 員工、VIP、訪客、陌生人、黑名單等人員權(quán)限管理；

第二步：傳感網(wǎng)絡(luò)融合

• CCTV、車輛等；

• 基于“人員”、“車”、“監(jiān)控”的三位一體智慧建筑場(chǎng)景應(yīng)用；

• 其他子系統(tǒng)模塊鏈接，形成整體傳感網(wǎng)絡(luò)，智能物聯(lián)；

第三步：商業(yè)地產(chǎn)+新零售

• 人員、車輛、CCTV三功能在工作+消費(fèi)場(chǎng)景融合；

• 構(gòu)建以人為核心的商業(yè)綜合體運(yùn)營方案。

整體IoT架構(gòu)：

（5）影響因素與優(yōu)化方案

• 決定監(jiān)控系統(tǒng)性能的幾個(gè)主要因素：

1. 模板庫的人數(shù)：不宜大，包含關(guān)鍵人物即可；

2. 經(jīng)過攝像頭的人數(shù)：同時(shí)出現(xiàn)在攝像頭的人數(shù)決定了單位時(shí)間里的比對(duì)次數(shù)；

3. 報(bào)警反饋時(shí)間：實(shí)時(shí)性越強(qiáng)，對(duì)系統(tǒng)性能要求越高；

4. 攝像頭采集幀數(shù)：幀數(shù)越高，人員經(jīng)過攝像頭前采集的次數(shù)越多，比對(duì)的次數(shù)也越多。

• 實(shí)戰(zhàn)中的優(yōu)化方案：

1. 使用更先進(jìn)的高清攝像頭（3-5百萬）；

2. 室內(nèi)均勻光線，或室外白天，無側(cè)光和折射光；

3. 人群面向同樣的方向，朝向相機(jī)的方向運(yùn)動(dòng)；

4. 恰當(dāng)?shù)谋O(jiān)控點(diǎn)，如走廊、巷子或安檢門/閘機(jī)口等（不要一群人同時(shí)出現(xiàn)）；

5. 相機(jī)與人臉的角度小于20度。

3.4 頂尖公司的應(yīng)用舉例

（1）Google：2011年07月 谷歌收購人臉識(shí)別軟件公司PittPatt

（2）Facebook：2012年6月 Facebook收購以色列臉部識(shí)別公司Face.com

（3） 微軟：2012年6月 微軟亞洲研究院發(fā)布人臉檢測(cè)算法，面部識(shí)別系統(tǒng)

（4）網(wǎng)易：2012年5月，網(wǎng)易人臉識(shí)別系統(tǒng)全國公測(cè)，用于郵箱登陸

（5）百度：2012年12月 百度推出人臉識(shí)別，基于圖像的全網(wǎng)人臉?biāo)阉?/p>

（6）阿里：2015年11月，在推出支付寶刷臉認(rèn)證付款

（7）騰訊：2012年下半年，成立優(yōu)圖項(xiàng)目組

05 人臉識(shí)別（FR）的產(chǎn)品落地

1. FR技術(shù)產(chǎn)品的優(yōu)勢(shì)

1.1 非接觸

人臉圖像的采集不同于指紋、掌紋需要接觸指掌紋專用采集設(shè)備，指掌紋的采集除了對(duì)設(shè)備有一定的磨損外，也不衛(wèi)生，容易引起被采集者的反感，而人臉圖像采集的設(shè)備是攝像頭，無須接觸。

1.2 非侵?jǐn)_

人臉照片的采集可使用攝像頭自動(dòng)拍照，無須工作人員干預(yù)，也無須被采集者配合，只需以正常狀態(tài)經(jīng)過攝像頭前即可。

1.3 友好

人臉是一個(gè)人出生之后暴露在外的生物特征，因此它的隱私性并不像指掌紋、虹膜那樣強(qiáng)，因此人臉的采集并不像指掌紋采集那樣難以讓人接受。

1.4 直觀

我們判斷一個(gè)人是誰，通過看這個(gè)人的臉就是最直觀的方式，不像指掌紋、虹膜等需要相關(guān)領(lǐng)域?qū)＜也趴梢耘袆e。

1.5 快速

從攝像頭監(jiān)控區(qū)域進(jìn)行人臉的采集是非?？焖俚?，因?yàn)樗姆歉深A(yù)性和非接觸性，讓人臉采集的時(shí)間大大縮短。

1.6 簡便

人臉采集前端設(shè)備——攝像頭隨處可見，它不是專用設(shè)備，因此簡單易操作。

1.7 可擴(kuò)展性好

它的采集端完全可以采用現(xiàn)有視頻監(jiān)控系統(tǒng)的攝像設(shè)備，后端應(yīng)用的擴(kuò)展性決定了人臉識(shí)別可以應(yīng)用在出入控制、黑名單監(jiān)控、人臉照片搜索等多領(lǐng)域。

2. FR三大識(shí)別場(chǎng)景

2.1 人臉確認(rèn)（1:1）

1. 簡介：將某人面像與指定人員面像進(jìn)行一對(duì)一的比對(duì)，根據(jù)其相似程度來判斷二者是否是同一人，相似 程度一般以能否超過某一量化閥值為依據(jù)。簡單的說就是A/B兩張照片比對(duì)，產(chǎn)生的計(jì)算數(shù)值是否達(dá)到要求。

2. 產(chǎn)品應(yīng)用：快速的人臉識(shí)別比對(duì)，移動(dòng)支付認(rèn)證、安全性身份核對(duì)、作為身份確認(rèn)的一種新方式，比如考生身份確認(rèn)、公司考勤確認(rèn)、各種證件照和本人確認(rèn)。

3. 實(shí)際問題：產(chǎn)品在系統(tǒng)設(shè)計(jì)的邏輯上，需要先考慮調(diào)取已儲(chǔ)存對(duì)象信息的先驗(yàn)條件。通過界面/語音的提示，使得待認(rèn)證者預(yù)先知道自己正處于被核對(duì)的過程中，且已預(yù)先了解擬核對(duì)對(duì)象的身份。

4. 比對(duì)來源的三種主要方式：

5. 用戶自傳照片，比如支付寶的人臉比對(duì)，用戶自傳的照片最大的問題是照片質(zhì)量的合格率太低，拍照的光線、角度等因素會(huì)導(dǎo)致采集源的質(zhì)量下降，不利于后期的大批量人臉特征碼管理。

6. 使用身份證讀卡器，讀取身份證上的照片，遺憾的是這張照片2K的大小，不過也是目前用最多的源照片提取方式，比較適合簽到場(chǎng)合。

7. 使用公安部旗下NCIIC的人臉比對(duì)接口（注意，不是網(wǎng)紋照片接口，這個(gè)接口已經(jīng)不對(duì)外），使用的是直接的人臉比對(duì)接口。

2.2 人臉辨認(rèn)（1:N）

（1）簡介

將某人面像與數(shù)據(jù)庫中的多人的人臉進(jìn)行比對(duì)，并根據(jù)比對(duì)結(jié)果來鑒定此人身份，或找到其中最相似的人臉，并按相似程度的大小輸出檢索結(jié)果。

（2）產(chǎn)品應(yīng)用

人臉開門、人臉檢索，排查犯罪嫌疑人、失蹤人口的全庫搜尋、一人多證的重復(fù)排查等。

（3）實(shí)際問題

• 走失兒童的項(xiàng)目中去： 這一類系統(tǒng)的部署需要兩個(gè)條件：A. BCD基本庫（比如1000萬人） B.強(qiáng)大的算法硬件

• 零售店中的刷臉支付長江，需要用戶預(yù)先輸入全手機(jī)號(hào)，確定用戶身份再進(jìn)行人臉識(shí)別，將原本為1:N的問題轉(zhuǎn)化為了1:1的問題。

（4）產(chǎn)品難點(diǎn)

a. 1:N中的N能夠支持多大

• 場(chǎng)景多樣化：從一個(gè)班級(jí)百號(hào)人刷臉簽到，到一個(gè)公司千號(hào)人的刷臉打卡，再到一個(gè)學(xué)校的幾萬人，一個(gè)四線城市幾十 萬人，一個(gè)一線城市的幾千萬人，難度是呈指數(shù)上升的。

• 公司實(shí)際情況：目前各家公司的成熟人臉識(shí)別應(yīng)用能夠支持幾萬到幾百萬人不等的應(yīng)用場(chǎng)景，而且還有一個(gè)錯(cuò)誤率的概念。比如，公司宣稱千萬分之一的錯(cuò)誤率的情況下（1/10000000），人臉通過率其實(shí)只有93%，這是因?yàn)楹茈y做到一定不發(fā)生錯(cuò)誤，而且每個(gè)人都能識(shí)別通過。（假如一家公司說自己能做到億分之一的錯(cuò)誤率，通過率能做到98%以上，多半是虛假宣傳，在實(shí)際使用中是很難達(dá)到的）

b. 非配合場(chǎng)景

• 在配合場(chǎng)景下：比如ATM機(jī)刷臉取款，用戶會(huì)自主配合，將人臉以一個(gè)理想的角度通過識(shí)別。

• 而在非配合應(yīng)用場(chǎng)景下，比如監(jiān)控視頻下的人臉識(shí)別，追蹤違法犯罪分子的身份信息，情況就要困難得多。這種情況下，用戶臉部會(huì)發(fā)生角度偏大，遮擋，光線不可控等問題。

c. 跨人種，跨年齡識(shí)別問題

• 研究發(fā)現(xiàn)，在一個(gè)數(shù)據(jù)集上訓(xùn)練好的模型，想到遷移到另外一個(gè)人種上，效果會(huì)出現(xiàn)較大程度的下降。另 外，人臉隨著年齡的變化帶來的改變也給人臉識(shí)別帶來不小的挑戰(zhàn)。

• 要改善這樣的問題，一個(gè)必要條件是需要建立一個(gè)足夠完備的跨人種，跨年齡的人臉數(shù)據(jù)庫；在國內(nèi)的話，是 以漢族人為主，同時(shí)跨年齡的人臉數(shù)據(jù)庫也比較難收集，需要不短的時(shí)間跨度。

d. 產(chǎn)品體驗(yàn)

• 近來備受關(guān)注的刷臉支付，很多時(shí)候都會(huì)要求用戶輸入全手機(jī)號(hào)，或手機(jī)號(hào)后四位，以縮小用戶搜索庫大 小，實(shí)際上這是比較影響體驗(yàn)的。

• 西安一高校晨讀刷臉簽到，由于系統(tǒng)實(shí)際響應(yīng)匹配時(shí)間過長，導(dǎo)致學(xué)生排百米長隊(duì)。

2.3 多人臉檢索（N:N）

（1）簡介

1：N同時(shí)作業(yè)就是N:N了，同時(shí)相應(yīng)多張照片檢索需求。

（2）實(shí)際產(chǎn)品問題中

• 在視頻級(jí)N:N的校驗(yàn)中，如果要提高通過率，很多時(shí)候是采取降低準(zhǔn)確率的方式，降低算法隊(duì)列數(shù)量；同樣在一些比賽中為了降低誤識(shí)率，大大提高了準(zhǔn)確率，所以算法在校驗(yàn)的過程中必須遵循至少一個(gè)固定標(biāo)準(zhǔn)，追求的是速度效率還是最高準(zhǔn)確率。

• 視頻流的幀處理所用，對(duì)服務(wù)器的計(jì)算環(huán)境要求嚴(yán)苛，目前的算法系統(tǒng)所支撐的輸出率非常有限。

主要的限制如下：

海量的人臉照片解析需要大量運(yùn)算（目前很少看到在采集端直接解析的，都是照片剪裁）海量的人臉照片傳輸需要大量的帶寬（常見的720布控?cái)z像頭抓取最小的人臉照片為20K）海量的人臉照片在后臺(tái)檢索需要耗費(fèi)大量的運(yùn)算（國內(nèi)主流主機(jī)為例，最多到24路攝像頭）。

3. 產(chǎn)品實(shí)戰(zhàn)中的物理問題

3.1 光照問題

（1）簡介

光照問題是機(jī)器視覺重的老問題，在人臉識(shí)別中的表現(xiàn)尤為明顯。由于人臉的3D結(jié)構(gòu)，光照投射出的陰影，會(huì)加強(qiáng)或減弱原有的人臉特征。

（2）解決思路

A、對(duì)其進(jìn)行包括光照強(qiáng)度和方向、人臉反射屬性的量化，面部陰影和照度分析等，嘗試建立數(shù)學(xué)模型，以利用這些光照模型，在人臉圖像預(yù)處理或者歸一化階段盡可能的補(bǔ)償乃至消除其對(duì)識(shí)別性能的影響，將固有的人臉屬性（反射率屬性、3D表面形狀屬性）和光源、遮擋及高光等非人臉固有屬性分離開來。

B、基于光照子空間模型的任意光照?qǐng)D像生成算法，用于生成多個(gè)不同光照條件的訓(xùn)練樣本，然后利用具有良好的學(xué)習(xí)能力的人臉識(shí)別算法，如子空間法，SVM等方法進(jìn)行識(shí)別。

3.2 人臉姿態(tài)問題

（1）簡介

與光照問題類似，姿態(tài)問題也是目前人臉識(shí)別研究中需要解決的一個(gè)技術(shù)難點(diǎn)。姿態(tài)問題涉及頭部在三維垂直坐標(biāo)系中繞三個(gè)軸的旋轉(zhuǎn)造成的面部變化，其中垂直于圖像平面的兩個(gè)方向的深度旋轉(zhuǎn)會(huì)造成面部信息的部分缺失。針對(duì)姿態(tài)的研究相對(duì)比較的少，目前多數(shù)的人臉識(shí)別算法主要針列正面、準(zhǔn)正而人臉圖像，當(dāng)發(fā)生俯仰或者左右側(cè)而比較厲害的情況下，人臉識(shí)別算法的識(shí)別率也將會(huì)急劇下降。面部幅度較大的哭、笑、憤怒等表情變化同樣影像著面部識(shí)別的準(zhǔn)確率。

（2）解決思路

• 第一種思路：是學(xué)習(xí)并記憶多種姿態(tài)特征，這對(duì)于多姿態(tài)人臉數(shù)據(jù)可以容易獲取的情況比較實(shí)用，其優(yōu)點(diǎn)是算法與正面人臉識(shí)別統(tǒng)一，不需要額外的技術(shù)支持，其缺點(diǎn)是存儲(chǔ)需求大，姿態(tài)泛化能力不能確定，不能用于基于單張照片的人臉識(shí)別算法中等。

• 第二種思路：是基于單張視圖生成多角度視圖，可以在只能獲取用戶單張照片的情況下合成該用戶的多個(gè)學(xué)習(xí)樣本，可以解決訓(xùn)練樣本較少的情況下的多姿態(tài)人臉識(shí)別問題，從而改善識(shí)別性能。

• 第三種思路：是基于姿態(tài)不變特征的方法，即尋求那些不隨姿態(tài)的變化而變化的特征。中科院計(jì)算所的思路是采用基于統(tǒng)計(jì)的視覺模型，將輸入姿態(tài)圖像校正為正面圖像，從而可以在統(tǒng)一的姿態(tài)空間內(nèi)作特征的提取和匹配。

3.3 遮擋問題

對(duì)于非配合情況下的人臉圖像采集，遮擋問題是一個(gè)非常嚴(yán)重的問題。特別是在監(jiān)控環(huán)境下，往往彼監(jiān)控對(duì)象都會(huì)帶著眼鏡，帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了后面的特征提取與識(shí)別，甚至?xí)?dǎo)致人臉檢測(cè)算法的失效。

3.4 年齡變化

隨著年齡的變化，面部外觀也在變化，特別是對(duì)于青少年，這種變化更加的明顯。對(duì)于不同的年齡段，人臉識(shí)別算法的識(shí)別率也不同。一個(gè)人從少年變成青年，變成老年，他的容貌可能會(huì)發(fā)生比較大的變化，從而導(dǎo)致識(shí)別率的下降。對(duì)于不同的年齡段，人臉識(shí)別算法的識(shí)別率也不同。

3.5 人臉相似性

不同個(gè)體之間的區(qū)別不大，所有的人臉的結(jié)構(gòu)都相似，甚至人臉器官的結(jié)構(gòu)外形都很相似。這樣的特點(diǎn)對(duì)于利用人臉進(jìn)行定位是有利的，但是對(duì)于利用人臉區(qū)分人類個(gè)體是不利的。

3.6 圖像質(zhì)量

人臉圖像的來源可能多種多樣，由于采集設(shè)備的不同，得到的人臉圖像質(zhì)量也不一樣，特別是對(duì)于那些低分辨率、噪聲大、質(zhì)量差的人臉圖像(如手機(jī)攝像頭拍攝的人臉圖片、遠(yuǎn)程監(jiān)控拍攝的圖片等)如何進(jìn)行有效地人臉識(shí)別是個(gè)需要關(guān)注的問題。同樣的，對(duì)于高分辨圖像對(duì)人臉識(shí)別算法的影響也需要進(jìn)一步的研究。

3.7 樣本缺乏

基于統(tǒng)計(jì)學(xué)習(xí)的人臉識(shí)別算法是目前人臉識(shí)別領(lǐng)域中的主流算法，但是統(tǒng)計(jì)學(xué)習(xí)方法需要大量的訓(xùn)練。由于人臉圖像在高維空間中的分布是一個(gè)不規(guī)則的流形分布，能得到的樣本只是對(duì)人臉圖像空間中的一個(gè)極小部分的采樣，如何解決小樣本下的統(tǒng)計(jì)學(xué)習(xí)問題有待進(jìn)一步的研究。

3.8 海量數(shù)據(jù)

傳統(tǒng)人臉識(shí)別方法如PCA、LDA等在小規(guī)模數(shù)據(jù)中可以很容易進(jìn)行訓(xùn)練學(xué)習(xí)。但是對(duì)于海量數(shù)據(jù)，這些方法其訓(xùn)練過程難以進(jìn)行，甚至有可能崩潰。

3.9 大規(guī)模人臉識(shí)別

隨著人臉數(shù)據(jù)庫規(guī)模的增長，人臉?biāo)惴ǖ男阅軐⒊尸F(xiàn)下降。

3.10 動(dòng)態(tài)識(shí)別

非配合性人臉識(shí)別的情況下，運(yùn)動(dòng)導(dǎo)致面部圖像模糊或攝像頭對(duì)焦不正確都會(huì)嚴(yán)重影響面部識(shí)別的成功率。在地鐵、高速公路卡口、車站卡口、超市反扒、邊檢等安保和監(jiān)控識(shí)別的使用中，這種困難明顯突出。

3.11 人臉防偽

偽造人臉圖像進(jìn)行識(shí)別的主流欺騙手段是建立一個(gè)三維模型，或者是一些表情的嫁接。隨著人臉防偽技術(shù)的完善、3D面部識(shí)別技術(shù)、攝像頭等智能計(jì)算視覺技術(shù)的引入，偽造面部圖像進(jìn)行識(shí)別的成功率會(huì)大大降低。

3.12 丟幀和丟臉問題

需要的網(wǎng)絡(luò)識(shí)別和系統(tǒng)的計(jì)算機(jī)識(shí)別可能會(huì)造成視頻的丟幀和丟臉現(xiàn)象，特別是監(jiān)控人流量大的區(qū)域，由于網(wǎng)絡(luò)傳輸?shù)膸拞栴}和計(jì)算能力問題，常常引起丟幀和丟臉問題。

3.13 攝像機(jī)的頭像問題

攝像機(jī)很多技術(shù)參數(shù)影響視頻圖像的質(zhì)量，這些因素有感光器（CCD、CMOS）、感光器的大小、DSP的處理速度、內(nèi)置圖像處理芯片和鏡頭等，同時(shí)攝像機(jī)內(nèi)置的一些設(shè)置參數(shù)也將影響質(zhì)量，如曝光時(shí)間、光圈、動(dòng)態(tài)白平衡等參數(shù)。

4. 實(shí)戰(zhàn)中的數(shù)據(jù)標(biāo)注

4.1 數(shù)據(jù)標(biāo)注

（1）一般來說，數(shù)據(jù)標(biāo)注部分可以有三個(gè)角色

1. 標(biāo)注員：標(biāo)注員負(fù)責(zé)標(biāo)記數(shù)據(jù)。

2. 審核員：審核員負(fù)責(zé)審核被標(biāo)記數(shù)據(jù)的質(zhì)量。

3. 管理員：管理人員、發(fā)放任務(wù)、統(tǒng)計(jì)工資。

只有在數(shù)據(jù)被審核員審核通過后，這批數(shù)據(jù)才能夠被算法同事利用。

（2）數(shù)據(jù)標(biāo)記流程

1. 任務(wù)分配：假設(shè)標(biāo)注員每次標(biāo)記的數(shù)據(jù)為一次任務(wù)，則每次任務(wù)可由管理員分批發(fā)放記錄，也可將整個(gè)流程做成“搶單式”的，由后臺(tái)直接分發(fā)。

2. 標(biāo)記程序設(shè)計(jì)：需要考慮到如何提升效率，比如快捷鍵的設(shè)置、邊標(biāo)記及邊存等等功能都有利于提高標(biāo)記效率。

3. 進(jìn)度跟蹤：程序?qū)?biāo)注員、審核員的工作分別進(jìn)行跟蹤，可利用“規(guī)定截止日期”的方式淘汰怠惰的人。

4. 質(zhì)量跟蹤：通過計(jì)算標(biāo)注人員的標(biāo)注正確率和被審核通過率，對(duì)人員標(biāo)注質(zhì)量進(jìn)行跟蹤，可利用“末位淘汰”制提高標(biāo)注人員質(zhì)量。

4.2 模型訓(xùn)練

數(shù)據(jù)標(biāo)記完成后，交由算法同學(xué)進(jìn)行模型的訓(xùn)練，期間發(fā)現(xiàn)的問題可與產(chǎn)品一起商討。訓(xùn)練過程中，最好能可視化一些中間結(jié)果。一來可以檢測(cè)代碼實(shí)現(xiàn)是否有Bug，二來也可以通過這些中間結(jié)果，來幫助自己更好的理解這個(gè)算法的過程。

4.3 模型測(cè)試

測(cè)試同事（一般來說算法同事也會(huì)直接負(fù)責(zé)模型測(cè)試）將未被訓(xùn)練過的數(shù)據(jù)在新的模型下做測(cè)試。

如果沒有后臺(tái)設(shè)計(jì)，測(cè)試結(jié)果只能由人工抽樣計(jì)算，抽樣計(jì)算繁瑣且效率較低。模型的效果，需要在精確率（識(shí)別為正確的樣本數(shù)/識(shí)別出來的樣本數(shù)）和召回率（識(shí)別為正確的樣本數(shù)/所有樣本中正確的數(shù)）中達(dá)到某一個(gè)平衡。

測(cè)試同事需要關(guān)注特定領(lǐng)域內(nèi)每個(gè)類別的指標(biāo)，比如針對(duì)識(shí)別人臉的表情，里面有喜怒哀樂等分類，每一個(gè)分類對(duì)應(yīng)的指標(biāo)都是不一樣的。測(cè)試同事需要將測(cè)試的結(jié)果完善地反饋給算法同事，算法同事才能找準(zhǔn)模型效果欠缺的原因。同時(shí)，測(cè)試同事將本次模型的指標(biāo)結(jié)果反饋給產(chǎn)品，由產(chǎn)品評(píng)估是否滿足上線需求。

（1）測(cè)試環(huán)境說明

例如：

• CPU：Intel(R) Core(TM) i7-4790 CPU @ 3.60 GHz

• 內(nèi)存：8GB

• 系統(tǒng)：Ubuntu 14.04 x86_64/Windows 7 SP1 64bit

• GCC版本：4.8.2

（2）測(cè)試集和測(cè)試需求說明

比如“圖片包含人臉大小應(yīng)超過96*96像素，測(cè)試結(jié)果達(dá)到XX程度滿足需求。

• 經(jīng)典人臉身份識(shí)別測(cè)試集LFW，共包含13233 張圖片 5749 種不同身份；世界記錄99.7%。

• CK+ （一個(gè)人臉表情數(shù)據(jù)集），包含固定表情和自發(fā)表情，包含123個(gè)人的593個(gè)表情序列。每個(gè)序列的目標(biāo)表情被FACS編碼，同時(shí)添加了已驗(yàn)證的情感標(biāo)簽（生氣、厭惡、害怕、快樂、悲傷、驚訝）。

（3）需要說明“有效距離，左右角度，上下角度，速度”等參數(shù)值（范圍）

注：這和“部署的靈活性”相關(guān)——由于不同客戶不同場(chǎng)景的需求不同，所以技術(shù)方的人臉檢測(cè)模塊，一般可以通過調(diào)整參數(shù)得到N種亞型，以適應(yīng)不同應(yīng)用場(chǎng)景(光照、角度、有效距離、速度) 下對(duì)運(yùn)算量和有效檢測(cè)距離的需求。

（4）測(cè)試結(jié)果——欠擬合

• 定義：模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地?cái)M合數(shù)據(jù)

左圖表示size與prize關(guān)系的數(shù)據(jù)，中間的圖就是出現(xiàn)欠擬合的模型，不能夠很好地?cái)M合數(shù)據(jù)，如果在中間的圖的模型后面再加一個(gè)二次項(xiàng)，就可以很好地?cái)M合圖中的數(shù)據(jù)了，如右面的圖所示。

• 解決方法

1. 添加其他特征項(xiàng)，有時(shí)候我們模型出現(xiàn)欠擬合的時(shí)候是因?yàn)樘卣黜?xiàng)不夠?qū)е碌?，可以添加其他特征?xiàng)來很好地解決。例如，“組合”、“泛化”、“相關(guān)性”三類特征是特征添加的重要手段，無論在什么場(chǎng)景，都可以照葫蘆畫瓢，總會(huì)得到意想不到的效果。

2. 添加多項(xiàng)式特征，這個(gè)在機(jī)器學(xué)習(xí)算法里面用的很普遍，例如將線性模型通過添加二次項(xiàng)或者三次項(xiàng)使模型泛化能力更強(qiáng)。例如上面的圖片的例子。

3. 減少正則化參數(shù)，正則化的目的是用來防止過擬合的，但是現(xiàn)在模型出現(xiàn)了欠擬合，則需要減少正則化參數(shù)。

4. 嘗試非線性模型，比如核SVM 、決策樹、DNN等模型。

（5）測(cè)試結(jié)果——過擬合

• 定義：模型把數(shù)據(jù)學(xué)習(xí)的太徹底，以至于把噪聲數(shù)據(jù)的特征也學(xué)習(xí)到了，這樣就會(huì)導(dǎo)致在后期測(cè)試的時(shí)候不能夠很好地識(shí)別數(shù)據(jù)，即不能正確的分類，模型泛化能力太差。例如下面的例子。

上面左圖表示size和prize的關(guān)系，我們學(xué)習(xí)到的模型曲線如右圖所示，雖然在訓(xùn)練的時(shí)候模型可以很好地匹配數(shù)據(jù)，但是很顯然過度扭曲了曲線，不是真實(shí)的size與prize曲線。

• 解決方法

從產(chǎn)品角度：

1. 重新清洗數(shù)據(jù)，導(dǎo)致過擬合的一個(gè)原因也有可能是數(shù)據(jù)不純導(dǎo)致的，噪音太多影響到模型效果，如果出現(xiàn)了過擬合就需要我們重新清洗數(shù)據(jù)。

2. 增大數(shù)據(jù)的訓(xùn)練量，還有一個(gè)原因就是我們用于訓(xùn)練的數(shù)據(jù)量太小導(dǎo)致的，訓(xùn)練數(shù)據(jù)占總數(shù)據(jù)的比例過小。

從算法角度：

1. 交叉檢驗(yàn)，通過交叉檢驗(yàn)得到較優(yōu)的模型參數(shù);

2. 特征選擇，減少特征數(shù)或使用較少的特征組合，對(duì)于按區(qū)間離散化的特征，增大劃分的區(qū)間;

3. 正則化，常用的有 L1、L2 正則。而且 L1正則還可以自動(dòng)進(jìn)行特征選擇;

4. 如果有正則項(xiàng)則可以考慮增大正則項(xiàng)參數(shù) lambda;

5. 增加訓(xùn)練數(shù)據(jù)可以有限的避免過擬合;

6. Bagging ,將多個(gè)弱學(xué)習(xí)器Bagging 一下效果會(huì)好很多，比如隨機(jī)森林等.

4.5 標(biāo)注流程中遇到的問題

（1）項(xiàng)目過程中的不確定性

a. 出現(xiàn)原因：

一般情況下，只要數(shù)據(jù)標(biāo)注的規(guī)范清晰，對(duì)規(guī)則的界定從一而終，標(biāo)注工作的流程還是比較簡單的。

數(shù)據(jù)標(biāo)注規(guī)范可能會(huì)在測(cè)試后根據(jù)結(jié)果情況進(jìn)行調(diào)整，那么，規(guī)則修改前后“數(shù)據(jù)標(biāo)注的一致性”就出現(xiàn)了問題，會(huì)導(dǎo)致多次返工，在時(shí)間和人工成本上頗有影響。

b. 解決方法：

1. 1）如是分類性質(zhì)的解析工作，建議標(biāo)注規(guī)則先從非?？隙ǖ姆呛诩窗组_始；規(guī)則設(shè)定由簡到繁，帶有疑慮數(shù)據(jù)再另外作記號(hào)。隨著規(guī)則一步步深入，可能會(huì)出現(xiàn)交叉影響，此時(shí)就需要放棄一些低頻問題的規(guī)則，余下的未標(biāo)注的數(shù)據(jù)就根據(jù)新的規(guī)則標(biāo)注。

2. 2）如是多類規(guī)則同時(shí)進(jìn)行的標(biāo)注工作，需要把每類規(guī)則定得足夠細(xì)致。

3. 3）實(shí)例：

• 如詢問機(jī)器人會(huì)干什么的語料中出現(xiàn)，“你說你會(huì)干什么？”可以理解為詢問，也可能是嫌棄，這兩類應(yīng)對(duì)的策略不同，有歧義，所以不能把它歸納如詢問類，需要把它從訓(xùn)練集里剔除。

• 如人臉情緒識(shí)別中，一個(gè)人在流眼淚，有時(shí)可以理解為傷心落淚，有時(shí)可以理解為喜極而泣，還有時(shí)可以理解為激動(dòng)落淚，甚至是感動(dòng)落淚等，所以在看到此類照片時(shí)，不能簡單的憑借慣性化思維將其歸納到悲傷一類中，當(dāng)人眼都很難判別清楚時(shí)，需要把它從訓(xùn)練集里剔除。

5. 實(shí)際案例分析

5.1 某領(lǐng)域的人臉識(shí)別監(jiān)測(cè)與身份確認(rèn)

（1）案例問題

光照影響：過暗或過亮等非正常光照環(huán)境，會(huì)對(duì)模型的效果產(chǎn)生很大干擾。

（2）解決方案

a. 從產(chǎn)品角度控制

1. 在用戶可以更換環(huán)境的前提下（比如銀行刷臉取錢等），可語音/界面提示用戶目前環(huán)境不理想（頭歪、頭發(fā)、眼鏡等），建議進(jìn)行正確的正臉取照。

2. 在用戶不能控制更換環(huán)境的情況下（比如人臉識(shí)別、車輛識(shí)別等攝像頭固定的場(chǎng)景），只能通過調(diào)試硬件設(shè)施彌補(bǔ)這個(gè)問題。

3. 晚上：由于攝像頭在晚上會(huì)自動(dòng)切換到黑夜場(chǎng)景（從圖片上看就是從彩色切換為黑白），因此在晚上強(qiáng)光下（例如路燈照射）人臉就會(huì)過曝，這時(shí)，我們可以通過強(qiáng)制設(shè)置攝像頭環(huán)境為白天（圖像為彩色）來避免。而過暗的情況，從節(jié)省成本角度看，可以在攝像頭旁邊增加一個(gè)光線發(fā)散、功率不高的燈來彌補(bǔ)。當(dāng)然這兩個(gè)問題也可以通過購買高質(zhì)量的攝像頭解決，但這樣做也意味著更高的成本。

4. 白天：白天也會(huì)出現(xiàn)光線過亮的情況，這種情況可以考慮用濾光片等等。

b. 從算法角度控制

用算法將圖片進(jìn)行處理，可以將圖片恢復(fù)得讓人眼看清的程度。

5.2 某款人臉年齡識(shí)別產(chǎn)品

（1）案例問題

一款識(shí)別人臉年齡的產(chǎn)品對(duì)女性某個(gè)年齡階段（25—35）的判斷，誤差較大，經(jīng)過發(fā)現(xiàn)，是因?yàn)樵撃挲g階段有以下特點(diǎn)：

• 女性在這個(gè)年齡階段面貌變化不是很大，有時(shí)人眼給出的判斷誤差都很離譜。

• 在這個(gè)年齡層次的女性注重打扮，化妝品很大程度上掩蓋了其真實(shí)年齡，有時(shí)30多的跟20歲沒多大差別；C. 精裝打扮的和素顏的差別不是很大。

（2）解決方案

• 補(bǔ)充數(shù)據(jù)：針對(duì)該年齡層次的人臉圖片數(shù)據(jù)做補(bǔ)充。不僅補(bǔ)充正例（“XXX”應(yīng)為多少歲），還應(yīng)補(bǔ)充負(fù)例（“XXX”不應(yīng)為多少歲）。

• 優(yōu)化數(shù)據(jù)：修改大批以往的錯(cuò)誤標(biāo)注。

• 數(shù)據(jù)總結(jié)：對(duì)化妝和不化妝的人臉圖片進(jìn)行分析，以便調(diào)整算法參數(shù)。

（3）需求研究

• 自拍：如女性群體一般都希望自拍時(shí)，年齡的判別在心里預(yù)期中能越小越好，當(dāng)在和一群人自拍中可以適當(dāng)?shù)膶⒅魅斯哪挲g判別結(jié)果調(diào)低至達(dá)到用戶心理滿足感。此時(shí)可適當(dāng)降低算法的參照度。

• 婚戀交友：在婚戀網(wǎng)站交友過程中，雙方都希望知道彼此的真實(shí)年齡信息，此時(shí)運(yùn)用人臉年齡識(shí)別可以分析雙方的年齡、皮膚等物理信息為彼此提供參考。此時(shí)的信息就不能以達(dá)到心理滿足感為主了，應(yīng)當(dāng)追求準(zhǔn)確度。

5.3 某款A(yù)R美顏相機(jī)

（1）無法定位出人臉

在背景出現(xiàn)多人或?qū)櫸飼r(shí)，相機(jī)有時(shí)并未能精確定位出目標(biāo)用戶，而定位到背景圖片中的人、寵物、身旁的其他人；有時(shí)屏幕一片漆黑；有時(shí)顯示未檢測(cè)出人臉。

• 從產(chǎn)品角度：界面提醒用戶遠(yuǎn)離復(fù)雜背景，或美顏時(shí)最好屏幕中只出現(xiàn)一人，或給出方框圖讓用戶自己手動(dòng)選擇主要定位區(qū)域進(jìn)行AR美顏；屏幕一片漆黑時(shí)可提醒用戶是否是光線太暗，或是攝像頭被障礙物遮擋等；

• 從算法角度：可對(duì)人臉關(guān)鍵點(diǎn)進(jìn)行定位，計(jì)算目標(biāo)用戶與攝像頭的距離或計(jì)算人臉在頻幕的區(qū)域占比來確定目標(biāo)用戶（一般幾何距離近的、頻幕區(qū)域占比較大的為美顏目標(biāo)），結(jié)合活體檢測(cè)來排除背景圖片人物的干擾等。

（2）圖像模糊昏暗

光線太暗、運(yùn)動(dòng)、對(duì)焦等造成模糊（攝像頭距離因素，造成圖像低頻存在，高頻流失等）

• 從產(chǎn)品角度：可提醒用戶在光線較溫和的區(qū)域進(jìn)行美顏操作；或是擦除前置攝像頭的障礙物；或文字提示動(dòng)作太快；或是更換高清前置攝像頭；或提示對(duì)焦失敗，給與對(duì)焦框圖讓用戶手動(dòng)對(duì)焦等。

• 從算法角度：在美顏前可在后臺(tái)中調(diào)取手機(jī)亮度調(diào)節(jié)功能，用算法調(diào)節(jié)光線的亮暗程度以適應(yīng)美顏所需的物理?xiàng)l件；用算法設(shè)法補(bǔ)齊高頻部分從，而減少對(duì)照片的干擾。

（3）人臉關(guān)鍵動(dòng)作抓捕太慢

在進(jìn)行AR美顏搞怪時(shí)（如張嘴動(dòng)作，屏幕出現(xiàn)音符、唾沫星子等）對(duì)動(dòng)作抓捕太慢（半天才抓捕到張嘴動(dòng)作）。

• 從產(chǎn)品角度：文字提示不支持快速移動(dòng)或提示緩慢移動(dòng)（如，親！您的動(dòng)作太快了，奴家還未反應(yīng)過來等）

• 從算法角度：人臉姿態(tài)估計(jì)、關(guān)鍵點(diǎn)定位來捕捉人臉動(dòng)作。

（4）關(guān)鍵位置添加虛擬物品失?。ㄈ缭谧焐系馃?、耳朵吊耳環(huán)、眼鏡戴墨鏡、臉顯紅暈）

• 從產(chǎn)品角度：文字/圖片提醒用戶擺正人臉位置。

• 從算法角度：可利用算法對(duì)人臉關(guān)鍵區(qū)域進(jìn)行分割并定位，來達(dá)到人臉精準(zhǔn)定位添加虛擬物品

5.4 人臉開門和人臉檢索

（1）人臉開門等跨網(wǎng)方案需要關(guān)注的因素

• 遠(yuǎn)程算法更新：遠(yuǎn)程算法更新必然會(huì)造成本地局域網(wǎng)功能暫時(shí)性無法使用。因此遠(yuǎn)程算法更新的頻率、時(shí)間、更新效果都需要產(chǎn)品在更新前精確評(píng)估。

• 增刪改人臉數(shù)據(jù)與本地?cái)?shù)據(jù)的同步：本地局域網(wǎng)和互聯(lián)網(wǎng)是無法直接交互的，因此用戶在互聯(lián)網(wǎng)一旦對(duì)人臉數(shù)據(jù)庫進(jìn)行增刪改的操作，下發(fā)程序的穩(wěn)定性和及時(shí)性都需要重點(diǎn)關(guān)注。

• 硬件環(huán)境：本地存儲(chǔ)空間的大小和GPU直接影響到本地識(shí)別的速度。服務(wù)器的穩(wěn)定性影響到功能地正常使用。

• 守護(hù)程序：斷電等外置情況意外情況發(fā)生又被處理完善后，程序能自動(dòng)恢復(fù)正常。

（2）人臉檢索等某一局域網(wǎng)方案需要關(guān)注的因素

• 速度：除了算法識(shí)別需要消耗一定時(shí)間外，該局域網(wǎng)下的網(wǎng)速會(huì)影響到識(shí)別結(jié)果輸出的速度。

• 數(shù)據(jù)庫架構(gòu)：通過檢索結(jié)果關(guān)聯(lián)結(jié)構(gòu)化數(shù)據(jù)。

• 閾值的可配置性：在界面設(shè)置閾值功能，從產(chǎn)品層面輸入閾值后，改變相對(duì)應(yīng)的結(jié)果輸出。

• 輸出結(jié)果排序：根據(jù)相似度排序或結(jié)構(gòu)化數(shù)據(jù)排序內(nèi)容地抉擇

• 云服務(wù)的穩(wěn)定性。

5.5 曠視科技官網(wǎng)產(chǎn)品體驗(yàn)（多圖預(yù)警）

（1）年齡略有差距，自我估計(jì)+-5，性別基本無誤，頭部狀態(tài)略有誤差，人種誤差在30-40%（樣本量10，白種人和黃種人誤差明顯），情緒基本無誤，眼鏡種類識(shí)別有誤差（商品識(shí)別的范疇），強(qiáng)光狀態(tài)下表現(xiàn)不佳。

（2）邏輯錯(cuò)誤：左眼（睜眼、普通眼鏡）、右眼（墨鏡）；相似度大（下圖為張一山和夏雨）的較難區(qū)分（雙胞胎估計(jì)很難區(qū)分）

（3）遠(yuǎn)距離檢測(cè)較難：左圖檢測(cè)出一張，右圖檢測(cè)出兩張（估計(jì)10米開外檢測(cè)不到）

（4）能夠識(shí)別蠟像、海報(bào)等非真人場(chǎng)景，因此在一些場(chǎng)合可欺騙攝像頭，如在金融領(lǐng)域里的身份識(shí)別，海關(guān)檢查等關(guān)鍵性應(yīng)用中，將會(huì)有風(fēng)險(xiǎn)。

（5）佩戴的口罩無法檢測(cè)出人臉

（6）公司體驗(yàn)對(duì)比結(jié)果

6. 項(xiàng)目虛擬實(shí)戰(zhàn)（以AR美顏APP為例，過程為理論經(jīng)驗(yàn)推理所得，自己并未實(shí)習(xí)）

人臉檢測(cè)系統(tǒng)下，有很多FR相關(guān)的應(yīng)用，比如人臉屬性識(shí)別（年齡、表情、性別、種族等）、人臉美顏/美妝、人臉聚類等等。我們從AR美顏/美妝這一個(gè)例子著手，探索項(xiàng)目的具體流程。

6.1 項(xiàng)目前期準(zhǔn)備

（1）需求調(diào)研

場(chǎng)景及痛點(diǎn)：現(xiàn)在大多數(shù)美顏相機(jī)拍照后，都只有添加各種濾鏡、加幾個(gè)字、變白一點(diǎn)，早已經(jīng)不能滿足廣大女性群體對(duì)于美顏的需求；加上如今年輕女性和男性的審美標(biāo)準(zhǔn)和獵奇心理都在發(fā)生改變，社交方式的趣味性也變得不同，比如原來大家可能在空間、朋友圈、直播上看到美女帥哥都會(huì)覺得很吸睛，點(diǎn)贊粉絲直奔而來，但隨著快手和抖音的出現(xiàn)，可以發(fā)現(xiàn)不僅僅是俊男靚女的照片和視頻能引起圍觀，同樣的各種普通群眾的搞怪合成視頻或合成照片（虛擬的AR特效帶來的各種浮夸造型）同樣能吸引無數(shù)粉絲的追捧，讓普通人也能享受被人膜拜的滿足感，而這些都需要用到人臉識(shí)別的相關(guān)技術(shù)。

（2）目標(biāo)用戶畫像分析

• 了解目標(biāo)用戶的主流群體：學(xué)生（大學(xué)生、高中生、初中生）群體對(duì)月美顏美妝的心理需求、時(shí)尚人士的美妝需求、長相普通的人和長相突出的人對(duì)于美顏的心理需求等。

• 了解用戶的年齡組成、地域分布對(duì)應(yīng)美妝的特點(diǎn)。

• 不同收入群體（白領(lǐng)、金領(lǐng)、藍(lán)領(lǐng)等）的美顏美妝需求關(guān)注點(diǎn)。

（3）市場(chǎng)分析

美顏美妝的市場(chǎng)規(guī)模，產(chǎn)業(yè)鏈，潛在的邊際效應(yīng)利益等。

6.2 文檔準(zhǔn)備

（1）需求文檔

詳細(xì)的分析目前的用戶需求，針對(duì)不同群體，設(shè)計(jì)不同的產(chǎn)品解決方案，包括市場(chǎng)的需求文檔。

（2）數(shù)據(jù)文檔

前期的人臉圖片收集、分發(fā)、標(biāo)注總結(jié)文檔（確定什么樣的圖片能要，什么樣的不能要），各種臉型（長的、寬的、圓的、前額凸出的、眼睛深陷的等等）的分類，多少人完成眼睛美顏圖片的分類等。

（3）產(chǎn)品文檔

• 場(chǎng)景落地文檔：如聽歌時(shí)頭上戴虛擬耳機(jī)，嘆氣時(shí)嘴上叼煙，說話時(shí)唾沫星子等針對(duì)不同的人臉姿態(tài)場(chǎng)景研究可能的落地產(chǎn)品形式。

• 產(chǎn)品的設(shè)計(jì)文檔：如美顏APP的頁面交互設(shè)計(jì)、導(dǎo)航設(shè)計(jì)、視覺呈現(xiàn)設(shè)計(jì)等；直播APP中的彈幕呈現(xiàn)設(shè)計(jì)、點(diǎn)贊分享按鈕設(shè)計(jì)等。

• 產(chǎn)品開發(fā)流程文檔：如PM先提交需求、可行性分析、立項(xiàng)、設(shè)計(jì)流程、開發(fā)流程，算法搭建、模型訓(xùn)練、測(cè)試訓(xùn)練等一系列流程的步驟及跟進(jìn)。

• 模型訓(xùn)練及測(cè)試文檔：數(shù)據(jù)標(biāo)注好后，喂給算法，搭建人臉識(shí)別美顏的模型框架，如前期用成千上萬的照片訓(xùn)練機(jī)器的人臉關(guān)鍵點(diǎn)定位，讓機(jī)器找準(zhǔn)鼻子、眼睛、耳朵、嘴等位置等。

6.3 數(shù)據(jù)標(biāo)注

（1）數(shù)據(jù)圖片的采集

在文檔的指引下，從公開網(wǎng)站上爬取收集符合模型訓(xùn)練的人臉圖片、或是運(yùn)用公司的數(shù)據(jù)圖片等

（2）數(shù)據(jù)圖片的標(biāo)注

在標(biāo)注規(guī)范文檔的指引下，將圖片分發(fā)給標(biāo)注團(tuán)隊(duì)進(jìn)行數(shù)據(jù)的標(biāo)注，對(duì)一些模棱兩可的圖片，如圖片中的人臉較模糊，此時(shí)該照片是要還是不要，期間應(yīng)與算法同事保持溝通，有時(shí)暗的圖片在算法的優(yōu)化中能準(zhǔn)確識(shí)別，這樣增加實(shí)際情況的容錯(cuò)率（實(shí)際中較暗的人臉圖像也能定位出關(guān)鍵部位），那么這張圖片則視為有效數(shù)據(jù)；有時(shí)較暗的圖片經(jīng)過算法之后并不能達(dá)到要求（及無法定位出人臉關(guān)鍵點(diǎn)），此時(shí)這照片則視為無效數(shù)據(jù)，直接剔除；但是標(biāo)注團(tuán)隊(duì)并不知道這張圖片是有效還是無效，所以標(biāo)注過程中，算法同事也需間接參與進(jìn)來。

（3）數(shù)據(jù)的反饋

在部分圖片標(biāo)注過程后，交于算法同事訓(xùn)練模型調(diào)節(jié)參數(shù)，期間將測(cè)試后的數(shù)據(jù)（精確率和召回率的計(jì)算，來反映數(shù)據(jù)的標(biāo)注結(jié)果）反饋給還在標(biāo)注的人員，有時(shí)可能造成過擬合有時(shí)可能造成欠擬合等方便對(duì)數(shù)據(jù)進(jìn)行重新操作。

6.4 項(xiàng)目流程跟蹤

（1）產(chǎn)品立項(xiàng)后，每天的任務(wù)管理，流程進(jìn)度跟蹤，產(chǎn)出時(shí)間管理，開會(huì)反饋工作成果等。

（2）軟硬件端：在開發(fā)流程文檔的指引下，按照常規(guī)的軟硬件跟蹤開發(fā)。

（3）算法流程：人臉采集、人臉檢測(cè)、圖像的預(yù)處理（模糊的則用算法去模糊等）、人臉特征提取、圖像的匹配識(shí)別、AR虛擬等。

6.5 項(xiàng)目測(cè)試

1. 手機(jī)攝像頭測(cè)試

2. 平臺(tái)后臺(tái)程序測(cè)序

3. 算法與平臺(tái)后臺(tái)測(cè)試

4. 模型識(shí)別時(shí)間、準(zhǔn)確率、召回率測(cè)試

5. 服務(wù)器穩(wěn)定性測(cè)試

6. 網(wǎng)絡(luò)帶寬限制測(cè)試

7. 其他平臺(tái)、硬件產(chǎn)品常規(guī)測(cè)試

8. 目標(biāo)用戶使用測(cè)試

6.6 項(xiàng)目優(yōu)化

經(jīng)過各種測(cè)試之后，針對(duì)反饋回來的數(shù)據(jù)進(jìn)行產(chǎn)品的優(yōu)化。

如一張嘴就給你來根煙，結(jié)果煙插到鼻子上了，這就明顯是沒有定位到人臉關(guān)鍵點(diǎn)，是數(shù)據(jù)的原因還是算法的原因，這些都要經(jīng)過優(yōu)化處理；經(jīng)過種子用戶測(cè)試后，反饋得知這個(gè)點(diǎn)贊按鈕操作起來有點(diǎn)別扭，應(yīng)該怎樣怎樣，這時(shí)可能要與設(shè)計(jì)的同學(xué)討論一下，該怎樣優(yōu)化產(chǎn)品的設(shè)計(jì)和體驗(yàn)。

6.7 項(xiàng)目驗(yàn)收上線

產(chǎn)品按照流程功能進(jìn)行驗(yàn)收后上線。

06 FR的個(gè)人看法

1. 人臉識(shí)別的現(xiàn)狀

1.1 實(shí)驗(yàn)室效果和現(xiàn)實(shí)效果對(duì)比，差距巨大

現(xiàn)如今的人臉識(shí)別技術(shù)在金融、安防等領(lǐng)域的應(yīng)用實(shí)際上的效果要比實(shí)驗(yàn)室里的差很多，前陣子西安的某高校引入人臉識(shí)別晨讀打卡，由于反應(yīng)速度太慢，到中午還排著很長的隊(duì)?？梢妼?shí)際生活中，由于各種物理因素（光照、角度、對(duì)焦、人魚攝像頭的距離等）導(dǎo)致抓拍的圖片質(zhì)量比較差，又經(jīng)過網(wǎng)絡(luò)傳輸?shù)骄钟蚓W(wǎng)/互聯(lián)網(wǎng)進(jìn)行對(duì)比（網(wǎng)絡(luò)差的過程中，反應(yīng)很慢），使得實(shí)際效果大打折扣。大多數(shù)情況下，實(shí)際抓拍圖像質(zhì)量遠(yuǎn)低于訓(xùn)練圖像質(zhì)量。

1.2 訓(xùn)練時(shí)的標(biāo)準(zhǔn)和實(shí)際應(yīng)用的標(biāo)準(zhǔn)

大多數(shù)情況下，實(shí)際應(yīng)用的標(biāo)準(zhǔn)會(huì)遠(yuǎn)高于訓(xùn)練標(biāo)準(zhǔn)。例如，人臉識(shí)別實(shí)驗(yàn)室的標(biāo)準(zhǔn)是通過正臉數(shù)據(jù)訓(xùn)練出模型，能識(shí)別正確人臉就可以。而實(shí)際情況可能沒有正臉數(shù)據(jù)，對(duì)訓(xùn)練提出了更高的要求。

1.3 訓(xùn)練效果和現(xiàn)實(shí)效果

大多數(shù)情況下，實(shí)際效果會(huì)遠(yuǎn)低于訓(xùn)練效果?，F(xiàn)在市面上CV公司都是說自己的訓(xùn)練效果在99%以上（無限接近于100%），但這不等于實(shí)際應(yīng)用的效果就是99%。工業(yè)上場(chǎng)景復(fù)雜的人臉應(yīng)用（類似識(shí)別黑名單這種1:N的人臉比對(duì)）正確率在90%以上就已經(jīng)是表現(xiàn)得很好的算法模型。

2. 未來發(fā)展趨勢(shì)的思考

隨著人工智能的火熱和發(fā)展，在全球信息化、云計(jì)算、大數(shù)據(jù)的背景下，生物識(shí)別技術(shù)的應(yīng)用面會(huì)越來越大，由以人臉識(shí)別為其中代表。以下幾個(gè)發(fā)展趨勢(shì)呈現(xiàn)：

• 網(wǎng)絡(luò)化趨勢(shì)：人臉識(shí)別解決了日常生活中一個(gè)基本的身份識(shí)別問題，今后，這總身份認(rèn)證的結(jié)果會(huì)越來越多的和各行各業(yè)應(yīng)用結(jié)合起來，并通過互聯(lián)網(wǎng)和物聯(lián)網(wǎng)得以信息共享，簡單來說就是“身份識(shí)別+物聯(lián)網(wǎng)”的發(fā)展趨勢(shì)未來將十分普遍。

• 多生物識(shí)別模式融合趨勢(shì)：人臉識(shí)別技術(shù)現(xiàn)如今的還達(dá)不到人類的預(yù)期體驗(yàn)，對(duì)于一些安全性要求高的特殊行業(yè)應(yīng)用，如金融行業(yè)，人臉識(shí)別很容易被不法分子攻破漏洞進(jìn)行身份造假，因此需要多種生物特征識(shí)別技術(shù)的融合應(yīng)用（如活體檢測(cè)、虹膜識(shí)別等）以進(jìn)一步提高身份識(shí)別的整體安全性。

• 云技術(shù)：未來的云技術(shù)也將大大給人臉識(shí)別的應(yīng)用提供數(shù)據(jù)和計(jì)算力支持，基于云技術(shù)的門禁控制可以同時(shí)管理成百上千的通道，加上物聯(lián)網(wǎng)的普及，用戶對(duì)任何地方的門禁進(jìn)行遠(yuǎn)程控制和管理，準(zhǔn)確識(shí)別本人，將廣泛應(yīng)用到企業(yè)、學(xué)校、培訓(xùn)機(jī)構(gòu)、大型商業(yè)場(chǎng)合、辦公大樓的門禁解決方案。

3. 盈利模式的思考

（1）單一盈利模式

現(xiàn)如今的人臉識(shí)別技術(shù)服務(wù)商，都以將技術(shù)接入第三方應(yīng)用軟件，或是搭載在智能終端上，通過收取一定技術(shù)服務(wù)費(fèi)來獲取盈利。目前國內(nèi)的第一梯隊(duì)創(chuàng)業(yè)公司都在技術(shù)和數(shù)據(jù)上沉淀，而是否盈利，盈利多少都還尚不明確。

如在金融領(lǐng)域，人臉識(shí)別用于身份確認(rèn)，然而身份確認(rèn)之后，就沒你什么事，你跟用戶的關(guān)系只在于，打開某款A(yù)PP或某個(gè)終端場(chǎng)景（閘機(jī)）的鑰匙，打開之后，用戶的所有行為都沉浸在APP中，并沒有給FR技術(shù)服務(wù)商帶來其他的使用數(shù)據(jù)及用戶行為信息；從根本上來看，用戶只是用鑰匙開了門，而往往是門里面的東西（用戶數(shù)據(jù)）才能帶來商業(yè)價(jià)值。

（2）對(duì)比互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)

1. 互聯(lián)網(wǎng)時(shí)代早期有很多功能性的產(chǎn)品。如早年間的QQ只有聊天的功能；360用戶只是用它來給電腦殺殺毒；百度就是個(gè)即問即答的老師；搜狐、新浪也就是用來看看新聞而已。

2. 移動(dòng)互聯(lián)網(wǎng)時(shí)代也有很多這樣的產(chǎn)品。滴滴幫用戶叫個(gè)車；高德也就差不多是古代的指南針。

3. 案例分析：眾所周知，上面舉的例子不是互聯(lián)網(wǎng)時(shí)代的高市值企業(yè)，就是移動(dòng)互聯(lián)網(wǎng)時(shí)代高融資率的企業(yè)。

4. QQ后來用戶數(shù)越來越多，QQ號(hào)成網(wǎng)絡(luò)身份的一個(gè)必不可少的身份屬性之一，用戶大量的數(shù)據(jù)沉淀在其中，通過用戶的使用行為信息，小馬哥知道了這么多人都用我的QQ，那趕緊搞個(gè)什么娛樂活動(dòng)，讓有QQ號(hào)的人都來玩，于是就有了龐大的游戲帝國產(chǎn)業(yè)，游戲里面又加上各種鉆（什么粉鉆、綠鉆、紫鉆、黑鉆）對(duì)應(yīng)的各種會(huì)員機(jī)制，QQ號(hào)又以其他的方式來獲取用戶的行為信息如，QQ音樂（下歌要錢、換皮膚要錢）、騰訊視頻（各種廣告收入、會(huì)員充錢等）、QQ郵箱（會(huì)員高級(jí)功能）等，讓人們?cè)郊映两赒Q帝國的生態(tài)圈中，莫名其妙的就被吸走了很多錢?？赡苣銜?huì)說我還可以用其他的呀，但是好煩啊，這個(gè)也要注冊(cè)，那個(gè)也要注冊(cè)，明明一個(gè)QQ號(hào)可以玩轉(zhuǎn)所有，沒辦法我就是這么懶，所以說懶人創(chuàng)造了這個(gè)世界的絕大多數(shù)科技產(chǎn)品。

5. 滴滴現(xiàn)如今估值幾百億美刀，投資人為何給一個(gè)只幫你叫車的公司如此高的估值，我們知道滴滴打車比一般的直接叫車要便宜一點(diǎn)點(diǎn)（專車除外），那它的盈利點(diǎn)從而來，投資人有看中了它的哪一點(diǎn)。其實(shí)不難理解，滴滴之所以有如今的估值，正因?yàn)槠鋷缀鯄艛嗔藝鴥?nèi)的打車市場(chǎng)，大量的用戶使用它，必然就會(huì)有用戶的使用數(shù)據(jù)，而這些數(shù)據(jù)便是變現(xiàn)的好東西，一旦整個(gè)生態(tài)搭建完畢，未來滴滴就將這些數(shù)據(jù)用無人駕駛方面，一旦搶占了市場(chǎng)的制高點(diǎn)，未來在行業(yè)鏈上就有絕對(duì)的議價(jià)能力。比如現(xiàn)在人們已經(jīng)習(xí)慣了去一個(gè)陌生地方，就來一個(gè)滴滴打車，若滴滴突然漲價(jià)，一公里漲幾毛或一元，你用它還是不用；心理學(xué)表明，人養(yǎng)成一個(gè)習(xí)慣之后，就會(huì)有慣性，對(duì)于沒有超出心理承受預(yù)期的東西（不是漲價(jià)漲得特別離譜），人們會(huì)一直保持這個(gè)習(xí)慣中的一些行為，而不愿做出改變（也就是常說的人有一種惰性）。因此我想大多數(shù)人都會(huì)去接受，因?yàn)榭赡苣慊〞r(shí)間自己打車也是需要很多成本的；用戶基數(shù)比較大，那這個(gè)漲了幾毛的就會(huì)帶來不少的盈利空間（中國十幾億人口，一人給我一毛錢，我都能成為億萬富翁了，但對(duì)別人而言，一毛錢可能連袋辣條都買不到），這還只是一方面。

d. 人臉識(shí)別作為一種技術(shù)，并沒有實(shí)際的產(chǎn)品承載點(diǎn)。以上分析中的種種產(chǎn)品，你都能叫出來名字，是因?yàn)檫@些功能或是技術(shù)都有一個(gè)實(shí)際的產(chǎn)品承載點(diǎn)，比如QQ用了即時(shí)通訊技術(shù)，頭條背后的智能推薦用了機(jī)器學(xué)習(xí)相關(guān)技術(shù)，但在我們心目中它不是以一種技術(shù)停留在我們的心智空間里，它是一款實(shí)實(shí)在在的產(chǎn)品，我們可以操作它，使用它。無論是QQ還是滴滴、高德、今熱頭條、新浪等等，這些產(chǎn)品我們都能實(shí)實(shí)在在的接觸到，并且后續(xù)行為都在這個(gè)技術(shù)的承載點(diǎn)里（如即時(shí)通訊技術(shù)的產(chǎn)品承載點(diǎn)是QQ，機(jī)器學(xué)習(xí)技術(shù)的產(chǎn)品承載點(diǎn)是頭條），那么用戶的數(shù)據(jù)自然也就在產(chǎn)品承載點(diǎn)之中，這樣我們才能應(yīng)用數(shù)據(jù)來創(chuàng)造價(jià)值，從而實(shí)現(xiàn)盈利。

e. 人臉識(shí)別目前的階段停留在大眾視野里只是一種技術(shù)，人們的潛意識(shí)里并沒有建立起一個(gè)概念，那就是這個(gè)人臉識(shí)別到底是個(gè)什么東西，我能操作它嗎？它能給我?guī)硎裁茨?？而一旦人臉識(shí)別有一個(gè)產(chǎn)品承載點(diǎn)，讓用戶能實(shí)實(shí)在在的進(jìn)行操作，并有數(shù)據(jù)積累，才會(huì)有盈利的可能。而人臉識(shí)別的產(chǎn)品承載點(diǎn)是什么，目前還都沒有出現(xiàn)，未來肯定會(huì)有，這也是未來的一大機(jī)會(huì)，無論是什么，這個(gè)產(chǎn)品必然都能被用戶實(shí)實(shí)在在的接觸到，并且后續(xù)也都將在其中產(chǎn)生行為，后者是必要條件。

4. 信息安全的思考

一旦前面提到的產(chǎn)品承載點(diǎn)出現(xiàn)，F(xiàn)R技術(shù)必將大行其道，隨之而來的可能是信息安全問題。

物聯(lián)網(wǎng)時(shí)代之下，萬物互聯(lián)，萬物智能，F(xiàn)R技術(shù)也必將融入到物聯(lián)網(wǎng)之中，人們可能都不需要身份類的實(shí)物證件。回家開門掃臉，外出開車門掃臉，進(jìn)公司掃臉，出去吃飯付錢掃臉。當(dāng)人臉成為你的虛擬證件時(shí)，一旦又不法公司、團(tuán)體、個(gè)人泄露或是破解了你的人臉虛擬證件，那么你的一切信息可能都暴露在他人面前，財(cái)產(chǎn)、房子、車子可能都有風(fēng)險(xiǎn)，還有可能因?yàn)閬G失人臉證件，將無法證明你自己的身份，就像你丟了身份證一樣?？上攵畔踩闹匾裕磥砉烙?jì)會(huì)誕生一個(gè)虛擬身份信息系統(tǒng)，里面有每一個(gè)人的身份信息，當(dāng)?shù)谌叫枰矸菡J(rèn)證時(shí)，可接入系統(tǒng)等。前陣子臉書因?yàn)樯缃恍畔⑿孤抖巧媳娕鸸P(guān)麻煩。我想未來如果有一個(gè)公司專門負(fù)責(zé)用戶信息數(shù)據(jù)的監(jiān)管，我也不會(huì)覺得很奇怪的。

5. 產(chǎn)品形式的思考

• 可接觸性：無論FR技術(shù)最終是以硬件還是軟件方式出現(xiàn)在用戶面前，前提是用戶能夠?qū)嶋H的接觸到，而不是仿佛在云端不可觸摸，只有用戶接觸了，才能在心里產(chǎn)生出它是一款產(chǎn)品，而不是一項(xiàng)技術(shù)的概念。如AR美顏就是實(shí)實(shí)在在可操作的產(chǎn)品。

• 連續(xù)使用性（高頻性）：產(chǎn)品必須是用戶能連續(xù)使用的，也就是所謂的高頻性，只有這樣才能產(chǎn)生可利用的信息數(shù)據(jù)來變現(xiàn)。

• 功能承載性：產(chǎn)品要能以一種功能的方式為用戶解決生活中的某一類問題。人臉除了身份認(rèn)證（金融行業(yè)、安防門禁）、視覺欣賞（美顏美妝、整容）、社交評(píng)判依據(jù)（婚戀網(wǎng)站）還能用來干什么呢？

• To C or To B：結(jié)合互聯(lián)網(wǎng)時(shí)代的發(fā)展，我個(gè)人始終認(rèn)為一款產(chǎn)品只有圍繞用戶提供服務(wù)，才有可能成就明星產(chǎn)品。從歷史的角度來看，每一個(gè)王朝的興衰更替都是以老百姓的意愿為轉(zhuǎn)移，有道是“水能載舟亦能覆舟”。產(chǎn)品亦是如此，產(chǎn)品概念誕生到現(xiàn)在，每一款產(chǎn)品的興衰也都是建立在用戶的基礎(chǔ)之上。任何一款產(chǎn)品拋開用戶之后都只能死亡，盡管目前FR大層面上應(yīng)用在B端，但是未來成功的FR應(yīng)用產(chǎn)品必然是誕生在C端。

下面附上總結(jié)這篇系列文章的思路導(dǎo)圖：

大圖地址：

https://upload-images.jianshu.io/upload_images/8484039-397ceeedb8b3d438.png