基于GAN的超分辨率刷臉自助水果店（根據水果品質實時指導售價）

1.研究背景

自1980年代以來，自動售貨機在美國和日本等發達國家迅速普及并發展成為一種新的零售系統。其産品科技含量高，集光學、機械、電氣、防僞識别、數字加密、智能軟體等技術于一體。 24小時服務讓貨物便捷。無需專人管理，節省人工和成本。人們可以通過自動售貨機購買食物、香煙、飲料、報紙、門票、卡片甚至鮮花和寵物。它也是一種新穎獨特的廣告媒體。目前，自動售貨機在65個國家和地區使用。根據美國“自動時代”的統計，日本每23人擁有一台自動售貨機，美國每40人擁有一台，歐洲每60人擁有一台。在鄰國日本，全國市場上 70% 的罐裝飲料都是在自動售貨機上出售的，每年在自動售貨機上購物的人均成本超過 400 美元。據日本麒麟啤酒公司的一項調查顯示，一台自動售貨機每年可售出數萬罐汽水，比不那麼繁忙的商店還要大。美國可口可樂公司擁有數十萬台飲料自動售貨機，分布在世界各地。在西班牙，自動售貨機銷售的商品占全國零售商的 60% 以上，每年以 10% 的速度增長。全球約有 1800 萬台自動售貨機在運作。整個行業，包括自動售貨機的制造和經營，年銷售額超過 2500 億美元。自動售貨機已成為零售業發展最快的行業之一。

近年來，自動售貨機在我國的大中城市發展迅速。在火車站、碼頭、酒店、大學校園和繁忙的街道上随處可見自動售貨機。據統計，廣州現有各類品牌的自動售貨機1500台，遠遠不能滿足地鐵、公交站台的需求。 自動售貨機不僅給人們的生活帶來了巨大的好處。

2.項目創新點

本文提出的基于計算機視覺的人臉檢測算法，采用yoloface對人臉的位置進行檢測，采用面部地标估計的算法。有很多方法可以做到這一點，我們使用的是Vahid Kazemi和Josephine sullivan在2014年提出的人臉特征點提取算法。其最基本的想法是，采用68個特定的點(被稱為地标)，作為人臉特征點。由于在自然界中的生物組織中，面部生物度量随着年齡的增長而顯著變化。骨骼的生長引起的與年齡有關的外觀變化通常發生在幼年和青春時期，而與皮膚有關的影響主要出現在老年人身上。從面部識别的角度來看，同一個人面部圖像的年齡增長可能會引起混亂，進而顯著降低系統性能與識别率。

在實際應用的場景可能因為攝像頭異常或者污漬原因，導緻人臉模糊，進而引起人臉識别功能無法正常工作，本項目針對這個問題提出一種基于生成對抗網絡（GAN）的人臉修複算法，通過對人臉區域進行超分辨率，進而恢複原始人臉的細節，保證識别效果。

在識别完客戶的身份後進入系統，本項目通過yolov5算法實作了水果的識别以及品質分級，結合傳感器得到水果的品質尺寸品質等相關資訊，進而實時指導售價，減少人工成本，避免貨物積壓。

3.圖檔示範

4.視訊示範

基于GAN的超分辨率刷臉自助水果店（根據水果品質實時指導售價）_哔哩哔哩_bilibili

5.人臉特征的提取

人臉特征提取算法

人臉識别階段完成後，接下來進行特征提取階段。我們從幾何和側光表面歸一化的結果中提取特征。在該階段，制作能夠将一個臉部圖像與其他臉部圖像差別開來的特定資訊。在面部識别階段，根據算法進行計算和分析，以确定比較圖像的相似性。一種可能性是将圖像直方圖與ED方法(歐幾裡得距離)進行比較。LBP面部識别算法

局部二進制模式 (lbp) 人臉識别算法是ojala 1996年提出的一種人臉識别算法。lbp算法廣泛應用于生物特征識别、監控、安防、計算機動畫、醫學圖像分析等領域。LBP算法将相鄰像素的亮度與中間像素的亮度進行比較。而且，這是角度上的參照。然後，重複用于下一個相鄰像素。如果周圍值大于門檻值，則像素将被标記為二進制1，否則将被标記為二進制0。然後編譯二進制值相鄰像素以替換轉換為十進制位的十進制值的平均像素值。LBP算法的流程圖如圖所示

欺騙攻擊是指攻擊者僞造資料，利用特定的東西來改變自己。在生物測量裝置上發生的欺騙攻擊的一種是面部欺騙攻擊。通過顯示系統從攻擊者接收到的各種媒體合法識别的人物圖像，攻擊者可以容易地進行面部欺騙攻擊。

下圖展示了如何面對僞裝攻擊。面部間諜攻擊是通過照片、視訊、3d遮罩或這些方法的組合而成的另一種方法，即IE。面部間諜攻擊可以通過測量通過紋理分析識别的複雜的3d圖像來克服。

6.人臉超分辨率修複

首先，本文對生成網絡的主幹部分進行改進。主要是通過文獻閱讀和實驗研究，對 SRGAN中的生成器進行改進，其核心方法是采用基于通道注意力機制的殘差密集塊(Residual channel attention blocks,RCAB)代替SRGAN的基礎塊，RCAB是由殘差塊(RB)和通道注意力機制(CA)組成。其中，每一個殘差組(Residual in residual, RIR)包含G個殘差塊(Residual groups, RG)和長跳躍連接配接(Long skip connections, LSC)，每個殘差塊包含B個RCAB。經實驗結果表明，采用這種殘差結構可以訓練非常深的CNN，而不會出現梯度消失現象，特征提取的高頻資訊也不會缺失，能夠更好的重建人臉圖像，提高整個網絡模型的性能。由于低分辨率人臉圖像的輸入中包含着豐富的人臉特征資訊，超分辨率重建網絡特征提取的目的是恢複出更多有用的資訊，通過基于身份的長跳躍連接配接，可以繞過豐富的低頻資訊，對人臉的高頻資訊進行處理，進而提升重建效果。為了進一步學習高頻特征，本文在每個殘差組中引入通道注意力，構成整體網絡模型結構。其結構如圖所示:

7.水果成熟度品質分級

本研究中的水果果實分類應同時考慮精密度和查全率；是以，利用精度、查全率和f1評分等參數來驗證模型的性能，并對檢測結果進行評價。這三個參數可以通過公式（1-3）計算出來。三個參數越高，檢測結果越好。

在本節中，确認YOLOv5網絡的各元件對最終性能的影響。通過A的整合，AP提高到65.8%。A有助于在野外複雜背景下實作前景的意義。AbFPN由上上下下兩個子網組成，用于在測試網絡中傳播上上下下/中産水準和進階意義資訊。AP改善（1.6%、1.3%、1.0%）和AR改善（0.1%、1.1%、0.6%）分别在小、中、大水果檢測中得到。另外，通過在小型水果上添加ARFF進一步改善了（AP增加了0.6%，AR增加了1.2%）。這表明ARFF補償由于标準周特性的屏蔽或小識别導緻的上下文資訊損失的影響。最後，所有的元件都可以內建AL功能，實作最佳性能，尤其是小型水果。此外，TingNet對于推論速度可以以非常低的附加計算成本（0.5FP）獲得最佳性能，這意味着所提出的方法可以在精度和效率之間實作良好的平衡。

此外，為了全面評估AbFPN周對多尺度學習的能力，比較了在TT 100K資料集上由基線視網膜網和AbFPN耦合提供的精确追憶（PR）曲線和由兩個基線視網膜網和更快的R-CAN耦合FPN提供的兩個PR曲線。在評價名額IoU＝0.75的情況下，我們提出的AbFPN小水果的整體PR曲線（即紅色曲線）比FPN周好得多，這表明AbFPN對多尺度對象特别是小對象的測量有效。另外，當回收率為0.6時，比視網膜網高出很多，通過使用FPN的R-CAN更快的小目标測量，獲得了約0.57的精度。這些改進意味着所提出的AbFPN可以在複雜的背景下檢查更小的水果。也就是說，可以召回更多的多級ID。這顯然表明，我們的AbFPN主機網絡比FPN主機網絡小，中，大。這表明，通過我們的AbFPN設計量子FPN，可以縮小多尺度之間的有意義的間隙，并且可以在複雜的背景下以自私自利的監視方式實作尺度感覺的前景特性。

8.系統整合

下圖源碼＆環境部署視訊教程＆自定義UI界面

參考部落格《基于GAN的超分辨率刷臉自助水果店（根據水果品質實時指導售價）》

9.參考文獻

[1]朱沙.一種基于Andriod的配送APP開發[J].電子設計工程.2016(20)

[2]朱家誠,一種新型自動售餐機控制系統設計[J].王克站,楊波,吳焱明.裝備制造技術.2016(07)[3]一種同軸度測量裝置[J].左威.機械工程師.2016(03)

[4]陳玉峰.基于PLC與數控機床聯合控制的氣動機械手[J].山東工業技術.2016(05)[5]移動網際網路技術的發展現狀及未來發展趨勢[J].孫鵬．通訊世界.2016(02)

[6]李春生.移動網際網路發展趨勢研究[J].中國高新技術企業.2016(01)

[7]周兵．基于Android的影院售票管理系統的設計與實作[J].蘭州工業學院學報.2015(05)

[8]王紅梅.―中央廚房在中式連鎖餐飲企業中的運作優勢及發展趨勢[J].美食研究.2015(03)

[9]趙怡然.移動終端的APP應用組織研究綜述[J].資訊通信.2015(01)

[10]丁宗玲,利用LabVIEW軟體的資料采集與處理系統設計[J].吳明在,葉柳,楊群,孫進,李愛霞.大學實體實驗

2014(04)

[11]李夢潇,姚仕元.基于PCA的人臉識别系統的設計與改進[J].計算機科學,2019,(z1).577-579.

[12]王興,侯禮甯,白雪.基于RFID技術的身份證識别門禁系統開發[J].高技術通訊,2019,(6).539-545.doi:10.3772/j.issn.1002-0470.2019.06.003.

[13]劉萬軍,梁雪劍,曲海成.不同池化模型的卷積神經網絡學習性能研究[J].中國圖象圖形學報,2016,(9).1178-1190.

[14]Yue Kaiyu,Xu Fuxin,Yu Jianing.Shallow and wide fractional max-pooling network for image classification[J].Neural computing & applications,2019,31(2).409-419.doi:10.1007/s00521-017-3073-x.

[15]C L Philip Chen,Zhulin Liu.Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture.[J].IEEE transactions on neural networks & learning systems,2017,(Spec).

[16]Changxing Ding,Dacheng Tao.Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,(Spec).