雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
編者按：本文來自微信公衆号“量子位”（ID:QbitAI），作者：十三白交，36氪經授權釋出。
魔法變現實，酷炫又實用。
還記得兩年前，Zach King(男巫)的爆紅魔術嗎？
不僅從紙直接蹦出一個手機，還直接扔進了電腦裡形成虛拟的天貓頁面。
現在，不用去羨慕男巫了，人人都可以把身邊的東西“扔到”電腦裡，而且一部手機就能搞定！
這就是來自34歲法國設計師Cyril Diagne的最新AR黑科技——AR Cut & Paste，将身邊的事物“一鍵”複制粘貼到電腦上，整個完成時間不到10s。
比Ctrl+C和Ctrl+V還要爽快！
比如，拿手機掃一掃書上的模型圖檔，再把手機對準電腦螢幕，模型瞬間就複制到了電腦。
書上的人物也不在話下。
就有網友說道：連這個黑發小哥的頭發都能識别出來，太神奇了。
當然，手寫的筆記，也可以複制粘貼到電腦中。
他在Github上分享了他的AR新技術，已經狂攬7K顆小星星；而且在Reddit上分享不到14小時，就獲得了近4K的點贊量。
即使Cyril表示目前僅僅能在Photoshop中實作，但未來——肯定會有更多不同的輸出方式。
隻是現在，這項AR黑科技——魔法一樣的新技術，隻要你想，也能複刻。
簡單四步，開啟“複制粘貼”新世界
小哥非常熱心地在GitHub中，描述了AR Cut & Paste的“上手指南”。
首先要強調的是，這是一個研究原型，而不是針對消費者或者Photoshop使用者的工具。
AR Cut & Paste原型包含3個獨立的子產品。
移動應用(The mobile app)
- 可以檢視GitHub中/app檔案夾，了解如何将App部署到手機中。
本地伺服器(The local server)
- 手機APP與Photoshop的接口。
- 使用螢幕點(screenpoint)找到錄影機在螢幕上指向的位置。
- 可檢視/server檔案夾，了解關于本地伺服器的配置說明。
目标檢測 / 背景移除服務(The object detection / background removal service)
- 目前，顯著性檢測和背景移除，是委托給一個外部服務來完成。
- 如果直接在移動應用中使用類似DeepLap這樣的技術會簡單很多。但這還沒有在這個repo中實作。
第一步：配置Photoshop
在Photoshop軟體首選項(Preferences)中，找到增效工具(Plug-ins)。
點選啟用遠端連接配接(Remote Connection)，并設定密碼。
這裡需要確定一點，PS文檔中的設定要與server/src/ps.py中的設定一緻，否則隻會粘貼一個空層。
此外，文檔需要一些背景，如果隻是白色背景，SIFT可能沒有足夠能力來做一個正确的比對。
第二步：設定外部顯著性目标檢測服務
如上所述，目前，必須使用BASNet-HTTP封裝器(需要CUDA GPU)作為外部HTTP服務，部署BASNet模型。
将需要部署的服務URL來配置本地伺服器。如果在本地服務的同一台計算機上運作BASNet，請確定配置不同的端口。
第三步：配置并運作本地伺服器
這一步的詳細文檔，在GitHub項目中的/server檔案夾中，包含“安裝”和“運作”兩個步驟。
安裝代碼如下：
virtualenv -p python3.7 venvsource venv/bin/activatepip install -r requirements.txt
運作代碼如下：
python src/main.py —basnet_service_ip=”
http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456
其中，BASNET_SERVICE_HOST是可選的，隻有在使用Knative / Cloud Run等入口網關在平台上部署服務時才需要。
以及，用Photoshop遠端連接配接密碼替換123456。
第四步：配置并運作移動App
npm install
然後更新component/Server.tsx中的IP位址，使其指向運作本地伺服器的計算機IP：
3: const URL = “
http://192.168.1.29:8080“;
npm start
OK！開啟“複制粘貼”新世界，就是這麼簡單！
但如果你希望“知其然更知其是以然”，别眨眼，接着往下看。
如何做到隔空「複制粘貼」？
這個神奇的AR黑科技背後的主要技術，剛開始采用的是一個叫做BASNet的顯著目标檢測方法。
這篇研究入圍了CVPR 2019，而且論文一作還是位華人小哥哥——秦雪彬，已經于今年2月在加拿大阿爾伯塔大學拿到了博士學位，碩士就讀于北京大學。
BASNet的核心架構如下圖所示，主要由2個子產品組成：
第一個子產品是預測子產品，這是一個類似于U-Net的密集監督的Encoder-Decoder網絡，主要功能是從輸入圖像中學習預測saliency map。
第二個子產品是多尺度殘差細化子產品(RRM)，主要功能是通過學習殘差來細化預測子產品得到的Saliency map，與groun-truth之間的殘差，進而細化出預測子產品的Saliency map。
而最近，這位設計師小哥哥在此基礎上，針對背景移除任務，采用了更新的方法。
同樣是來自秦雪彬團隊，被Pattern Recognition 2020接收，這個方法叫做U2-Net，其架構如下圖所示：
還與其它20個SOTA方法分别做了定量和定性比較實驗，在結果上都取得了不錯的結果。
在下面的定性實驗中，也可以比較明顯的看到，該方法所提取出來的目标，更加細粒度和精确。
那麼，北大校友的新方法，又是如何被法國設計師Cyril Diagne搞成黑科技應用的？
兼職寫代碼的法國設計師
原因無他，Cyril Diagne就是這樣一個懂程式、搞設計，關注前沿研究進展的藝術家呀。
如果你關注他的社交動态，也都是天馬行空的。
是那種從“詩詞歌賦”到“人生哲學”，從“服裝設計”到AR黑科技的妙人。
Cyril Diagne，現居法國巴黎，除了設計師，程式員，還是洛桑藝術州立大學（ECAL）媒體于互動設計系的教授及主管。
2008年從巴黎Les Gobelins學校畢業以後，跟5位同學創立了藝術機構，緻力于實作科技與藝術之間的創意互動，也奠定了他以後的藝術生涯，注定與科技密不可分。
2015年起，Cyril加入了谷歌文化駐巴黎的實驗室。
與此同時，他還不斷的在Gitbub上分享他的新成果。此前，他就曾在Github上釋出了一些實用的小工具。
比如，一個可在Instagram頁面的照片上添加3D效果的chrome擴充程式。
在Web浏覽器上直接用AR塗鴉你的臉。
輸入圖像轉3D照片。
總之，想法多、經曆豐富，還懂技術和審美……
是以現在搞出AR複制這樣的奇妙應用，打開一扇新大門，也讓一衆網友服服氣氣。
也算是把北大校友小哥的牛X研究，推到了更牛X的産品應用入口。
雖然還隻是牛刀小試，但前景卻妥妥無限可能。
你覺得這項黑科技，還能怎麼用？怎麼玩？
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/live立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-05-11
本文作者：量子位
本文來自：“
36kr”，了解相關資訊可以關注“
”