本文經AI新媒體量子位(ID：QbitAI)授權轉載，轉載請聯系出處

十三 ?白交 發自 凹非寺

魔法變現實，酷炫又實用。

還記得兩年前，Zach King(男巫)的爆紅魔術嗎？

不僅從紙直接蹦出一個手機，還直接扔進了電腦里形成虛擬的天貓頁面。

現在，不用去羨慕男巫了，人人都可以把身邊的東西“扔到”電腦里，而且一部手機就能搞定！

這就是來自34歲法國設計師Cyril Diagne的最新AR黑科技——AR Cut & Paste，將身邊的事物“一鍵”復制粘貼到電腦上，整個完成時間不到10s。

比Ctrl+C和Ctrl+V還要爽快！

比如，拿手機掃一掃書上的模型圖片，再把手機對準電腦屏幕，模型瞬間就復制到了電腦。

書上的人物也不在話下。

就有網友說道：連這個黑發小哥的頭發都能識別出來，太神奇了。

當然，手寫的筆記，也可以復制粘貼到電腦中。

他在Github上分享了他的AR新技術，已經狂攬7K顆小星星；而且在Reddit上分享不到14小時，就獲得了近4K的點贊量。

即使Cyril表示目前僅僅能在Photoshop中實現，但未來——肯定會有更多不同的輸出方式。

只是現在，這項AR黑科技——魔法一樣的新技術，只要你想，也能復刻。

簡單四步，開啟“復制粘貼”新世界

小哥非常熱心地在GitHub中，描述了AR Cut & Paste的“上手指南”。

首先要強調的是，這是一個研究原型，而不是針對消費者或者Photoshop用戶的工具。

AR Cut & Paste原型包含3個獨立的模塊。

移動應用 (The mobile app)

• 可以查看GitHub中/app文件夾，了解如何將App部署到手機中。

本地服務器 (The local server)

• 手機APP與Photoshop的接口。

• 使用屏幕點(screenpoint)找到攝像機在屏幕上指向的位置。

• 可查看/server文件夾，了解關于本地服務器的配置說明。

目標檢測 / 背景移除服務 (The object detection / background removal service)

• 目前，顯著性檢測和背景移除，是委托給一個外部服務來完成。

• 如果直接在移動應用中使用類似DeepLap這樣的技術會簡單很多。但這還沒有在這個repo中實現。

第一步：配置Photoshop

在Photoshop軟件首選項 (Preferences)中，找到增效工具 (Plug-ins)。

點擊啟用遠程連接 (Remote Connection)，并設置密碼。

這里需要確保一點，PS文檔中的設置要與server/src/ps.py中的設置一致，否則只會粘貼一個空層。

此外，文檔需要一些背景，如果只是白色背景，SIFT可能沒有足夠能力來做一個正確的匹配。

第二步：設置外部顯著性目標檢測服務

如上所述，目前，必須使用BASNet-HTTP封裝器(需要CUDA GPU)作為外部HTTP服務，部署BASNet模型。

將需要部署的服務URL來配置本地服務器。如果在本地服務的同一臺計算機上運行BASNet，請確保配置不同的端口。

第三步：配置并運行本地服務器

這一步的詳細文檔，在GitHub項目中的/server文件夾中，包含“安裝”和“運行”兩個步驟。

安裝代碼如下：

.7?venv

運行代碼如下：

python?src/main.py?\
???—basnet_service_ip=”http://X.X.X.X“?\
???—basnet_service_host=”basnet-http.default.example.com”?\
???—photoshop_password?123456

其中，BASNET_SERVICE_HOST是可選的，只有在使用Knative / Cloud Run等入口網關在平臺上部署服務時才需要。

以及，用Photoshop遠程連接密碼替換123456。

第四步：配置并運行移動App

安裝代碼如下：

npm?install

然后更新component/Server.tsx中的IP地址，使其指向運行本地服務器的計算機IP：

3:?const?URL?=?“http://

運行代碼如下：

npm?start

OK！開啟“復制粘貼”新世界，就是這么簡單！

但如果你希望“知其然更知其所以然”，別眨眼，接著往下看。

如何做到隔空「復制粘貼」？

這個神奇的AR黑科技背后的主要技術，剛開始采用的是一個叫做BASNet的顯著目標檢測方法。

這篇研究入圍了CVPR 2019，而且論文一作還是位華人小哥哥——秦雪彬，已經于今年2月在加拿大阿爾伯塔大學拿到了博士學位，碩士就讀于北京大學。

BASNet的核心框架如下圖所示，主要由2個模塊組成：

第一個模塊是預測模塊，這是一個類似于U-Net的密集監督的Encoder-Decoder網絡，主要功能是從輸入圖像中學習預測saliency map。

第二個模塊是多尺度殘差細化模塊(RRM)，主要功能是通過學習殘差來細化預測模塊得到的Saliency map，與groun-truth之間的殘差，從而細化出預測模塊的Saliency map。

而最近，這位設計師小哥哥在此基礎上，針對背景移除任務，采用了更新的方法。

同樣是來自秦雪彬團隊，被Pattern Recognition 2020接收，這個方法叫做U^2-Net，其框架如下圖所示：

還與其它20個SOTA方法分別做了定量和定性比較實驗，在結果上都取得了不錯的結果。

在下面的定性實驗中，也可以比較明顯的看到，該方法所提取出來的目標，更加細粒度和精確。

那么，北大校友的新方法，又是如何被法國設計師Cyril Diagne搞成黑科技應用的？

兼職寫代碼的法國設計師

原因無他，Cyril Diagne就是這樣一個懂程序、搞設計，關注前沿研究進展的藝術家呀。

如果你關注他的社交動態，也都是天馬行空的。

是那種從“詩詞歌賦”到“人生哲學”，從“服裝設計”到AR黑科技的妙人。

Cyril Diagne，現居法國巴黎，除了設計師，程序員，還是洛桑藝術州立大學(ECAL)媒體于交互設計系的教授及主管。

2008年從巴黎Les Gobelins學校畢業以后，跟5位同學創立了藝術機構，致力于實現科技與藝術之間的創意交互，也奠定了他以后的藝術生涯，注定與科技密不可分。

2015年起，Cyril加入了谷歌文化駐巴黎的實驗室。

與此同時，他還不斷的在Gitbub上分享他的新成果。此前，他就曾在Github上發布了一些實用的小工具。

比如，一個可在Instagram頁面的照片上添加3D效果的chrome擴展程序。

在Web瀏覽器上直接用AR涂鴉你的臉。

輸入圖像轉3D照片。

總之，想法多、經歷豐富，還懂技術和審美……

所以現在搞出AR復制這樣的奇妙應用，打開一扇新大門，也讓一眾網友服服氣氣。

也算是把北大校友小哥的牛X研究，推到了更牛X的產品應用入口。

雖然還只是牛刀小試，但前景卻妥妥無限可能。

你覺得這項黑科技，還能怎么用？怎么玩？

上手傳送門：

https://github.com/cyrildiagne/ar-cutpaste/tree/clipboard

https://github.com/NathanUA/U-2-Net

http://openaccess.thecvf.com/content_CVPR_2019/papers/Qin_BASNet_Boundary-Aware_Salient_Object_Detection_CVPR_2019_paper.pdf

---

●編號1173，輸入編號直達本文

●輸入m獲取文章目錄

程序員數學之美

程序員數學學習

鍛煉數學邏輯思維

總結

以上是生活随笔為你收集整理的电脑复制粘贴_手机扫一扫，现实物体隔空复制粘贴进电脑！北大校友的AI新研究，现在变成AR酷炫应用...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。