出品|阿裡巴巴新零售淘系技術部&躺平
阿裡巴巴淘系技術部與英國倫敦大學伯貝克學院 Steve Maybank 教授（Fellow of the IEEE and a Member of the Academia Europaea, the Koenderink Prize in 2008）、悉尼大學陶大程教授（Fellow of the IEEE, ACM and Australian Academy of Science）等國際知名學者合作，與3月30日正式開源業界首個飽含紋理細節的大型3D家具資料集（3D-FUTURE），共同推動3D家居智能研究。并面向全球3D幾何與視覺研究愛好者同步啟動第一屆阿裡巴巴3D人工智能挑戰賽暨IJCAI-PRICAI 2020 Workshop。
什麼是3D-FUTURE？
在過去十多年裡，科學家們在 3D 視覺及幾何的研究投入了巨大的努力，但是 3D 人工智能的工業落地任然困難重重，尤其是在家居家裝行業。
阿裡巴巴淘系技術部協同躺平設計家也在持續不斷地探索數字化家居建設。以真實家居場景為背景，定義了許多新問題，進行了大量的知識重建，并結合 3D 人工智能技術初步打造了場景化數字營銷，推出了智能設計搭配服務。
同時，在相關團隊的技術研發過程中發現，海量的高品質 3D 模型與紋理，以及專業的房屋設計布局是推動未來數字化家居建設的基礎。為了啟發高品質 3D 模型了解與重建，并且建立學術研究與工業應用的橋梁。阿裡巴巴針對家居場景開源大型3D資料集3D-FUTURE（3D Furniture shape with TextURE）。
其初版包含 20,000+ 高清室内場景專業設計渲染圖，與 10,000+ 精細的高品質 3D 家具模型及對應的高清且飽含資訊的紋理，資料積累沉澱于阿裡巴巴官方家裝家居設計平台-躺平設計家。目前提供家具執行個體分割标注，完全真實的 2D 到 3D 的對準标注，以及專業的細粒度家具屬性标注。
阿裡巴巴希望持續建設 3D-FUTURE ，不斷為 3D 幾何及視覺研究提供需求的标注以及新特征，包括但不限于已有資料擴充，完整房屋布局資訊提供，3D 模型分割标注等，以推進學術尖端科技的工業落地。
為什麼需要3D-FUTURE？
目前大型開源 3D 資料集都存在一些不足，不足以支援工業級的 3D 模型重建與紋理恢複等領域的深入細緻研究。
首先，已開源資料集的大多數 3D CAD 模型 (家具類) 都是從網上收集的，是以普遍存在細節缺失以及無紋理或紋理資訊度低等問題，且沒有多樣專業的屬性标簽。針對此現象，3D-FUTURE 提供多種不同風格且帶有豐富細節的高品質 3D 家具模型，并配備了高清飽含資訊的紋理以及多樣化的屬性标簽。
其次，目前學界暫無組織較好的大規模室内仿真圖像資料集。3D-FUTURE 通過最先進的工業 3D 渲染引擎，在專業設計師所設計的 5,000 多個場景中渲染産生了 20,000+ 圖像，填補了這一空白。
最後，現有資料集隻提供 2D-3D 僞比對，即根據 2D 圖中物體，人工從開源 3D 模型池裡選擇與之相似的 3D 模型作為比對結果。這種标注過程極有可能忽視掉一些局部的形狀細節特征，導緻提供的 2D-3D 比對結果并非完全一緻。是以難以支援資料驅動的高品質三維重建以及高精度形狀檢索等相關3D研究。與之相比，3D-FUTURE 提供的 10,000+ 3D 模型都是與 2D 渲染圖中的物體真實配對的。
我們相信，3D-FUTURE 這些特性可以啟發高品質 3D 模型了解和重建等領域的創新研究。
阿裡巴巴3D人工智能挑戰賽暨IJCAI-PRICAI 2020 Workshop
阿裡巴巴淘系技術部聯合來自于悉尼大學、英國倫敦大學伯貝克學院、墨爾本大學、中國科學院計算所的頂尖學者舉辦基于 3D-FUTURE 的第一屆 3D 人工智能挑戰賽暨 IJCAI-PRICAI 2020 Workshop。
3D 幾何與視覺研究是廣受關注的基礎研究領域，是建設未來3D智能世界必經之路。淘系技術部在人工智能國際頂級會議 IJCAI-PRICAI 舉辦 workshop 及競賽，旨在總結目前最先進的 3D 幾何與視覺技術，啟發高品質 3D 模型了解與重建，并且建立學術研究與工業應用的橋梁。
競賽内容包括三個項目，分别是基于圖檔的3D模型推薦，基于單張圖的3D模型重建，執行個體分割。資訊如下：
基于圖檔的 3D 模型推薦：在該項挑戰賽中，參賽者被要求根據 2D 圖檔在給定 3D 池中檢索出對應的 3D 模型。随着極速增長的3D模型數量，建立一個可靠的IBSR（image-based 3D shape retrieval）系統不管在工業界還是在學術界都非常重要。
比如使用者 3D 場景布局重建的基礎就是根據 2D 圖中物體，從大型 3D 池中找出對應的 3D 模型。該項競賽最大的挑戰是針對 2D 與 3D 是完全不同域以及表征資訊的差距，提取具有域不變性且紋理抑制的的特征表示。我們希望參賽者能充分探索最先進的解決方案，并基于此設計出更加精準可靠的IBSR算法。
另外，我們也期望通過這項比賽來促進具有魯棒性的形狀檢索發展，即在圖檔中物體存在輕微遮擋以及具有複雜背景的情況下實作較高精度的檢索。我們将用 TopK 召回率以及 TopK 平均 F-score 作為主要性能衡量名額。
基于單張圖的 3D 模型重建：在該項挑戰賽中，參賽者被要求從單張RGB圖像重建對應的 3D 模型，這些圖檔主物體可能存在輕微遮擋以及少部分殘缺。衆所周知，3D 模型的數量與品質是資料驅動的 3D 了解研究以及 3D 相關人工智能應用的基礎，比如虛拟場景搭建。
然而，目前海量的網絡圖檔中的物體都沒有或很難收集到對應的 3D CAD 模型。另一方面，目前工業界高品質 3D 模型生産效率很低，無法支援大規模高效生産。
這項獎賽旨在總結目前最先進的單目圖像 3D 重建方案，并啟發工業級 mesh 表面細節重建的研究探索思路。Chamfer Distance（CD）以及 F-score 将作為重建結果品質的評價标準。
執行個體分割：在該項挑戰賽中，參賽者被要求對渲染的室内場景圖進行執行個體分割。
在訓練集中，3D-FUTURE 将提供場景圖中部分物體所對應的帶有紋理的 3D模型作為輔助資訊，期望能提升邊緣分割精度。執行個體分割是學界的基礎研究問題，也是室内場景了解的關鍵之一。高精度尤其是邊緣魯棒的執行個體分割不僅有利于啟發高品質圖像合成相關工業應用，例如有潛力部分取代昂貴低效的渲染過程，進而實作高效自動化使用者室内搭配編輯生成；也有潛力大幅提升 IBSR， 3D 重建等基礎 3D 問題的效果。該項挑戰賽的評估名額為被廣泛認可的 Mask Average Precision (mAP)。
附workshop及競賽重要資訊
重要日程節點：
- 3月30日競賽開啟報名，并開放部分示例資料集。
- 4月03日開放完整訓練集與驗證集。
- 5月31日開放相關測試集。
- 6月05日競賽結束。
- 6月12日潛在優勝者報告送出截止日期。
- 6月17日報告稽核以及競賽最終結果公開。
- 7月13日3D-FUTURE Workshop at IJCAI-PRICAI 2020。
優勝者獎勵：
- 第一名1500美金，第二名1000美金，第三名500美金。
- 受邀請到國際人工智能頂會IJCAI-PRICAI 2020 Workshop進行報告。
- 受邀合著Workshop報告。
關注「淘系技術」微信公衆号，一個有溫度有内容的技術社群~