11月訓練營第一課：視覺生産技術 探索與應用——謝老師
一、視覺生産技術
視覺分兩類視覺了解、視覺生産。
1.所謂視覺生産
定義：所謂視覺生産，即通過一個、一系列視覺過程，産出新的視覺表達。
産出：人或機器能夠感覺的圖像視訊，而不是标簽或特征
要求：新的，和輸入不一樣的。要通過技術來實作。
圖解：
2.分類
生成：從0到1，從無到有。
拓展：從1到N。
摘要：從N到1，留下最重要的東西。
升維：從An到An+1，2D到3D。
增強/變換：從A到B，編輯。
插入/合成：A+B=C，編輯。
擦除：A-B=C，編輯。
3.通用基礎架構（圖解）
視覺生産引擎：分為生成、搜尋兩大類。
4.五個關鍵次元
自底向上：可看（滿足視覺、符合美學）——合理（符合邏輯）——多樣（保證結果的豐富性）——可控（可個性化）——可用（産生價值）
二、精細了解—尋微入裡
1.分割摳圖
邏輯上的步驟為依次遞增：先識别——再檢測——最後分割
2.難點
舉例來說，難點包括複雜背景、遮擋、發絲、邊緣反色、透明材質、多元度/目标等，且由于資料不足導緻标注高成本。
3.解題思路
疊代：語義分割（全景是什麼）、執行個體分割、image matting。
思路：先粗mask，再精确matting。在資料上尋求解決方案。
4.架構模型
步驟：mask粗分割——mask品質統一——估計精确alpha。
5.效果展示
精度、镂空細節、複雜相似背景。
6.人像/物體/場景摳圖拓展
透明處的處理等細節處理。
三、視覺生成——從無到有
1.鹿班（圖像）
電商設計、智能美工、行業設計
2.視覺架構流程
3.視訊生成——wood
4.視訊架構流程
素材準備——基礎特效——智能特效——智能編排
5.視訊摘要
依次為：鏡頭分割（語音識别）——動作識别（音畫比對）——鏡頭篩選（邊界優化）——排序優化（音頻剪輯）——視訊合成
6.視訊封面
圖像增強——内容分析——視訊輸入——品質稽核
四、視覺編輯—移花接木
1.視訊植入
廣告的植入，要求内容的比對度高（廣告位檢測）。
2.動态檢測分割
3.視訊内容擦除
文字，logo擦除
4.畫幅變化、圖像尺寸變化
五、視覺增強—修舊如新
1.視訊增強
分辨率、幀率、色彩的增強。
2.人臉修複增強
3.渲染超分圖
4.視訊超分
5.視訊插幀
6.HDR色彩擴充
7.風格遷移
8.顔色拓展
滿足多樣性和合理性。
六、視覺增強—修舊如新
1.現階段實體設計制造
效率低、協同差、定制難。
2.核心邏輯
3.包裝/服裝幾何生成
4.材質紋理
5.視覺遷移與融合
6.多樣性拓展
7.2D3D融合
七、視覺智能開放平台—萬劍歸宗
1.定位
2.官網
vision.aliyun.com
3.能力分布
4.特點
專業、實用、全面、易用。
5.一站式能力選擇
規模化、多樣化、細粒度、場景化。
6.省心省力的普惠服務
7.解決方式執行個體
結束
附圖
今日份打卡圖
視覺智能開放平台初體驗圖：