唔使綠幕，YouTube用人工智能即時退地 - TNL The News Lens 關鍵評論網

文︰Anny

人工智能運用在YouTube除了優化推薦和內容審核，為創作者提供更便利的影片工具也是他們重要的計畫，日前Google宣布在YouTube App推出即時退地功能，利用神經網路影片分割（Neural network video segmentation）就能即時更換背景。

一般創作者在影片拍攝時常需要租借綠幕攝影棚，後製時再手動進行背景更換，Google最新的機器學習成果，不用額外的裝置就能讓人物及背景即時分層，創作者不需要專業設備也無須耗費時間，也能製作出具備個人風格背景的影音內容。

Google工程師在官方部落格公布詳細的技術內容，他們利用機器學習來完成卷積神經網路的語義分割，設計適用於手機的網路架構和訓練程式，在行動裝置上需要以輕量級運作速度，至少要比現有最先進照片分割模型快10-30倍，提供每秒30幀的推論結果。

目前此卷積神經網路在iPhone7可播放每秒超過100個以上畫面（100+FPS）之速度，在Pixel2上的也有40+FPS，精準度高達到94.8%。

為了讓機器學習提供高品質的數據，他們標記了成千上萬個圖像資料，這些來自圖像捕捉前景姿勢和背景畫面。標記的元素包括的前景人物會出現的元素如頭髮、眼鏡、脖子、皮膚、嘴唇等，和一般的背景標籤相比達98％的像素精確度。更多詳細的內容已公開在Google研究部落格。

在訓練過程他們讓每秒的畫面更連慣，人像和背景間的交界更平滑，目前還在測試階段，背景的樣式並不多，早晨、黑夜、工作室燈光、霓虹等等場景，就像在其他社群軟體即時動態更換濾鏡ㄧ樣簡單的操作，Google團隊表示未來他們將分析更多資料，標記更多的數據，同時也計劃將此技術整合到Google的AR功能上。