論文封面
近日Meta的元宇宙部門Meta Reality Labs研發了一項3D人臉數據採集技術，該技術可用於創建VR世界的仿真頭像，該論文已經被全球計算機圖形領域最高會議SIGGRAPH 2022接收。
作者表示，他們發明了一種虛擬頭像創建技術，這項技術只需要少量用戶信息就可以生成一個可以進行實時表情互動的3D真人頭像。
這項技術降低了用戶創建虛擬頭像的門檻，通過這項技術，用戶只用一部智能手機就可以創建自己的3D頭像。該技術在元宇宙領域有很大的應用潛力。
這篇論文的名字叫做《Authentic Volumetric Avatars from a Phone Scan》（來自手機掃描的逼真立體頭像）。
連結：https://paper.nweon.com/12381
一、降低技術門檻，用戶可用iPhone創建頭像
在Meta發明這項技術之前，現存的大部分建模技術都需要複雜的前提條件。像是需要專業設備採集數據，還要讓採集對象前往專門的工作室等等。現存的有關真人頭像建模的技術成本和門檻都較高，實現起來也很麻煩，這就導致了用戶無法通過這些技術在VR應用里創建頭像。
所以為了降低創建真實人物頭像的門檻，Meta部門研發了這項技術。研究人員稱，過去收集人臉信息需要170多個攝像頭的設備，現在只需要一台帶RGBD攝像頭的智能手機（如iPhone12）。
據稱，用戶用智能手機掃描自己頭部採集數據的過程平均耗時3.5分鐘，但是六個小時後這個頭像才能在雲端上被完整地渲染出來。
▲用戶只需要用手機即可採集頭像數據
二、採集255個人臉數據，Meta簡化人臉採集步驟
通過這項技術，用戶可以用一部iPhone12（或其他智能手機）採集自己的人臉數據。採集數據的具體方法就是讓用戶拿着手機圍繞自己的頭部，按照上下左右的方向移動一圈。
總的來說，數據將會分成以下五個步驟處理：首先模型會收到手機傳來的人臉信息，收到人臉信息後，模型會採集膚質、臉型、膚色、五官、雀斑等細節信息。採集細節後，模型會分割人物和背景，獲得一個頭像的輪廓圖。獲得輪廓圖後，模型會對之前獲取的圖像紋理進行分解。最後，模型將分解的圖像重組為完整的人臉。
用這種方法創建的3D人臉頭像不僅與真人十分相似，而且還能夠改變面部表情，進行實時互動。
▲頭像合成的五個過程
研究人員稱，採集數據的過程平均只需要3.5分鐘。
這項虛擬頭像創建技術讓採集數據的過程變得輕鬆又簡單，用戶只需要用掃描自己的頭部就可以創建3D虛擬頭像。而且創建的3D虛擬頭像與真人十分相似，非常適用於VR類應用程式。
值得一提的是，這項技術之所以能夠把採集數據的過程簡化到一步手機上，關鍵就在於一個被稱為UPM（Universal Prior Model）的超網絡（hypernetwork）。
研究人員會先搜集大量的人臉數據構建一個語料庫，再用這個語料庫來訓練UPM超網絡，然後這個超網絡可以通過神經網絡解碼器產生專屬於個人的頭像參數，從而實現讓用戶依靠少量數據就可以創建頭像。
Meta在2019年研發了一個巨型多視角攝像系統，該系統主要用於收集3D人臉數據。這個巨型系統配備了171個高解像度攝像頭，每秒能記錄180GB數據。這個巨型系統採集了255位不同年齡、性別和種族參與者的面部圖像數據。採集圖像數據時，參與者需要根據指令模仿65種不同的面部表情、朝25個不同的方向注視、閱讀50個音節平衡的句子等。
▲捕獲人臉數據的巨型多視角攝像系統
在論文中，作者也將這種技術與其它先進的頭像生成技術進行了比較。
視覺特效公司Pinscreen研發的技術可以將一張照片變成一個3D風格的卡通圖像，但是論文中的這種虛擬頭像技術生成的頭像更加接近真人。
▲(a)(b)是Pinscreen公司的技術，(c)是Meta的技術
三、無法顯示眼鏡和長發，技術仍有缺陷
在論文中，作者也坦率地指出了目前這項技術的局限性。
首先，如下圖所示，這項技術不能很好地顯示帶有眼鏡和長發的模型。
▲帶有眼鏡和長發的模型顯示不全
其次，這種方法不能實時創建頭像，處理數據需要等待數個小時，處理時間較長。研究人員還認為，這種方法創建的模型存在一些微小的缺陷，例如模型上人臉的牙齒和服裝的顏色顯示怪異。此外，這種方法目前只能創建頭像，無法創建完整的身體、手等部位，甚至難以創建一些具有挑戰性的髮型。
結語：一鍵生成3D頭像，Meta元宇宙技術有新突破
Meta的新技術降低了用戶創建虛擬頭像的門檻，通過這項技術，用戶可以用一部手機輕鬆創建頭像，拿到元宇宙入場的門票。
Meta一直致力於元宇宙領域的開發，技術成本和門檻的降低能夠讓越來越多的用戶進入元宇宙，進而成為Meta的潛在客戶。
這項新技術不僅有助於Meta在元宇宙的佈局，也能夠為元宇宙領域的其他公司帶來新的啟發，推動行業的發展。
