谷歌醞釀了5年的3D電話亭聊天室，將要啟動實測了！
進入元宇宙，只能靠頭顯嗎？
非也。讓我們的想像力再放飛一點。
巨頭谷歌給出了另一種方案：不用頭顯，用3D「電話亭」！
如果你平時用慣了skype或者zoom，第一次見到starline時，你一定會大吃一驚。
谷歌在去年官宣了Project Starline項目。它是一個視頻通話亭，使用3D圖像、高解像度相機、定製的深度傳感器和突破性的光場顯示。
這為屏幕兩邊的通話者創造了極其逼真的體驗。
時隔一年，谷歌全息視頻聊天項目Project Starline將在今年晚些時候在合作夥伴辦公室安裝原型，完成最初測試。
裸眼3D
Starline是谷歌在元宇宙中佈下的兩枚棋子之一（另一枚是AR眼鏡Iris）。
這個項目，谷歌已經醞釀了五年多了。
2021的I/O大會上，谷歌官宣了一個超高解像度視頻聊天室Project Starline項目。
以往，skype或zoom之類的傳統視頻聊天軟件並不能克服感官上的距離感。和你聊天的人，是以2D平面的形式出現在你對面。而ta的聲音，也明顯是從手機、平板或是電腦中傳出來的。
這種「音畫分離」的體驗，並不真實。
有沒有可能徹底消除這種「距離感」？
谷歌提出了這樣一個問題，「可不可以把Zoom變成一個巨大的坐式街機？」他們成功了。
耗時五年，谷歌研發出了一款黑科技——Starline3D視頻通話技術。
這一技術有兩大亮點：一個是真實，另一個是無需佩戴任何設備。
一個65寸的光場顯示屏，外加預先佈置的十幾個傳感器和攝像頭，就構成了這樣一個聊天室。
看起來，效果相當真實。
這麼真實的人物外貌，是被攝像頭和傳感器拍下來，直接顯示在對方的顯示屏上的嗎？
並不是。每一個攝像頭和傳感器的作用，是通過不同角度捕捉人像，利用深度學習進行實時壓縮，把這些數據傳輸到對面，在顯示屏上重建成3D化身。
也就是說，在這個電話亭里，你看到的是對人像的「重建」。
這種實時重建的人物影像，讓彼此的感受變得無與倫比的真實。就好像和自己聊天的人，真真切切地坐在自己對面一樣。
這些採集到的數據的傳輸，和與普通的視頻會議一樣，都是基於WebRTC，而谷歌獨特的壓縮算法使得雙向實時傳輸3D影像成為可能。
通過視頻聊天連接傳輸3D化身，讓谷歌能夠解決眼神接觸的問題。在普通的視頻聊天中，這一直是個麻煩。在以往，顯示器上面的網絡攝像頭使得人在看顯示器時不可能有眼神接觸，而3D化身可以彌補攝像頭中心和顯示器中心之間的脫節，使雙方有眼神接觸。
谷歌正在一個強大的雙Xeon工作站中處理這些數據，這個工作站有四個英偉達GPU（兩個Quadro RTX6000和兩個Titan RTX）。
Starline的另一大特點是不需要佩戴任何設備。
是的，你沒聽錯，VR頭顯、智能眼鏡，通通不需要！
甚至，在谷歌此前發佈的概念圖上，攝像頭和傳感器都放在一張桌子裏。
稍加裝飾之後，你甚至會產生這樣一種錯覺：眼前是你的書桌，而和你聊天的人就坐在書桌對面。
根據谷歌給出的技術圖，這一套設備包括：一個包含顯示器、攝像頭、揚聲器、麥克風、照明器和計算機的顯示單元，和包含紅外背光並用作bench seat的背光單元。兩個單元都包含向牆壁和天花板傾斜的白色LED燈條，用於產生柔和的反射照明。
顯示器是一個65英寸、8 K、60 Hz的自動立體透鏡面板，就是在它上面生成真人大小的裸眼3D視圖化身。
而捕獲子系統由三個同步立體的RGBD捕獲pod組成：兩個在顯示器上方，一個在顯示器下方的「中牆」(middle wall)中。
更下方的pod包括一個額外的彩色相機，用於放大拍攝對象的臉部。另外，四個單色追蹤攝像頭中的兩個在顯示器上方，其餘兩個一側一個，用於捕捉眼睛、耳朵和嘴巴的高速廣角圖像。
渲染的方式如下圖所示。
而pod就是上述提到的RGBD捕獲裝置。
這樣渲染出的人物影響，更加逼真，栩栩如生。
Starline還配備了高級的聲音系統。
這套系統使用了talker-tracked波束成形、混響消減、WebRTC傳輸、talker/listener-tracked虛擬音頻合成、雙耳串擾消除分頻組合、振幅平移、空間化音頻和動態波束成形等技術。
有了這些技術的加持，就仿佛通話的兩個人在面對面說話一樣。
去年，谷歌工程師表示，這套設備在標準辦公網絡環境下就可以運行。看來Starline技術是被寄望於廣泛推廣的。
當時，谷歌並未披露有關價格的更多細節。
很難想像這個7*7英尺、大小如同一個浴室的六位數電話亭有多大市場，但谷歌正在推進更多的測試。
不要「抱臉蟲」
時至今日，這一項目進展如何？
Google Cloud Next2022上，谷歌CEO桑達爾·皮查伊介紹了在全息視頻聊天項目（Project Starline）上取得的一些進展。
谷歌稱，它將在選定的合作夥伴辦公室進行定期測試，其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。
WeWork和 Salesforce表示，他們有興趣嘗試這項技術，並認為這項技術可以讓人與人之間的聯繫變得更有意義。
到目前為止，Starline項目已經在谷歌內部進行了數千小時的測試，並在其美國辦公室每天使用。
谷歌在一份聲明里說：「今天，在美國各地的谷歌辦事處都可以找到Starline項目的原型，員工每天都在使用該技術進行會議。」
當這一項目推向實測後，便可以了解這種技術將如何在現實世界中使用，以及它可能面臨什麼樣的挑戰。
許多人認為其非常炫酷，但也有人質疑Starline項目是否最終能夠成為職場人士日常生活一部分。
面對廣闊的企業會議設備市場，Starline確實有一些空間。但一些限制使得Starline難以用於嚴肅的會議。企業會議設備通常適用於坐在桌旁的一大群人，廣泛的兼容性使得任何人都可以使用幾乎任何硬件來發起會議。
然而Starline僅支持一個人進行一對一聊天，恐怕只能用於打總統電話？
近日，谷歌曾邀請一位記者對Starline進行體驗測試。這位記者描述如下：
「整個過程感覺比Zoom通話要自然得多。對方的動作和我們的談話都沒有明顯的延遲，所以說話就像在說話。沒有任何奇怪的音頻或視覺延遲。」
「我會相信我真的和某人在一起，因為我正在與全尺寸的虛擬人進行真正的眼神交流，而不是眯着眼睛看着一個小小的Zoom窗口。」
Starline之所以如此令人信服的部分原因在於，你不僅在看屏幕，而且在看屏幕前的一系列鏡頭，或者說透鏡陣列。這個原理類似於全息卡，當你來回搖晃它們時，它可以顯示不同的圖像或3D效果。而Starline會通過跟蹤你的眼睛，來了解將顯示給你的圖像指向何處。
最後，這位記者總結道：「它對於一對一的對話很有用，尤其是醫生辦公室或需要服務客戶的地方。」
一直以來，Starline項目在谷歌的長期地位一直不為人知。
一年前，這一項目還進行了重組，谷歌將其AR/VR技術和內部研發團隊Area120重新組建為「Labs」團隊。
而在上個月，谷歌還將Area120人員數量削減了一半。
這表明，在當前的經濟環境下，谷歌可能不會把這類試驗視為優先事項。即便是一些谷歌內部員工也不確定Project Starline是否還存在。
即便是這樣，Starline依然讓人振奮，是對另一種虛擬現實的押注。
人們並不需要Avatar，僅通過真實自我就可以實現在虛擬世界中的連接。
前幾天，Meta還推出了自家最貴的高端頭顯Quest Pro。
而谷歌沒有像Meta現在所做的那樣，開發利用攝像頭來實現眼睛和臉部運動追蹤的技術。
也沒有研究如何在虛擬現實中為你的身體「加個腿」，而是致力於呈現一個真實的人。
最重要的是，不用像個「抱臉蟲」一樣戴在臉上，增加負擔。
與此同時，隨着越來越多的企業試圖找到工作模式的混合未來，而Starline正好可以彌補現如今2D視頻聊天的差距。
2024，攜首款AR頭顯上市
其實，在AR頭顯上的佈局，谷歌也不甘落後。
今年年初，兩位知情人士透露，谷歌已開始加緊研發AR頭顯，內部代號為Project Iris，希望在2024年上市。
並且谷歌希望在2024年之前與Iris一起發佈Starline。
最新Iris頭顯將採用谷歌最新處理器，全自研的Tensor晶片，而且還支持在安卓系統上運行。
至於全新的作業系統，也在谷歌未來研發計劃中。
這款AR設備使用外向攝像頭將計算圖形與現實世界融合，創造出比Snap和Magic Leap等現有AR眼鏡更身臨其境的混合現實體驗。
由於電量的限制，谷歌會使用其數據中心去遠程渲染一些圖形，並通過互聯網連接將它們傳送到AR眼鏡中。
Project Iris項目，可以說，是谷歌AR眼鏡研發的一個轉折點。
早在2012年，谷歌就發佈了一款AR眼鏡的原型機。類似於一副滑雪護目鏡，而且不需要與外部電源連接。
隨着一波硬件和軟件的升級，2014年成功登陸美國市場，售價1500美元。然而，在2015年卻因為各種負面新聞被迫下架。
緊接着，2015年，谷歌在其I/O大會上發佈了一款「VR眼鏡盒子」。其裝置非常簡單，主要由一塊硬紙板與兩塊特殊的塑料鏡片組成。
到了2017年，谷歌決定將AR眼鏡的應用轉向工業。
儘管急於追趕，但谷歌在打造新形式的AR硬件方面似乎落後於同行。
此後，谷歌在AR眼鏡的硬件研發上明顯保持沉默，並且選擇專注於研發Google Lens、視覺搜尋引擎和谷歌地圖中的AR方向相關的軟件功能。
隨着2021年元宇宙概念大爆發，許多大廠紛紛在該賽道上展開佈局。
其實，谷歌也在悄悄下自己的這盤棋。不論是AR頭顯Iris，還是全息視頻通話項目Starline。
小扎曾在採訪中說：「VR的魔力在於，它可以立即讓你相信你在另一個地方，並且和那裏的人在一起。」他的構想是全息圖，而Starline也正好英雄所見略同了。
現在，世界上最大的兩家科技公司正在努力改善虛擬形象，雖然方法不同：Meta正全力以赴地提出元宇宙的概念，而Google正在努力接管企業。
對於大多數人來說，聊天室和昂貴的混合現實顯示器既不實用也不理想，但真正起飛的東西，可能會發生在兩者之間的某個地方。
