Meta公司Reality Labs部門實驗室中,有一面原型展示牆,陳列了實驗室設立七年來所開發的數十款VR眼鏡原型,有的輕巧如太陽眼鏡,但更多是笨重,大小不一的設備

圖片來源: 

Meta

在Meta公司Reality Labs部門實驗室中,有一面原型展示牆,陳列了實驗室設立七年來所開發的數十款VR眼鏡原型,有的輕巧如太陽眼鏡,但更多是笨重,大小不一的設備。這是去年改名為Meta的臉書,最重要的元宇宙研發基地,Meta創辦人暨執行長祖克柏強調,我們的目標是打造出通過視覺圖靈測試的次世代VR體驗,這是目前還不存在的未來技術。這是第一次,Meta詳細揭露了打造真實感VR眼鏡的四大挑戰和最新進展。

祖克柏去年將臉書改名為Meta,來宣示全力進軍元宇宙的企圖心。VR眼鏡是Meta實現元宇宙大夢的關鍵設備,2015年就發表了所併購子公司Oculus的首款虛擬實境頭盔Rift,而Oculus團隊後來也成了Meta的VR研發部門,也就是Reality Labs。

今年2月,Meta公布去年第四季財報時,也首度公布了Reality Labs部門的營收情況,雖然該季Meta的Reality Labs營收高達8.8億美元,但最後還是虧損了33億美元,而且逐季擴大中。最近更傳出Reality Labs部門將重整,要終止或延後部分專案,專注在核心產品開發。這些負面消息也引發外界對Meta元宇宙布局的疑慮。最近,Meta首度公開了Reality Labs部門歷年的研發成果,來消弭外界對發展不順的質疑。

Meta元宇宙的戰略目標

Meta元宇宙的戰略目標是,打造出媲美真實世界的虛擬世界,祖克柏指出,如果有一天VR眼鏡可以媲美人類視覺的效果,可以實現「存在感」,讓你感覺好像跟另一個人實際待在同一個地方的感覺,可以幫助人們更好的互動,這是非常重要的事。不管是,你遠方家庭成員,或是專案協作的對象,你喜歡的藝術家,都可以讓他們跟你有同在一個物理空間存在的感覺。

為何要打造媲美真實的3D感受,Meta旗下Reality Labs首席研究員Michael Abrash指出,真實的3D可以讓我們體驗,今天在虛擬世界體驗不到的感覺,尤其是與其他人的互動體驗,「必須改變感受系統,來趨近真實的情況,才能提供真正的臨場感。」他更比喻,這樣的VR眼鏡更可以創造出協同合作的可能性,能做到項當年打字機或電腦帶來的產業變革一樣。

不只如此,「一旦可以打造出真實感的VR顯示器,就可以創造新一代的視覺體驗。」祖克柏補充,文化會適應科技所帶來的深度和豐富性,當新一代科技出現,就會帶來新的藝術和表現形式,每一個人都希望被了解,這個真實感VR顯示器,會成為一種強大的工具,可以用一種近似現實的方法來表達自己。

不過,祖克柏也坦言,要讓VR世界跟現實物理世界非常相似,是一件非常困難,但很有趣的問題,「這涉及我們在物理世界如何察覺事情,包括眼睛如何處理訊號,以及大腦如何解讀的挑戰。」尤其,人類視覺是高度整合的結果,不能只是看到一個高度真實的圖像,還需要很多其他的視覺線索,才會有一種很真實的感覺,「這是與只看電腦螢幕或電視螢幕,截然不同的感受。」

不只是這些視覺線索的不同,除了提供3D立體影像之外,觀看傳統螢幕時的對焦是固定距離,但真實世界,眼睛移動過程中,會針對不同的物體對焦。另外,顯示器也必須提供更廣大的視野,提供比傳統螢幕高非常多的解析度,甚至,顯示螢幕必須能夠模仿真實世界的亮度和動態範圍,比現在的高清電視還要高10倍,顯示畫面還能夠快速延遲反映的眼球的動作,當使用者轉頭時,可以很快校正畫面的失真。這些功能都需要電力支援,尤其要支援GPU的運算,也要避免晶片發熱帶來的不舒適感。最後,所有這些元件都要安裝到一個大小適合的設備中。

「只有一個部分沒有做好,實境感覺就會消失,這種實境破壞感,比2D平面更明顯。」祖克柏坦言,這就是真實感VR眼鏡的嚴峻挑戰,需要軟體、晶圓技術、感應器等各種技術的合作。

參考圖靈測試,提出視覺圖靈測試來驗證VR眼鏡體驗

為了用來判定VR眼鏡的效果,Michael Abrash指出,Meta內部提出了「視覺圖靈測試」的觀念,「我們的目標就是希望通過視覺圖靈測試。」Meta參考了圖靈測試的做法,以「能不能分辨不出來這是人或電腦」來判定電腦是不是達到像人一樣的程度,視覺圖靈測驗就是,人類看到的VR世界,能不能跟真實世界一樣,分辨不出兩者的差別。而且這個測試要以人類主觀的感受來測試,而不是技術的衡量標準。 不過, 祖克柏坦言,目前沒有任何VR設備能夠通過這個測試。

真實VR眼鏡的第一個挑戰是超高解析度

很多人提到VR眼鏡的品質,就會提到解析度,祖克柏表示,解析度是最重要議題,但VR眼鏡的解析度問題跟傳統的解析度挑戰不太一樣。在VR眼鏡中的視野,其實比現在最寬的螢幕還要更大,他預估,要達到1.0視力效果,就得在整個視野都都達到超過8K的解析度,

Meta自己設定的目標是,要達到視網膜解析度效果的VR眼鏡,換句話說,每一度視野要提供到60個像素的解析度,若是眼睛全視野都達到這個解析度,就得比現有顯示器還要多好幾倍的解析度才夠。

不過,「人類視覺不需要所有像素都存在,所看到的完整視野中,不需要每一樣東西都對焦,只需要對焦的物體有高解析度,而視野邊緣的解析度可以稍低,但是,現在,任何一款顯示器都沒有辦法做到這件事。」祖克柏説。

臉書曾有一款原型產品,稱為Butterscotch,可以提供超高解析度,來達到1.0視力的文字辨識效果,這是2015年時的Rift眼鏡或是當前的Quest 2眼鏡就都達不到的效果,可以看清楚視力檢測表上1.0的文字。

Butterscotch 是Reality Labs實驗室客製的原型,不是實際的產品,但是可以達到視網膜解析度,是現在Quest 2虛擬實境眼鏡的2.5倍解析度,但這款原型眼鏡的解法是,透過犧牲視野來達到更高的解析度,透過混合鏡片,將視野的寬度縮小到Quest 2視野寬度的一半,才得到比較高的解析度,可以看到非常細節。

祖克柏自己也曾測試過這款視網膜解析度的VR眼鏡,他說:「可以看到非常銳利的圖像,體驗很好,但沒辦法賣,因為裝置的重量很重,而且圖像過於銳利,戴久了也會不舒服。」

透過這個原型的實測,一方面可以看到超高解析度VR眼鏡的模樣,也讓Meta的Reality Labs團隊意識到,真實的影像需要達到這樣的解析度,祖克柏指出,顯示器科技會一代一代進步,幾年後就會達到。

不過,新世代視覺體驗的挑戰不只是解析度而已,甚至還有一些平面顯示裝置不會出現的挑戰。例如,VR眼鏡獨特的挑戰是VR所用的鏡片是曲線鏡,會造成影像變形,就得靠軟體來校正,但是,這個變形還會隨著眼睛移動而改變,長時間配戴看到失真影像,會造成不舒服、疲勞的感覺。另一個挑戰是對焦的挑戰,眼睛會想要對焦物體,但是,顯示器是以固定距離來投影,就得解決不同距離的聚焦問題。

動態對焦是第二個挑戰

2015年開始銷售第一款VR頭盔Oculus Rift的時候,當時,Meta就發現到對焦距離的挑戰。因為當時是第一次在VR眼鏡的視野中出現了手,就遇到了移動過程的對焦挑戰。因為手會在VR世界中揮動,就會出現對焦距離不固定的問題。

現實世界的眼球,會不斷改變形狀來因應我們看的距離和成像,但是,當前的VR光學系統採用的是固定不能彎曲的實體透鏡,焦點固定在約5~6英尺的位置,方便使用者看到比較遠的地方。在真實世界中,人類的眼睛可以捕捉到不同深度和位置的各種微妙線索,但在

VR眼鏡中,若眼睛試圖聚焦觀看近處或遠方的物體,卻無法做到時,就會覺得有點模糊也會讓眼睛疲勞,這是3D眼鏡跟2D顯示器的差別,使用者觀看2D顯示器時,不需要真的觀看到很近或很遠的物體。

為了解決這個問題,Meta的解法是動態移動鏡片,來改變景深,就像是相機自動對焦的感覺。 後來,Meta用了1個月的時間,做出了第一款變焦的VR眼鏡原型,可以提供正確的焦深,尤其是看近的物件,會更清楚。

Meta在2015年打造出的第一款變焦VR眼鏡原型,裝上馬達來改變顯示器鏡頭位置,非常笨重,但從此確定了變焦是可以更接近真實的未來技術目標。

這個VR眼鏡原型裝上了馬達,來調整顯示器的鏡頭位置,雖然這是一款非常笨重的眼鏡,不是可以上市的產品,但卻讓研究團隊大受激勵,讓他們體驗到未來可以達到什麼樣程度的現實程度,所以戴過這款原型的人都同意,可以讓比較近的物體看起來很銳利,隔年,

Meta進一步打造了一款可以追蹤眼動,根據眼球運動來進行變焦的原型。透過機械變焦的顯示器,能夠提供適當的景深,搭配眼球追蹤技術,針對使用者在看的區域,即時提供失真校正,補償這個區域的放大效果,只有使用者看到的物體,會比較清楚,就像在真實世界,你聚焦觀看的物體會更清楚一樣。

「這個早期原型,讓我們意識到,我們做對事情了,變焦真的可行,可以提供更吸引人的體驗。」Reality Labs Research顯示系統部經理Douglas Lanman回憶。透過原型確定變焦VR眼鏡發展方向,下一步就是要進行使用者研究,透過更有說服力的科學實驗來證明。

開發輕巧變焦VR眼鏡原型,展開使用者體驗研究

Reality Labs Research FAIR專案經理Marina Zannoli先前在Reality Labs Research顯示系統團隊中擔任視覺科學家,也是負責新世代VR眼鏡第一次使用者研究的負責人。

為了了解變焦如何提升VR的體驗,必須要先打造出一款更小更輕的眼鏡裝置,Marina Zannoli解釋,重量和形式必須接近Oculus Rift,但不能有變焦馬達的噪音和震動,後來,就發展出了Half Doom Zero這款變焦VR眼鏡。

Half Doom Zero眼鏡比原本變焦眼鏡的原型小了4倍,而且完全跟當時所有Rift遊戲相容,也有非常好的對焦能力。在2017年春天,Meta找了大概60個受試者,來體驗Half Doom Zero眼鏡 ,讓他們做了兩天的測試,來比較調變焦系統,跟定焦系統的差別。

這個研究也準備了特定的VR展示影片,並鼓勵測試者觀察他們周遭很近的東西,因為這是過去VR世界的使用者會避免做的事,來自原有定焦系統VR眼鏡的限制。

2017年春天Meta找了60個受試者體驗動態變焦的VR眼鏡,Half Doom Zero眼鏡 ,這是第一次的大規模VR原型使用者體驗測試。

經過使用者實驗後發現,使用變焦系統比較不會累,也比較不會出現模糊的視線,使用者更容易跟蹤物件,在VR世界中閱讀文字也更比定焦系統更容易,可以對物件的反應更快速。雖然這款VR眼鏡仍有噪音和震動的問題,不過,這次使用者研究,多數人可以接受噪音和震動下的變焦系統。

「大部分的人都喜歡變焦,比較不喜歡定焦。」Marina Zannoli指出,到了2017年夏天時,我們就得到比較確定的證據,變焦不只有助於未來可以通過視覺圖靈測試,而且可以帶給VR眼鏡其他好處,包括性能的幫助(不需要全視野超高解析度)和舒適性。「Half Doom 系列是一個轉淚點,不只發展出了非常先進的變焦技術,也提供了一種通過視覺圖靈測試的原型測試模式。」

從此,先做出原型來驗證,再發展輕巧版本進行使用者實驗,來研究如何打造下一個原型,「這就變成了我們的標準流程。」Marina Zannoli表示。Meta的Reality Labs實驗室開始大量運用這個原型實驗的做法,來嘗試解決不同的VR眼鏡挑戰,這也是為何在7年中會開發出近30款原型VR眼鏡的緣故。

有這個變焦系統更舒適的發現之後,Meta開始專注於減少設備大小和重量,以及想辦法擴大VR眼鏡的視野,也製作了一系列的原型,後來更使用了液晶透鏡的電子變焦鏡頭,讓鏡片元件的體積縮小了許多,後續也持續改良變焦硬體。

第三個挑戰:變焦帶來更複雜的失真校正挑戰

解決了變焦鏡頭的問題,還要解決其他問題,另一個問題就是VR光學失真的問題。

先前就提到VR眼鏡的鏡片是曲面鏡,原本就會出現影像失真的問題,VR眼鏡大多透過軟體來修正這個影像的失真。可是一但採用了變焦鏡頭,要隨著使用者的眼球來修正聚焦的物體,連動到虛擬影像的失真情況,也會隨著眼睛移動,查看不同方向而發生不同的失真變化。

可是,Michael Abrash指出,既有失真修正演算法是相對靜態的做法,遇到眼睛要不斷移動來瀏覽完整場景的時候,無法完美發揮作用,因為靜態軟體校正系統無法產生持續穩定的圖像。「我們要研究的是眼球追蹤的失真校正,必須進行動態校正,隨著眼睛來進行,在不同的變焦技術,在不同景深上發揮作用,而且校正的速度還要快讓人難以察覺,這是很難解決的問題。」

要解決失真的問題,需要很長的時間,一方面必須要製造出研究問題需要的鏡片,可能花上好幾個月才能完成,還要製造顯示器和對應的VR系統。為了解決耗時的問題,Meta改用大量眼球運動的紀錄,來設計模擬器,搭配3D電視技術,來模擬研究不同光學設計和失真校正演算法,不用建造真正的頭盔,「透過這種快速原型製作能力,可以在幾分鐘內探索不同動態失真校正的情況。」Michael Abrash表示。

他指出,眼球追蹤是被低估的挑戰,一方面要找出使用者對焦的地方,來決定要渲染的圖像重點,另一方面,也要考慮熱量跟功率,如果只需要渲染出使用者需要關注的細節就好,但降低其他部分的圖像解析度,「這或許是一個非常重要的優化做法。」目前在Quest 2的軟體也做了不少失真校正的彌補,但要滿足真實感VR眼鏡需要的失真校正效果,還是不太夠。

可以讓3D場景栩栩如生的第4項挑戰:HDR

Michael Abrash表示,Meta研發VR眼鏡七年來所遇到的顯示系統挑戰,除了解析度、變焦到失真校正的課題,還有一個很重要的挑戰就是HDR(高動態範圍),這是涉及亮度和對比的問題,亮處夠亮可以感覺到顏色清楚,而暗處夠暗才會讓場景變得栩栩如生。當前的挑戰是,「 螢幕生動的程度,跟真實世界相比,有相當大的差異。」目前高階電視的亮度可以達到1萬尼特,電視產業也往HDR的方向前進,但當前Quest VR眼鏡的亮度只有100尼特,要提供HDR的亮度,也需要在電池跟重量之間取得平衡。

Meta曾打造出第一款HDR的VR眼鏡Starburst來測試,不管重量和電力,放進高亮度的螢幕,來進行更多研究,了解HDR的體驗會是如何。原型測試的目的是為了找出可以讓視覺更加真實的技術方向。

Reality Labs Research研究總監Nathan Matsuda表示,透過Starburst,可以創造出在室內看到的亮度,來研究基本的察覺問題,了解未來目標HDR應該要達到什麼程度。目前發現,若可以產生比較好的焦深,營造真實生動的感覺,就有機會實現一個夠漂亮,夠複雜的VR環境,這還需要很多代的演進,才能達到。「我們正努力將這些技術整合到一個更小巧,更便宜的眼鏡中。」Nathan Matsuda表示,每次建立一個新的原型,不管多不實際,但都可以讓我們理解,人們如何觀察周圍的世界,以及科技可以如何擴大人們的視覺系統。

Michael Abrash指出,變焦和視網膜解析度可以打開很多種可能性,但也會帶來開發者的挑戰,越真實的內容,製作難度就越高,如何協助人們創造這樣的環境,能夠炫染出可以保真的程度,AI技術將是實現這個目標的關鍵技術,另一個策略是先在真實世界中架構出場景,再將場景帶進虛擬世界。

在Meta的Reality Labs團隊中還有一組人馬,負責整合科技和新的光學元件,他們的挑戰就是要盡可能減少這些光學元件的體積。Reality Labs Research研究員 Andrew Maimone指出,不管是解析度、對焦、失真或HDR的技術,最後都要整合到VR眼鏡中,我們的目標希望更輕薄短小,人們可以使用更長的時間。

在VR光學元件中有三個要素,光源、成像的顯示版和曲面鏡片。過去VR眼鏡大部分的空間是消耗在鏡片和顯示版之間,Andrew Maimone指出, 後來改用偏光折射可以進行光學對折,技術上稱為餅乾式鏡筒,可以大幅減少厚度,只剩下曲面鏡片本身的厚度。後來,Meta引進了全像投影的餅乾式鏡筒,簡稱HoloCake,同樣採用餅乾光學鏡頭的設計,將鏡頭改為全像鏡片,就可以得到更薄、更平的鏡頭,能夠大大減少VR光學元件的大小,進一步能減少整體眼鏡的重量,不過,「全像鏡片非常特殊,得使用雷射作為光源,才可以描述更多顏色,提供更好視覺體驗。」

 


傳統VR眼鏡空間是消耗在鏡片和顯示版間,Meta改用偏光折射進行光學對折,技術上稱為餅乾式鏡筒,大幅減少了厚度,更將鏡頭改為全像鏡片得到更薄更平的鏡頭(圖右)。

最新VR原型HoloCake 2採用全像技術和雷射光源

Meta也展示了他們目前最先進的VR裝置原型HoloCake 2,可以支援任何電腦來運作,引進了兩個技術,第一是引進了全像技術,可以讓使用者感受到有點像是實際成像的樣子,也能減少距離造成的成像差異效果,不過,要提供全像成像需要特殊光源,HoloCake 2採用了特別的雷射光源,不同於今天VR眼鏡用的LED光源。 Andrew Maimone指出, 雷射光源並不神奇,但在消費級產品中,找不到性能和價格能夠兼顧的合適產品,還需要大量工程研究,才能打造出符合需求的消費型雷射光源,能夠安全、有效的裝在輕薄的VR眼鏡上。

 


Meta目前最先進的VR裝置原型HoloCake 2,採用餅乾式全像技術,也需要搭配特殊雷射光源來提供全像呈現所需,不同於今天VR眼鏡慣用的LED光源。

祖克柏還展示了一款VR眼鏡的原型設計Mirror Lake,集結了Reality Labs部門過去7年的研究成果,採用了HoloCake 2的顯示系統,包括了變焦鏡頭、眼球追蹤、失真校正技術、餅乾鏡頭設計等,要整合到一個小巧、方便穿戴的護目鏡眼鏡設計,來提供混合實境的真實3D顯示方式。不過,Mirror Lake只是一個概念設計,Meta還沒有真正實現這樣的架構。

祖克柏坦言,Mirror Lake還需要好幾年才能實現。「因為真實感VR是一個全新的技術,不是改進手機或電視的顯示器,如果可以實現,將會帶來VR體驗非常大的改變。」文⊙王宏仁

祖克柏展示一款VR眼鏡原型概念設計Mirror Lake,集結了過去7年的研究成果,整合到一個小巧、方便穿戴的護目鏡眼鏡設計,來提供混合實境的真實3D顯示方式,但目前還沒實作。

熱門新聞

Advertisement