AR如何塑造另類新現實

碁峯出版

本書的主題並不是虛擬實境（Virtual Reality，VR），但AR與VR之間的差異值得了解。

使用VR時，你會戴上一組特殊的頭戴式裝置，阻擋你對於物理世界的視野，以完全由電腦產生的環境取代真實世界。

1996年在University of Washington（華盛頓大學）人類介面科技（Human Interface Technology，HIT）實驗室，由Hunter Hoffman與David Patterson所開發的SnowWorld就是第一個沉浸式的VR世界（immersive VR world），設計用來減輕成人與小孩的疼痛感覺。Snow World專門開發來幫助燒燙傷病患在傷口照護的過程中減緩痛苦。Hoffman解釋了VR如何協助病人將注意力轉離他們當下的物理現實以緩和疼痛：

疼痛的感覺需要有意識的注意力。VR的要素就是讓使用者有進入到電腦所產生的環境中的幻覺。被拉到另一個世界會耗去很多的注意力資源，這使得能夠投入處理痛覺訊號的注意力資源所剩不多。

VR仰賴沉浸在另一個時空的幻覺，那通常是與你目前的現實非常不同的時空。在AR中，你的意識仍然留在物理世界中，而是讓虛擬的事物藉由一對透明的數位眼鏡、智慧型手機、平板或可穿戴的電腦進到你的周遭。你還是可以用你的感官看到和經驗周圍的實體世界，只不過它現在經過數位式的增強而且能夠變動。

AR提供實用體驗的一個早期應用是Word Lens。想像你到一個新的國家旅行，而且你並不熟悉當地語言。若沒有人協助，看菜單點餐或閱讀路標，都可能很有挑戰性。Word Lens讓你能夠將智慧型手機對準外國語言的印刷文字，即時將之翻譯為你選定的語言。突然之間，藉由這種新得到的情境式理解輔助科技，你更加地沉浸在周圍環境並參與其中。

VR會有它專門的用途，而AR則能讓我們更加融入真實世界並與之產生更深的連結，也就是我們的時間與注意力主要都投注於其上的這個世界。就跟VR一樣，我們必須察知AR中我們「注意力資源」耗用的情形，並設計不會進一步隔離我們與周遭或彼此的體驗。我們必須批判性地思考如何將人類經驗放在這種新媒介的中心。這並非要讓我們迷失在我們的裝置中，而是使科技逐漸退居幕後，以讓我們更能專注於人類時刻。

何謂擴增實境？

AR最常見的定義是一種數位覆蓋層（digital overlay），疊加於真實世界之上，由電腦圖形、文字、影片與聲音所構成，能夠即時（real time）與之互動，可透過智慧型手機、平板、電腦或配有軟體與鏡頭的AR眼鏡來體驗。你可以使用AR指向夜空來識別恆星與行星，或以互動式的AR指南沉浸於博物館的展覽。AR提供了以前所未見的方式更深入理解與體驗我們世界的機會。

我們用的是1997年由AR先驅Ronald Azuma提出的相同定義，如他簡潔的說明所述：「AR能讓使用者看見有虛擬物件疊加於其上或與之結合而成的真實世界。因此，AR增補了現實，而非完全取代之」。

傳統上AR技術運作的方式是使用適當裝置（像是智慧型手機）上的鏡頭與軟體追蹤真實世界中的目標。這些目標可能是圖示、影像、物件、聲音、位置或甚至是一個人。目標的輸入資料由軟體來處理，並與可能有相應資訊的資料庫進行比對。若有找到符合的，就會觸發AR體驗，將內容疊加在現實之上。

Azuma的定義指出，AR系統有下列三個特徵：

• 結合真實與虛擬

• 可即時互動

• 以三個維度（3-D）定位

定位（registration），也就是第三個特徵，是為了將虛擬物件準確地與真實世界中的3-D空間對齊。若沒有精確的定位，虛擬物件存在於物理世界的幻覺就會解除，不再有可信度。所以，如果一個虛擬的AR檯燈看似好像飄浮在你實體辦公桌上方，而非直接定位於桌面上，除了讓你以為辦公室鬧鬼外，這種技術上的差錯也打破了那個檯燈存在於你空間的幻覺。但若為那個虛擬物件加上陰影，它的可信度就會變得更高，因為這反映了你物理環境的特徵。

AR如何演進？

就我來看，這個定義若要用於今日，其中缺少的會是「情境（context）」這個關鍵字，而這也是下一波的AR與之前AR的分別。情境資訊之所以能夠增強AR的體驗與內容，是因為現在它們從對每個使用者都相同的經驗，轉變為了專屬於你的體驗，依據你的位置、興趣和需求量身打造。情境奠基於定位（registration）這個特徵之上，因為它就是將相關且有意義的資料「定位」或合成到真實世界中，為你創造個人化的體驗。

在新的AR中，這種情境資訊的成功取決的不是如何讓虛擬檯燈看起來好像完美地安置於你的實體辦公桌上（如1997年的定義所述），而是讓檯燈在適當的時機出現，例如你需要更多光線的時候，或甚至自行熄滅，來提示你下班的時間到了。定位的技術問題將會被解決，而雖然它重要性依舊，我們的焦點將會轉向如何提供有意義且引人入勝的體驗，以提升你現實的舒適性。

目標比對的程序現在變得更為複雜，因為不再有與事物的靜態圖書館連結的「點擊播放（hit play）」過程，像是教科書上的恐龍照片觸發顯示於AR中的3-D模型。今日，那個3-D模型與體驗將會依據某些因素動態調整，例如學生在課程計畫中的進展情況，甚至是學生的學習風格。因此，下次學生回到那本AR教科書時，恐龍的種類已經改變，並且整合了她感興趣的其他主題。AR科技變成有生命會適應的資料庫：互動中觸發器與內容都是動態的，隨時都可能改變，因為它們會根據你變動的情境資料，在適當的時機遞送你及你的環境所需的相關資訊和體驗。

我們早該重新審視AR所代表的意義，以及它能夠成為什麼，特別是在AR不再限於學術研究機構的現在。早期的AR需要高度專門化的設備，全都不是很容易移動的。但現代智慧型手機上的感測器，讓這些科技將會持續變得更無所不在，透過謹慎地內嵌於你衣服或眼鏡，甚至皮膚底下的可穿戴式計算裝置。

像是Apple、Facebook、Microsoft、Google與Intel這些大公司非常密切地關注AR的發展，並投注資金在AR的未來，希望將它們帶到大眾市場。Facebook的CEO，Mark Zuckerberg稱AR為「一種新的溝通平台」，他寫道：「我們相信這種沉浸式的擴增實境總有一天會成為數十億人日常生活的一部分」。

Apple的CEO，Tim Cook視AR為「像智慧型手機般的偉大創意」。Cook說道：「我認為AR就是那麼重要，它的未來無可限量。我之所以感到興奮，是因為它能夠做到的事情可能改善許多人的生活，也可以提供娛樂」。2017年，Apple在年度的World Wide Developers Conference（WWDC，蘋果全球開發者大會）上推出了ARkit，它是用來為iPhone和iPad開發AR apps的尖端平台。在WWDC的主題演說中，Apple的軟體工程資深副總裁Craig Federighi稱ARkit是「全世界最大的AR平台」。

AR的重點是擴增人類體驗，而它不會單獨發展。AR會帶來的真正衝擊將發生在它與其他平行發展的技術結合成為一種超級媒介之時，像是可穿戴式運算、感測器、物聯網（Internet of Things，IoT）、機器學習，以及人工智慧。

我稱之為「Overlay（覆蓋層）」的第一波AR，主要與覆蓋在現實之上的數位層有關。Overlay的實例包括棒球選手的3-D模型虛擬地出現在棒球卡上，或顯現在啤酒杯墊上的擴增實境猜謎遊戲。等你之後再次回到這種AR體驗，它幾乎不會有什麼變化，通常還是有完全相同的內容，沒提供多少誘因讓你想重複經歷它。在這第一波的AR中，你經常也得下載並印出特定的圖像或目標，以觸發AR體驗。

我們正進入第二波的AR，我將之稱為「Entryway（通道）」，它們創造了更擬真的整合式互動體驗。Overlay與Entryway之間的關鍵差異（也是創作有意義的AR體驗之祕訣）在於你。你是Entryway中的推動力，也是定義整個體驗的情境脈絡。

不同於Overlay，這下一波的AR超越了印刷出來的目標，邁向新的空間理解，以及對你環境更深入的認知。整個世界變成一個可追蹤的目標。在Entryway中，我們突破了第一波中覆蓋層的限制，進入一種新的感官意識，加深我們與世界和彼此的互動。

配備有感測器的新式AR智慧型手機，例如以Google的AR技術平台Tango為基礎的Lenovo Phab 2 Pro或Asus ZenFone AR，都是Entryway的絕佳實例。Tango技術包含了動作追蹤（motion tracking）和深度感知（depth perception），讓裝置能在物理世界像人類一樣辨明方向。

當你手持裝置在房間中移動，感知深度的相機看得見你所看到的，並且能夠辨識出物理邊界和周圍環境的布局。它能認出牆壁在哪裡、地板位於何處，甚至是傢具的位置。在不遠的將來，像是Tango的這種技術將使新類型的日常體驗變得可能，例如為你的孩子閱讀床邊故事。想像床腳變為了虛擬越野卡車，你看著一隻猴子從梳妝台跳到了檯燈上，同時有隻獅子安穩地睡在梳妝台上。你的實體環境與故事世界整合了在一起，讓你直接進到了故事中。

通往你感官的入口

Microsoft Kinect為AR科技辨認真實世界中目標的方式帶來了重大的轉變。Kinect有助於讓你融入AR體驗，因為你到處移動的身體現在變為了可追蹤的目標。在Kinect之前，AR目標通常都是靜態的，而且限於像是印刷圖像的那種東西。這個技術為更為互動式的體驗敞開了大門，讓我們得以更清楚地看見與感測你及你的動作，甚至有能力辨識你的臉部表情和你的感受。

Kinect的發明人Alex Kipman（也是Microsoft的AR頭戴裝置HoloLens 的發明者）將Kinect帶來的衝擊描述為「巨大的轉變，我們將整個電腦產業從我們必須理解科技的這個舊世界搬到了這個新世界，其中科技消失了，而它開始更透徹地理解我們」。

AR科技不只看得到我們和我們周遭的環境，也開始了解我們的活動，並回應我們。我們與科技互動的方式變得更加自然，因為科技消失了，體驗變為中心，這就是Entryway。

Entryway的關鍵在於全新層次的沉浸（immersion）：我們透過Overlay之鏡在新的維度以我們所有的感官體驗虛擬。讓人類感官超越虛擬，與真實建立更密切的關係，將是這下一波AR最重要的目標。舉例來說，擴增音訊常與視覺畫面搭配出現，但聲音也可以單獨用於AR，不一定要有顯示的部分，甚至可與其他感覺整合。除了視覺與聽覺外，現在我們也能以觸覺、嗅覺和味覺感受數位現實，甚至創造新的感官。

在Entryway中，AR擁抱了新模式的虛實混合體。AR為物理世界注入了數位特性，而虛擬事物則獲得了新的觸感。觸覺科技能讓人體驗觸碰的感覺，使用氣壓場（air pressure fields）、可變形螢幕（deformable screens）或特殊控制器之類的介面來感受數位現實。舉例來說，AR讓我們可以伸手撫摸虛擬貓咪，實際感受到貓毛的柔軟，以及牠高興咕嚕叫時的振動。

藉由像是「Electronic Taste Machine」和「Scentee」的裝置，味覺和嗅覺也變得可能，這兩者皆為倫敦大學城市學院（City University London）普適計算（Pervasive Computing）教授Adrian David Cheok的發明。Scentee是插入智慧型手機音訊接頭的一種小型裝置，能讓你發送會釋放香味的嗅覺訊息。Electronic Taste Machine 則使用金屬感測器讓你的舌頭有體驗到各種味道的錯覺，從酸到苦、鹹到甜都有，取決於通過電極的電流為何，這致使你的大腦產生虛擬的味覺感知。

Cheok希望讓我們用所有的五官與電腦互動，就像在物理世界中那樣，他解釋：

想像你正在看你的電腦桌面、你的iPhone或你的筆電，所有的東西都隔著一面玻璃，在一扇窗後面，你要不是觸摸玻璃，就是透過玻璃觀看。但在真實世界中，我們能夠開啟那面玻璃，打開窗戶，我們可以觸碰，我們可以嘗味道，我們可以聞氣味。

這下一波的AR能讓我們「開啟那扇窗」，增強人類的感覺器官。

人腦能將數位化的電化學訊號解讀為意義，甚至是新的感官體驗。人類目前看不到像是無線電波、X光或伽馬射線（gamma rays）之類的東西，因為我們沒有適當的生物受器（receptors）。並不是說這些東西是無法被看見的，人類看不見它們（至少是目前還看不到）是因為我們沒有配備合適的受器。AR不僅能賦予我們的視覺這種新的超能力，還能讓我們運用整個身體全面地體驗廣泛的資訊和資料。我們擁有的科技能讓我們以令人驚奇的方式參與並了解我們的世界。

跨產業的AR

讓我們來看看已受這新一波AR影響的幾個產業。

擴增健康

AR能讓醫療從業人員與人類解剖構造成比例的虛擬3-D模型互動。內科醫師現在可以操作數位模型，或甚至3-D列印出某個療程的不同階段。近來觸覺科技的發展，未來將能讓外科醫師實際在虛擬大腦上練習手術，在進行真正的手術之前，以完整的觸覺感受模擬手術過程。

擴增學習

今日我們可以使用AR來追蹤臉部表情，看看學生是否正遭遇困難。在不遠的未來，教師將能夠用這種技術來調整或量身訂做適合學生的課程內容。譬如說，如果你正透過AR裝置參與遠距教學或觀看課程影片，而你看起來感到困惑，就會自動出現更多的說明。或者，你看起來心不在焉，就會有問題跳出來要你回答。

擴增零售業

AR目前能讓你預見產品出現在你家中的景象，例如傢俱，或穿戴在你身上的樣子，例如手錶或衣服。新的技術進展將不只能讓消費者看到產品的樣貌，還能讓你觸摸感受它們。

擴增協作

AR已經能夠提供維修教學，有能力讓你與他人共享視野，並接收即時的指導。能進行即時遠端協作的新設計程序也即將出現，將會改變我們跨越長距離工作的方式。舉例來說，人在日本的建築師可以出現在加拿大與當地的建築工人商談，在工作現場進行互動，充分參與施工過程。

擴增娛樂

未來的某一天，你將不再需要電視：你的AR頭戴裝置將成為你的娛樂中心，充滿個人化的內容。不論是你最愛的歌手出現在你家中唱歌給你聽，或是在開放場地比賽闖蕩虛擬迷宮，這些新式的數位內容都將為你量身裁製，並與你的物理環境共存。

今日的AR：專注於人類體驗

12年前我剛開始參與AR發展時，這個領域作為一個整體的主要焦點是技術，內容要到很後來才出現，即使有的話，通常也是未事先設計過的拼湊品。在多數研究人員和開發者都專注於解決AR定位和追蹤問題的那時，我很幸運地成為了加拿大多倫多約克大學（York University in Toronto, Canada）一間非常獨特的實驗室的一員，由Caitlin Fisher 博士所帶領，在那裡我們研究的是未來的AR故事創作。我們的實驗室與當時的其他研究機構非常不同：我們的成員出自美術和電影學系，而那時大部分研究AR的大學實驗室都屬於電腦科學系。其他的實驗室通常聚焦於AR技術研究的特定領域，專門發明或改善那些技術，而我們的實驗室則以內容和體驗的創造為中心。

在我們的研究方法中，我們並不預設任何的軟體或硬體。科技啟發我們所設計的體驗，但我們不讓自己侷限於AR的任何技術限制之內。有許多實驗室研究如何解決那些問題，尚未被探索的領域是內容創作，以及這種科技能夠促發何種新的體驗。我們實驗了多種新興技術，以新的方式結合它們，將之推向極限，以超越AR傳統上所能做的事情。如果所需的技術尚不存在，我們就與工程師和科學家合作創造它們。

2009年，我們的實驗室開發了SnapDragonAR，最早的商業化拖放（drag-and-drop）軟體工具之一，能讓非程式設計師建造體驗並對這種新的媒介做出貢獻，讓教育工作者、藝術家、電影從業人員和一般大眾得以接觸AR的創作。這為所有創作者開啟了內容製作的大門。我們將AR的世界拓展到了電腦科學的技術領域之外，讓今日在AR業界工作的創新者繼續沿著此路徑發展。

AR不再只是關於技術，而是我們想如何藉由這種新科技在真實世界中生活，以及我們如何設計有意義且能幫助提升人類文明的體驗。過去十年間，AR的技術、大眾對它的認識及其重要性已有非常驚人的進展。現在我們有了這種不可思議的科技，我們想拿它來做什麼呢？這是我們定義AR發展軌跡的同時想要合力找出解答的問題。我們需要跨越商業、設計與文化領域的領導者來幫助我們在這個快速崛起的產業中引導與實現新的體驗。AR將會徹底改變我們生活、工作與休閒的方式。（摘錄整理自《擴增人類：科技如何塑造新現實》）

擴增人類：科技如何塑造新現實（Augmented Human）

Helen Papagiannis／著；黃銘偉／譯

碁峯出版

售價：300元

作者簡介

Helen Papagiannis博士