NEC整合穿戴式裝置與擴增實境技術，讓手臂就是系統輸入介面

早期所發展的擴增實境（Augmented Reality，AR）大多體現在娛樂應用，像是讓鏡頭拍攝一張圖像時，接著就能在一旁的螢幕或平板畫面上，顯現攝影鏡頭捕捉到的實景之外，並自動顯現生動的虛擬影像。

近年來，AR應用越來越夯，並有許多企業能夠應用的情境與方案，像是與平板結合應用，將系統資訊與實景整合，以提供更主動與視覺化的應用，對於設備檢查與維護很有幫助。

像是現場工作人員可以拿著平板電腦，以裝置內建的相機掃描設備旁的QRcode，就能在平板畫面上顯示AR擴增實境的內容，包含設備的維護、檢查指示、維修紀錄等，也就是可以直接提供更多的資訊內容在實景之中。

另一方面，穿戴式裝置應用也是未來技術的熱門議題，在醫療、娛樂、運動健身等領域已經率先發光發熱，同時企業也正積極找尋相關應用情境，不過，雖然穿戴式裝置夠便利，但也受到一些技術的限制，使得輸入操作沒那麼方便。

AR技術加持，讓穿戴式裝置也能顯示鍵盤並操作

今年NEC在日本東京舉行的C&C User Forum & iEXPO2015大會帶來的新技術，則是更進一步讓AR技術與穿戴裝置有更好的結合，如智慧眼鏡與智慧手錶，組合結果相當令人驚艷。

NEC新推的這種手臂虛擬鍵盤應用，稱之為ARmKeypad，主要利用智慧眼鏡與智慧手錶來實作，該眼鏡可用來幫助使用者看到手臂上的虛擬鍵盤，而智慧手錶來偵測確認觸控位置，做到輸入操作的目的。

（圖片來源／NEC）

新的技術組合讓ARmKeypad應用具有實用性

基本上，ARmKeypad結合了AR擴增實境與穿戴式眼鏡、手錶連動的應用方式，能在手臂呈現大型的虛擬鍵盤，供使用者打字與輸入指令。

（圖片來源／NEC）

ARmKeypad結合自動提示、辨識和輸入，提升工作效率

這種將鍵盤直接呈現在手臂的方式，讓行動工作者在工作時，不需要再用手拿取其他裝置，就能直接看到提示或警告訊息，並且做到打字輸入與控制，使工作流程不中斷。不論是設備保養維修、庫存管理等業務，或是機動性的現場外勤人員，都可增加工作效率。

（圖片來源／NEC）

NEC早期曾發展利用手臂操作IT系統的技術

其實，與手臂相關的操作解決方案，在過去就有很多設想，像是NEC本身也提出過，利用配戴在手腕上的加速度感應器，偵測使用者拍打手臂的位置，進而傳達操作指令。

基本上，使用者只要戴著眼鏡往手上一看，馬上就能透過智慧眼鏡看到虛擬鍵盤顯示在手臂上，讓工作現場能夠不用帶著平板等手持設備，就能直接進行設備操作，因此可對應免持式作業的工作情境。

我們也可以說，與之前的AR技術應用相比，ARmKeypad的概念就是要以穿戴式裝置取代手持式裝置的使用，讓工作方式更直接。

進一步了解ARmKeypad的運作原理，主要是從智慧手錶開啟應用軟體，並顯示相對應的QR Code資訊，當使用者看著自己的手臂時，智慧眼鏡上的攝影鏡頭，就能捕捉到手腕上的智慧手錶，並識別上面的QR Code，以對應顯示軟體的虛擬鍵盤畫面在智慧眼鏡上，讓使用者可以同時看到一個系統資訊與實景整合的畫面。

而這個虛擬鍵盤介面，將顯示在你戴的智慧手錶旁的手臂區域，透過智慧眼鏡上方的攝影鏡頭，就能偵測使用者指尖所按到的AR虛擬鍵盤位置，同時，透過智慧手錶的加速度感應器，來偵測觸控的時間。如此一來，便能輸入到智慧手錶的應用軟體上。

當然，ARmKeypad可以根據不同應用軟體，自動調整需要的虛擬鍵盤畫面，以對應各種的使用場景。甚至，智慧手錶上的顯示畫面，也能變更為連動的使用者介面。

同時，在觸控輸入過程中，由於這樣的操作方式是在使用者自己的手臂上進行，用戶本身可以有較具體的感受，來確認觸控操作，這也顯然讓實體與虛擬的結合性更高。

不僅如此，此方案為了適應各種情況，也提供了更多控制能力，像是在無法使用鍵盤時，能搭配語音輸入的方式作業。

擴增實境與智慧眼鏡、手錶連動，改變輸入操作體驗

使用者只要戴上智慧眼鏡，然後往戴著智慧手錶的手上一看，就能在智慧眼鏡上看到顯示在手臂上的虛擬鍵盤，並可直接觸控操作。

能在手臂上顯示虛擬鍵盤並操作

使用者透過智慧眼鏡所看到的畫面，就跟圖中平板電腦所顯示的畫面相當，是一個系統資訊與實景整合的介面。只要觸碰虛擬按鍵的位置，就能開始操作虛擬鍵盤，使用方式非常直覺。

（圖片來源／NEC）

現場作業毋須仰賴手持電腦或行動裝置，雙手更自由

現場工作人員要操作設備時，不用手持裝置，就能透過智慧眼鏡看到虛實整合的畫面，並有夠大的輸入範圍去操作。

提供免持應用，並解決智慧眼鏡的輸入問題

相較於過去AR擴增實境的應用，ARmKeypad最大的優勢在於免持，讓使用者的雙手不用拿著具有顯示器、鍵盤元件的相關裝置，就能看到提示、警告，並直接輸入指令。

從另一角度來看，對於智慧眼鏡的使用方式而言，在資訊的輸入方面，一直是急需克服的一大課題。以往可能需要搭配按鈕、觸控感應器，或採手勢辨識等機制，現在NEC提出與智慧手錶、擴增實境搭配的方式，並以手臂作為觸控操作的基準。如此一來，使用者不需要再用手拿取其他裝置，虛擬按鍵區域範圍也能隨著自己的手臂區域延伸，鍵盤的版面配置也有高度的自由，操作也能有具體的觸感回饋，並且不用記憶特別的操作方式，同時針對操作準確性與反應速度加以優化，以提升操作效率。

利用智慧眼鏡看到虛擬鍵盤介面與實景的重疊影像

現場展示時，NEC搭配了Epson智慧眼鏡，智慧眼鏡的正中央區域具有顯示器，就是使用者能夠看到虛擬按鍵的關鍵，而智慧眼鏡上方的攝影鏡頭，則可以輔助捕捉使用者的輸入位置。

運用智慧手錶顯示的QR Code，啟動虛擬鍵盤

當使用者的智慧眼鏡朝向手臂看時，智慧眼鏡的攝影鏡頭能透過智慧手錶上顯示與應用軟體相對應的QR Code，進而識別該條碼，以對應顯示虛擬鍵盤於智慧眼鏡。這樣的輸入過程中也很有感，因為是在自己的手臂上進行，使用者在身體碰觸時，可更真實地確認觸控操作。

（圖片來源／NEC）

可適應各種作業情境的虛擬按鍵

可對應顯示軟體的虛擬鍵盤畫面，像是功能控制按鍵，或是全尺寸的英文輸入鍵盤、數字鍵盤，甚至是鋼琴鍵。

其實， NEC過去也發表過與手臂相關的操作技術，透過配戴在手腕上的加速度感應器，當使用者拍打手臂產生的加速度來判斷拍打位置（像是上手臂、下手臂前段或後段），進而傳達操作指令。只是，這樣的輸入方式會受到局限，不像虛擬鍵盤可以對應更多的操作選項，提供更直覺可視化的操作。現在這種穿戴式裝置與AR擴增實境的結合應用，算是為穿戴裝置的輸入問題帶來一種解法。

綜合來看，原本不易操控的穿戴應用，這一兩年已經在市面上看到各式不同的解法，多元的設計與應用方式紛紛提出，而從使用情境去考量企業要如合應用這樣的技術，應該是不錯的方向。NEC表示，現階段以製造業的應用情境最容易想像，像是設備保全、維護或品檢工作，以及庫存管理的業務，其他能夠應用的工作領域，還包括像是保全、流通、醫療等，需要免持裝置作業的使用情境。

未來，他們也將不斷持續發展與強化ARmKeypad，運用在設備檢查與管理的解決方案。