VR和MR版的Pokémon GO，微動是這么玩的

編者按：本文來自手勢交互方案提供商 鋒時互動 的投稿。

Pokémon GO 讓 AR 和手游、街頭甚至社交相結合，僅僅是這幾個關鍵詞就足夠吸引人，再加上 Pokémon 這一世紀大 IP，好像不火反而沒道理。但是在手機上用長按→滑動的觸屏操作模擬“拋出”精靈球，將寶可夢收入其中……會不會有些略顯拘謹和中二？雖然國服還未開放，但是中國玩家對 Pokémon GO 的思考和想象并不少，Pokémon GO 確實帶給我們很多驚喜，但是玩家最期待看到的不是技術最初級的樣子，而是將之與最適合的技術表現形式相結合，從情節設計和操作方式來看，VR/MR+手感操控或許能帶給玩家更爽的體驗。

開腦洞容易，但實現呢？

我們和 易瞳科技 一起嘗試了 VR 和 MR 版 Pokémon GO，寶可夢從手機屏幕中解禁，玩家可以抓住想要選擇的精靈球，在眼前調整角度瞄準后沖著寶可夢拋出。如果你遇到的是一只剛烈而又狡猾的寶可夢，為了避免被帶節奏，還可以打圈兒扔出最強旋轉精靈球、投喂食物，大概沒有哪只寶可夢可以從玩家手中逃脫了。

關于開發教程

相信各位老司機們對 VR 的了解已經非常透徹，微動和易瞳攜手做的這段 demo 除了想要幫大家解鎖抓寶可夢的新姿勢，還想把 MR+手感操控的技術表現形式普及給大家，以下為開發教程，除此之外 SDK 也可以在微動 Vidoo 官網免費下載，期待開發者在吃下這記良心安利后會有更多大作產生。

手感操控：

首先，通過微動的雙目深度傳感器得到深度圖像。在深度圖像中，我們通過修改每個像素 RGB 的值用以標定該像素與傳感器之間的距離。當我們觀察深度圖像時，會發現其效果與我們熟悉的紅外熱成像圖像類似，只不過我們把溫度替換成了距離。下圖中，左側為深度圖像，右側為原始圖像。通過觀察可以看出，距離越近的區域，顏色越紅；距離越遠的區域，顏色越藍。

其次，我們將深度圖像中符合人體手部特征的部分分割出來，進行手部姿態、動作的識別。這里需要指出的是手勢識別算法是基于深度圖像而不是普通圖像的。這樣可以方便我們獲得手部每個點的深度信息。從而還原出整手的骨骼結構。如果我們想要與虛擬物體進行觸碰式的交互，骨骼結構是不可缺失的技術前提。

最后，我們通過算法將傳感器坐標系（包含手部骨骼空間信息）、虛擬世界坐標系（包含所有虛擬物體的空間信息）、現實坐標系（包含環境信息和手部信息）這三個坐標系對齊。這樣，我們可以將檢測到的手部骨骼與真實的雙手對齊；將虛擬物體與現實環境對齊。當真實的手部觸碰到虛擬的物體時，將會產生類似鼠標點擊的事件，來驅動程序的執行，具體到 Pokémon GO 里面，就是投喂小精靈，扔出精靈球等操作。

革新人類視覺感知的能力，不僅涉及到對現實進行數字疊加，還需要用到增刪改等其他視覺修飾手段，從上世紀 90 年代開始，MR（介導現實）的研究逐步在多倫多大學的 HI 實驗室中展開，一批頂尖學科人才從 HI 實驗室脫穎而出。

MR 顯示

接下來，我們要做的就是在空間當中顯示 Pokémon GO 中的游戲元素，并且讓皮卡丘和精靈球顯示在合理的空間范圍之內。我們采用視頻透視技術，通過雙目攝像頭實時采集你看到的“現實”世界并將之數字化，然后通過計算機算法實時渲染畫面。這樣做完既可以完全疊加虛擬圖像，也可以看到的經過計算機渲染后新的“現實畫面”。滿足了我們對于虛擬物體和現實環境同時存在的需求。

在解決了交互和顯示核心技術之后，在 Unity3D 里面加入相應的 SDK，調整下流程邏輯。MR 版 Pokémon GO 便誕生啦！

介導現實技術 MR

值得注意的是本文提到的“MR”并非“混合現實”。MR 是介于 VR 與 AR 之間的技術，名為介導現實技術，由“智能硬件之父”多倫多大學教授 SteveMann 提出的介導現實，全稱 Mediated Reality（簡稱 MR）。VR 是純虛擬數字畫面，包括 AR 在內的 Mixed Reality 是虛擬數字畫面+裸眼現實，MR 是數字化現實+虛擬數字畫面。

MR 也并非近幾年才出現，上世紀七八十年代，為了增強自身視覺效果，讓眼睛在任何情境下都能夠“看到”周圍環境，Steve Mann 設計出可穿戴智能硬件”Digital Eye Glass” 作為視覺輔助設備，這被看作是對 MR 的初步探索。

至此，已完成了手感操控的基礎部分，后續將進一步在 Unity3D 中完善事件的邏輯，完成 Pokémon GO 中將精靈球、食物拋向小精靈的功能。

“手感操控”非“手勢識別”

手感操控不等于手勢識別，手感操控包括手勢識別。手感操控要滿足以下三個基本點：

• 手感操控一定要有深度信息，傳感器要知道手離用戶有多遠。
• 手感操控包括手勢識別。手勢識別通過圖像算法更新得到手部姿態和手部動作指令，將手的深度信息和手勢識別信息相疊加，得到：手離我有多遠，手在做什么的完整信息，才能稱為手感操控。
• 在 VR 中，手感操控要給用戶提供真實的手部圖像。通過算法把手部影像拉近到和用戶真實的前庭感官同步，能看到深度信息，給用戶最真實的操控的感覺。如果用戶看到的是機械的手或者模擬的手，交互友好度會大打折扣。

微動 Vidoo 是可以應用于移動端的手感操控設備，可以完成手部影像坐標系與虛擬世界坐標系的重合，構建 1：1 的虛擬手感操控空間；交互過程中使用原始的手部圖像，使用者就像是在用自己真實的雙手與 VR/AR/MR 世界中的虛擬物體進行交互；不再使用頭部瞄準作為選擇的工具，讓顯示交互與指令交互分離。微動的下一代產品，將雙目模組作為傳感基站，可同時進行手感操控、空間定位、光學手柄的檢測，致力于打造完整的虛擬現實交互解決方案。除此之外它還將致力于為車載電子、全息投影、智能家居等前沿領域提供手感操控的軟/硬件解決方案。

微動 Vidoo 和易瞳在硬件和軟件層面已達成深入合作。易瞳科技 CTO 艾韜師承 Steve Mann，曾帶領團隊在計算機視覺，計算機攝影等領域取得多項技術突破，最終將 MR 概念落地為產品。2016 年 8 月，易瞳科技推出全球首款 MR 智能眼鏡“易瞳 VMG-PROV”（下圖）。