[情報] 蘋果AR眼鏡專利結合手勢控制使用者介面

蘋果AR眼鏡專利結合手勢控制使用者介面

情報來源：
http://bit.ly/2WUHu01

蘋果公司於2020年12月24日向美國專利商標局申請一項專利（US20200401804：VIRTUAL
CONTENT POSITIONED BASED ON DETECTED OBJECT），關於AR眼鏡配戴提供相關信息及結合手勢操作功能，該專利與蘋果傳聞即將推出了AR眼鏡配戴有關，例如，使用者在參觀博物館時，透過蘋果AR眼鏡能看到的繪畫或雕塑的資訊；又或是電影院海報透過AR眼鏡顯示即將上映的電影預告片的資訊。此外專利還涉及到蘋果的AR眼鏡如何與使用者手勢操作結合等。

蘋果宣稱，光學透視型（optical see-through）頭戴顯示器（Head Mounted Display，HMD）以穿戴式眼鏡裝置呈現，每隻眼睛都有獨立的透明鏡片。

蘋果專利申請詳述使用者如何以手勢與AR眼鏡溝通互動。

蘋果的發明涵蓋了提供CGR（computer generated reality，電腦生成實境）內容的裝置、系統和方法，在特定物件（如使用者的手）的表面顯示虛擬內容。

虛擬內容會與物理環境結合，呈現在使用者面前。透過選擇性的將虛擬內容顯示在相對於具有可以使虛擬內容更容易被看到或理解特性的表面上，改善虛擬內容的可見性。例如，顯示虛擬內容由使用者結合手勢，更容易操作。

實施例包含了使用位於頭戴顯示器上或與頭戴顯示器連結的感測器偵測和追蹤手勢對於頭戴顯示器的位置。在各種實施方式中，偵測和追蹤手的位置涉及將手的顏色或手的模型與深度圖（depth map）或類似的技術相關聯，藉此偵測和追蹤手的形狀、以及相對於頭戴顯示器的姿勢（例如手的方向和位置）。

蘋果的專利詳細介紹了使用手勢與AR眼鏡交流的情況。蘋果指出，在一些實施例中，利用手勢啟動或關閉在頭戴顯示器上顯示使用者手部虛擬內容的功能。例如，順時針或逆時針旋轉閉合的拳頭，可以開啟或關閉顯示虛擬內容的功能。

在一些實施例中，使用者可以根據物理環境控制（允許或阻止）在使用者的手邊顯示可用的虛擬內容。例如，在購物時顯示廣告或在參觀時顯示博物館或景點的資訊。

在一些實施例中，使用者根據物理環境，選擇顯示特定的虛擬內容。例如，當走在街上時，只允許在使用者的手邊顯示針對食品或餐館的廣告。

在一些實施例中，使用者可以根據需要對個別的CGR虛擬內容進行操作。例如，選擇（例如，用手指環繞）頭戴顯示器上可見的虛擬內容，在使用者的手上重新顯示該選擇的虛擬內容。或是，使用者用左手「抓取」虛擬內容，在右手處重新顯示該虛擬內容。

一些通信可以顯示在使用者的手掌上。在專利圖4A和4B中的實例中，可以看到使用者手中的卡片再進行溝通。

如圖4A中所示，在物理環境#405中偵測到了描繪物件#414和使用者握住該物件的手臂#410。在圖4B中，在CGR環境#430下顯示虛擬內容#470在物件前面。

在一個例子中，虛擬內容可以識別或提供關於物理環境中的物體的資訊。在另一個例子中，虛擬內容可以涉及與物理環境無關的物體。在一個例子中，在接收到虛擬內容時，該虛擬內容顯示於CGR環境中的物件給使用者觀看。

蘋果專利圖5是一個流程圖，說明了根據實施例，確定當前物理環境中合適的背景條件或背景位置以在CGR環境中疊加虛擬內容的示範方法。

從圖示例之流程圖：
取得物理環境的影像 -> 根據環境影像偵測可以顯示虛擬內容的物體表面位置 -> 確定虛擬內容位置，以顯示與物體表面位置相對應的虛擬內容 -> 提供CGR體驗，包括在虛擬內容位置顯示真實內容和虛擬內容

除了使用者的手部動作，蘋果還補充，使用找可以用任何一種感官，包括視覺、聲音、觸覺、味覺和嗅覺來感知和/或與CGR虛擬物件互動。例如，一個人可以感知和/或與創造3D或空間音訊環境的音訊物件互動。專利敘述是很抽象的，蘋果並沒有詳細說明「音訊物件」到底為何？
--------------------------------------
美國專利商標局公布蘋果新專利申請，這項專利允許使用者透過手勢，操控CGR下的虛擬內容，似乎是為傳聞即將上市的AR眼鏡鋪路。

--