更多

    隔空打字智能點擊 Facebook 展示未來 AR 輸入

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    在 AR 或 VR 環境的人機介面仍有待突破, Facebook 展示正在研究的手腕帶,通過超低阻礙輸入機制( Ultra low-friction ),配合情境感知人工智能( Contextual AI ),讓用戶稍微移動手指,能夠作出智能點擊,按下虛擬按鈕去控制 AR 物件。這技術可造出隔空打字動作,甚至有反饋效果提供觸覺。

    Facebook 技術總監 Mike Schroepfer 稱, AR 最難解決便是輸入,現有的技術並不適合,於是投入大量資源研發創新技術。 Facebook 在 2019 年收購 CTRL-Labs 之後,併入 Facebook Reality Labs 研究中心,開發未來控制 AR 設備的手腕帶。

    FRL 研究科學主管 Sean Keller 介紹智能點擊技術的背後原理,手腕內置 EMG (肌電圖)感應器,接收從脊髓一路傳往手腕和雙手的運動神經電子訊號,轉譯為操控裝置功能的數碼指令。即使只有 1 毫米的手指動作, EMG 亦能偵測。他又說,探測手腕比語音等其他輸入方式更準確,既有私隱和可靠的考慮。

    通過肌電圖感應器探測運動神經電子訊號,轉化為電子訊號控制用戶介面。
    通過肌電圖感應器探測運動神經電子訊號,轉化為電子訊號控制用戶介面。

    用戶日後戴上手腕帶,可作出隔空打字的去輸入。 Keller 甚至認為, EMG 可以比實體鍵盤打字更快,因該技術加入人工智能,學習用戶獨特的打字風格,只要系統適應了便能成為個人化的虛擬鍵盤。

    FRL 同時又展示這套手腕帶技術能夠運用在傷健人士身上的可能性。示範中,一位先天失去幾根手指的傷殘人士在學習幾分鐘之後就掌握運用 AR 空間中的虛擬手指,為傷健人士重回正常生活帶來希望。

    FRL 展示運用手腕帶技術,先天失去手指的用戶能在幾分鐘之內掌握運用 AR 空間的虛擬手指。
    FRL 展示運用手腕帶技術,先天失去手指的用戶能在幾分鐘之內掌握運用 AR 空間的虛擬手指。
    Facebook 在去年的 Facebook Connect 已示範過手腕帶概念。

    該人機介面還提供智能點擊( intelligent click ),根據當前環境在虛擬介面提供選項,手指輕微觸動便確認點擊。介面利用情境感知人工智能,去推算用戶的需要,提供選項。例如 AR 識別到用戶正在打開即食麵包裝,就會顯示時間器控制煮水。

    從 AR 設備看到的用戶介面,根據當前的情況由人工智能分析場景提供選項。
    從 AR 設備看到的用戶介面,根據當前的情況由人工智能分析場景提供選項。

    這手腕帶亦有觸覺反饋。以虛擬弓箭為例,透過手腕觸覺,能夠模擬拉開弓弦的感覺,讓用戶覺得正確執行這動作。

    虛擬弓箭模擬拉弓的感覺。
    虛擬弓箭模擬拉弓的感覺。

    FRL 研究科學經理 Nicholas Colonnese 補充,手腕帶其中一個原型「 Bellowband 」,設有 8 個氣動波紋管,可以控制波紋管中的空氣,將其轉譯為有趣的壓力和震動觸覺反饋。另一款原型是「 Tasbi 」,即觸碰和擠壓手環介面( Tactile and Squeeze Bracelet Interface )的縮寫。 Tasbi 是以 6 個觸覺致動器所組成,外加創新的手腕擠壓機制。透過 Bellowband 和 Tasbi ,嘗試過無數種虛擬互動模式,例如測試虛擬按鈕剛性的差異性。

    Keller 最後總結,這只是 AR 輸入的技術預覽,可能要用上十年時間去開發,並非短期內會實現的技術。

    您會感興趣的內容

    相關文章