🤏捏捏手指,将会是未来交互的主要形式
你用过 Apple Watch 上的「互点两下」功能吗?
食指和拇指在空中互相轻点两次,就能操控腕上的 Apple Watch 接电话、切歌,有点科幻,也显得抽象,一开始我以为这只是苹果秀肌肉的功能。
直到我戴上一支 Apple Watch S9,在做饭忙得不可开交时尝试这个动作接听电话后,我彻底成为了这个交互的忠实拥趸,互点两次也已经转变成我左手的肌肉记忆。
而在当我戴上另一款苹果产品——Vision Pro 之后,我对这个交互有了一个更惊人的发现:原来苹果的野心,从来不只在手腕上那块小屏幕而已。
图源:MacRumors
Apple Watch 是 XR 的说明书?
如果你将一台 iPad 递给从来没接触过任何智能产品的儿童,不出半个小时就会发现 ta 已经无压力上手了。
原因很简单,触控屏是一种非常直观的呈现和交互方式,基本上就是哪里亮了点哪里。
这也是为什么大语言模型生成式 AI 在今天备受欢迎:因为自然语言同样是一种门槛极低的交互方式,只要会说话,哪怕说得不太好,都能很好操控机器。在复杂交互上,有时候说话比传统触控还更高效。
而同样作为被给予厚望的下一代交互,XR 混合现实的情况完全不同,需要针对性地学习一套全新的隔空手势操作方案,并且这些手势也比较抽象,并不总与界面操作直观对应。
话是这么说,但我戴上 Vision Pro 之后,却发现一种异常的熟悉感:食指和拇指互点选中内容的动作,几乎和 Apple Watch 一模一样。
这不是一种强行对标,事实上,在 Apple Watch 双点功能的设置之中,就有一个「使用 Apple Vision Pro 时忽略」的开关,避免同时使用两种设备时发生误触。
除了 Apple Watch,苹果这几年也有越来越多产品,引入了体感交互。
比如 AirPods 的摇头点头,以及 iPhone 的眼动追踪,其实都很适合智能眼镜。
当然,反过来说,这些新功能也很可能来自 Vision Pro 的技术下放,因为 iPhone 上的眼动追踪,更多是作为一种辅助功能的形式出现。
但就结果而言,越来越多来自 Vision Pro 的技术和功能,下渗到了更主流的苹果设备上——这种现象,潜移默化影响用户的习惯,降低了用户未来对空间计算设备的学习成本。
并且,将手表/手环作为 XR 设备的导航方式,这种做法其实苹果的同行们也早有研究。
另一家 XR 巨头 Meta,一直在研究用手环操控电脑、手机乃至 AR 眼镜的方式。比如,去年 Meta 在发布面向未来的眼镜项目 Orion 时候,就曾经展示过一款可以配套使用的智能手环。
但手势操作不是 Meta 的终点,他们在《自然》杂志上发布了一篇论文,讲述了用手环「读心」的可能性:佩戴手环后,用户不需要做任何动作,只要去「想」做某些动作,手环就能读取这些想法,完成相应的操作。
图源:The New York Times
听起来有点科幻,但其实这完全是古早的技术:「肌电图」(EMG),能够收集前臂肌肉神经元的电信号。这项技术已经存在几十年之久,之前的杀手场景之一,就是帮助截肢者控制假肢。
当前臂肌肉活动时,脊髓中的神经元会产生电信号。这些神经元直接连接着各个肌肉纤维,因此产生的电信号特别强,能够直接从皮肤外部读取。这些电信号的传输速度,比肌肉发生事实活动还要更快——这就使得 Meta 的手环甚至可以预判用户接下来要做什么动作。
和这个手环几乎同一时间曝光的,还有 Meta 内部正在酝酿的智能手表:和 Meta 眼镜一样带有摄像头,不过目前不清楚它是否具备 EMG 能力。
Apple Watch 识别手势背后的技术,和 EMG 略有不同:它是通过加速度传感器、陀螺仪和光学心率传感器,检测手指的微小运动和血流变化的特征,准确获取用户的真实输入意图。
并且,今年一月份也披露了一份苹果 EMG 技术探索的专利,将传感器集成到一颗小小的 Apple Watch 上。并且专利也进一步展示了 EMG 手表和头显、耳机、眼镜以及平板、手机之间协同工作的可能性。
对比 Meta,苹果还有一个极大的优势:
用户不一定愿意额外戴一个长得不好看,并且只能用来操作 AR 眼镜的手环,但很愿意戴一个 Apple Watch。
甚至 Apple Watch 这个产品形态本身,也在为智能眼镜的普及铺设道路。
在爱范儿与苹果高管 Kurt Knight 的访谈中,他强调过 Apple Watch 作为一个迷你「电脑」的属性。
从这个角度去看,我们对身上长时间佩戴一个「电脑」这件事,已经习以为常,而下一步就是智能眼镜。
实用且可行的分体式 AR
目前的 AR 眼镜范本 Meta Orion,一共包含三种组件:
- 戴在头上的眼镜,作为显示界面
- 戴在手腕上的腕带,用于体感交互
- 负责计算功能的「大脑」——和电视遥控器差不多大的主机
比起大而全的 Vision Pro,用不同的组件各承担一部分功能,Meta Orion 真正做出了一款上头更轻薄、更能长时间佩戴的 AR 眼镜。
如果要将这三种组件,在形态或功能上和苹果生态一一对应,就能发现,Apple Watch 能充当用于体感交互的腕带,而 iPhone 本身就是一个自带操作系统和高性能的计算中心。
——这样看,苹果离一副 Meta Orion,其实只差一副用于显示的眼镜。
事实上,如果单论 AR 显示器眼镜,市场上已经不缺少这些产品,雷鸟、XREAL 等公司在这条道路上深耕多年,已经有效果相当优秀的产品问世。
XREAL One Pro
XREAL 也已经和 Google 合作,今年展示了 Project Aura,也是一副需要和计算单元配合使用的 AR 眼镜,为 Android XR 阵营树立了一个参考的标杆。
也就是说,其实我们离一副真 · AR 眼镜的距离,其实根本没有想象中那么遥远——甚至可以说,技术已经基本准备好了。
据彭博社消息,在 Vision Pro 遇冷之后,苹果确实正在探索打造一款必须和 iPhone 或 Mac 配合使用、专门用于显示的 AR 智能眼镜,有望明年上市。
还有一个乍一看无关,但结合起来看其实别有深意的爆料:
苹果正在为 iPhone 准备「桌面模式」,通过 USB-C 口连接外部显示器,就能提供类似台前调度的界面,非常适合用来演示和观看。
三星 DeX 模式,图源:The Verge
这种模式其实不算新鲜,现有产品在市场上的反响也平平,所以传出 iPhone 正在测试相关功能的消息时,确实有点让人摸不着头脑。
不过,换个思路,如果说它不是专门为了外接显示器,而是为 AR 眼镜而准备的界面呢?
手持三星手机的爱范儿同事,就尝试过将三星手机外接 AR 眼镜使用,表示体验相当不错,仿佛获得了一台随身电脑。
而在苹果这边,也许用户可以直接将 iPhone 作为触控板进行输入,也可以通过 Apple Watch,解锁完整的 XR 手势操作体验;眼镜内部也可以搭载摄像头,作为眼动追踪的输入口。
爱范儿之前也已经进行过讨论,认为 iPhone 以及智能手机已经演变成一种复合设备,在相当长的一段时间不会被智能眼镜等下一代计算终端取代。
因此,在智能眼镜技术和形态完全成熟,能够独当一面成为个人独立的计算设备之前,将 iPhone 继续当作计算的核心,眼镜专门作为 AR 显示的入口存在,再利用 Apple Watch 作为手势输入的方式,是更实用,并且离更多用户更近的方案。
这个路线,也能让苹果凭借 iPhone 和 Apple Watch 庞大的用户基数,在 XR 站稳脚跟。
并且这样的方案不是「Only Apple Can Do」,Android XR 阵营完全可以复制甚至超越。坊间有传闻,未来的 Android 操作系统将会内置 Android XR 系统,并且连接 Wear OS 手表进行交互。
对比举棋不定的苹果,Android XR 继续发挥百花齐放的优势,分体式单屏的 AR 眼镜 Project Aura 要做,全功能的头显 Project Moohan 也要做,而其他厂商也能打造自己的 Android XR 设备。
图源:How-To Geek
近几年发力 XR 平台的高通,前不久推出了全新的 AR1+ Gen 1 芯片,除了更强大的性能和更小的体积,还明示了芯片将支持与智能戒指协同,作为 Android XR 系统的一种输入方式。
这不仅是计算终端的演变,更是我们交互方式发生的重大变革:从手指为主的触控,转移到全身的体感交互。而其中,眼动是纯粹直觉的交互,能够和触控一样成为没有门槛的上手方式,但手势不是。
Apple Watch 和 Vision Pro 使用同一套手势交互,其实是在推动一种新的系统控制协议:无论你用的是什么设备,系统都能通过统一的感知机制和反馈机制理解你的意图。
这不仅是为未来做准备,而是未来已经悄然到来。只不过,它藏在我们早已习惯的手表和手机之间。
本文来自微信公众号“爱范儿”(ID:ifanr),作者:苏伟鸿,36氪经授权发布。