近期大家也看了很多苹果XR的消息,与其看各种爆料、不如从专利入手来看看苹果XR头显可能会有哪些不同的玩法。于是,我们就从苹果近年来有关AR/VR的数百篇专利中,选出可能会直接决定和影响XR产品体验的部分汇总出来。当然,这些专利不会集中在一款产品上,我们也无法准确告诉你苹果XR到底长啥样,但仍可透过专利窥探一二。

在整理近年来苹果AR/VR专利时,主要发现以下几个特点:


(资料图)

1)部分AR/VR专利来自此前收购的公司,比如PrimeSense、Metaio、NextVR、SMI、Spaces等等;

2)结构光、LiDAR测距、VST透视、数码旋钮、动态变焦等是苹果的创新重点;

3)探索多种不同的光学方案,衍射光波导、视网膜投影等等;

4)后期多项专利描述一种多透镜组的AR/VR显示方案,预计将与头显的VST摄像头阵列搭配使用。

目录

一,光学显示 二,眼球追踪 三,生物传感器 四,交互技术 五,VST透视 六,空间音频 七,定位系统 八,其它传感器 九,外观设计 十,UX设计 十一,应用场景

一,光学显示

◎ LBS微镜扫描方案+衍射光波导:编号US20190377181A1等

有多种不同的光路设计,甚至可能在相位光栅和波导之间插入反射偏振器,特点是可切换光束,改变反射光线、衍射光线的相对偏光。

◎ 视网膜扫描:编号US10681328B1

苹果描述了一种AR/VR视网膜投影系统,原理是利用微镜将像素逐个扫描到用户的视网膜上,好处是支持动态变焦,AR/VR图像中物体、表面可以显示在正确的视觉深度上显示。

◎ 可调光透镜波导

在2018年时,苹果曾探索基于LCoS+光波导的AR/VR显示方案,光学引擎位于眼镜框左右两侧,向用户眼前的光波导注入图像。除此之外,该方案的特点是搭载了可调焦透镜。

而在另一项专利(US11221488B1)中,苹果则指出调焦透镜可采用一个或多个液晶透镜,或是流体填充透镜、Alvarez透镜,特点是支持视力调节,缓解近视、远视等视力问题。

◎ 全息光波导+Micro LED

编号US20180321432A1,苹果在专利中描述了一种结合全息光学薄膜的光波导方案,采用Micro LED光源,特点是光线可根据观看角度重定向,从而形成立体视觉观感。

除了全息光波导外,苹果在另一项2019年的专利中(编号US20190285897A1),曾提到一种基于反射全息组合器的AR光学方案,具有半反半透特性。

◎ 折反射式光学系统

编号US20190146198A1,指出了一种折反射式方案的AR/VR挂钩难学系统,特点是由多层高透光透镜(玻璃或塑料材质)组成,可能包含平凸镜和平凹镜,具有折射和反射特性。而采用折叠光路设计的目的,是为了缩减头显光学模组的厚度。

◎ 流体调节透镜

专利编号US20200096770A1,指出了一种可动态调节的AR/VR透镜组,特点是在透镜之间加入流体夹层,以实现动态调焦、屈光调节的效果。液体层由电子机械泵控制,透镜之间的液体越多,距离就越远,由于左右眼光学模组是独立的,所以左右眼焦距可独立控制。

◎ 微透镜阵列方案(Lenticular Display)

在编号US20200103669A1、US20210072556A1、US11143865B1、US11187914B2、US20220035160A1、US20220146820A1等专利中,均提到了基于多个柱状透镜/微透镜组成的阵列光学方案(以圆弧形排列),好处是比单孔径透镜更薄,有助于缩小头显体积,而且FOV大,支持动态视角切换,适配多摄像头阵列的VST透视模组。

此外还详细描述了该光学方案的优化方式,比如采用louver薄膜来控制显示屏光线发射角度,从而减少串扰,或是加入反射镜来改变透视角度,将透视场景向用户“视觉拉近”,以显示更准确的场景深度/距离。

◎ 多层几何相位透镜方案

编号US20210048674A1专利中,苹果提出了一种用于显示立体感虚实融合画面的光学方案,特点是采用多层透镜结构,在不同的焦面显示不同物体,并拼接为沉浸、立体的场景。这种方案可以很好的模拟人眼动态变焦效果,但对光学、眼球追踪、软件算法等方面有极高要求。

◎ 可变色镜片

在2019年的一项专利(US11029521B2)中,苹果提出了一种叠加光致变色层的AR镜片方案,特点是在紫外线强光下可降低透光度,使AR图像在户外能更清晰显示。其原理类似于常见的变色眼镜,同时,变色机制可替代一些AR眼镜采用的遮光罩。

◎ 色散补偿光学方案:编号US20200117003A1

该方案旨在提升AR等近眼光学的光学效率和画质,特点是使用多种全息材料作为光栅介质,每种全息材料具备不同的光栅矢量、频率和方向,因此可以很好的消除色差。该方案可搭配偏镜、投影元件来组成光学方案。

◎ 改善Micro LED屏幕质量

为了更好的控制Micro LED屏的生产质量,苹果设计了特殊的测试设备和架构,宣称可在Micro OLED与面板键合之前,捕捉亮度不达标的LED像素(比如利用显示屏光学扫描),发现问题后可直接替换备用LED,从而更有效的修复。

Micro LED是比较前沿的显示技术,除了用于手机、智能手表外,未来也有望用于AR/VR头显中。

◎ 360°透视

在编号US20210092292A1的专利中,苹果描述了一种搭载8颗摄像头的AR/VR头显方案,特点是在头显周围(包括前盖、头带)布局了8颗摄像头,用于捕捉和透视周围360°环境,从而增强用户的环境感知能力,即使是视觉盲区也能看见。

◎ 主屏+副屏设计

在2021年公布的一项专利中,苹果设计了一种基于主屏+副屏的AR眼镜方案,特点是主副屏可独立运行,主屏幕分辨率较高,用于显示主要的AR功能,而副屏分辨率较低,主要显示一些简单的提示信息,比如倒计时、事件等等,而镜框最外围还有一圈LED指示灯,可提示AirTag就在附近。这种设计的好处是更合理使用有限的屏幕区域,同时降低算力和耗电。

而在编号US11450297B1的专利中,苹果则设计了一块主屏配两块副屏的注视点渲染方案,这三块屏幕(可采用柔性或硬性面板)以符合头部曲线的弧形排列,为了隐藏屏幕边界,苹果在透镜上加入了一层独立的漫射结构,以优化高分辨率和低分辨率屏幕的衔接。

二,眼球追踪

眼球追踪技术,是苹果AR/VR专利中反复提及的一个关键,主要用途包括:注视点渲染、降低功耗、动态调焦、生物监测、视力检测、注视点输入等等。此外,专利中还详细描述了眼球追踪的实现和优化方式,比如:

近红外方案(可捕捉瞳孔放大、注视点); 基于定向视网膜闪光的方案; 同轴照明方案(特定脉冲频段光源与图像传感器在同一轴上,好处是可捕捉更明亮的瞳孔图像); 眼球追踪延迟补偿、效果优化。

以下是几个比较有特色的:

◎ 编号US20200019238A1:人眼的眼跳是一种常见现象,通常每秒眼跳数次(succade),在眼跳出现的短暂时间里,视觉敏感度也会短暂降低,从而引起不易察觉的短暂失明。正是利用这种特性,该系统可在用户难以察觉的情况下调整显示内容,从而达到降低功耗,降低烧屏风险的效果。

该方案需要结合眼球追踪技术来实现,可能采用CV或IR传感器方案。

◎编号US20190339770A1:专利中描述了一种基于注视点追踪的机械变焦AR/VR方案,可跟随用户注视点变化而切换画面焦距。而为了弥补变焦系统的延迟,该专利重点描述了一种注视点预测技术,可提前预测人眼运动轨迹(眼球扫视的落点),并对图像进行预渲染,好处是可以让焦点切换更加丝滑。

在2018年时,苹果曾为注视点渲染方案申请专利,生成可实现8K分辨率(中心视觉区域)。而在2019年,也有亮相苹果专利提到注视点渲染方案(编号分别为US20190172399A1、US20190180672A1),特点是采用两块屏幕(高清主屏+低清副屏),分辨率预计也可达到8K,屏幕ppi在1000到2000之间。

◎ 编号US20190133440A1:指出了一种通过识别主导眼,来提高和优化眼球追踪准确性和稳定性的方案。主导眼又称主视眼,在眼球追踪中重点分析主导眼数据,可以更好地对齐眼球的光轴和视轴,带来更好、更快的校准效果。

识别主导眼的另一个好处,是能帮用户诊断与聚散度相关的眼病,如斜视或者弱视,并在此基础上优化注视点渲染技术。而为了进一步优化眼球追踪对广泛人群的适配度,苹果在编号US11644896B2的专利中提到,眼球追踪系统可提取不同用户的眼部特征作为控制参数,并在此基础上动态校准注视点。

◎ 编号WO2020068447:苹果提出了一种基于眼球追踪的AR/VR应用开启方式,特点是结合了语音玩法,用户只需要盯着目标应用标志,说出“开启”便可打开该应用,操控足够自然、快捷。而在2021年公布的另一项专利中,苹果则还提出了用注视点快速切换文本输入框的方案,可以让你在VR中更快的填表、录入个人信息。

在苹果看来,眼球追踪还可以动态优化第一人称视频录制,比如用注视点驱动相机拍摄的位置,将用户注意的位置放在视频中心,并根据注视点变化快速运镜(使用平滑算法来防抖)。这将很适合未来全天候的AR眼镜。

◎ 编号US20200278539A1:为了节省眼球追踪硬件的功耗,苹果在专利中设计了一种基于事件相机的方案,特点是仅在识别到眼动时开启,而不是持续开启扫描。该专利的另一个特点,则是能根据使用者的生物信息来调节光线强度,当用户眨眼次数超常,或是识别到儿童用户时,系统算法会降低照明光源的亮度,从而提升视觉舒适性。

而另一个省电的方案,则是结合低分辨率和高分辨率两种模式的眼球追踪,分别识别眼球相对运动和准确位置,并结合头部传感器来定位注视点。

◎ 编号US10354136B2:为了提高眼球追踪准确性,减少漂移是一个关键。在该专利中,苹果介绍了一种特殊透镜系统,宣称可减少眼球追踪的漂移现象。该方案基于光线追踪,可通过识别光线到达人眼并反射的数据,来对眼球建模等等。

一些眼球追踪专利也来自苹果在2017年收购的SMI(SensoMotoric)公司,比如US10437327B2,提出了一种通过二次成像捕捉注视点的方案,特点是第一次成像捕捉到清晰的眼球,用于定位瞳孔位置,而第二次成像清晰度较低,用来识别眼球发亮,两次捕捉数据结合后,注视点预测数据可以更准确。

三,生物传感器

在一些专利中,苹果提出在AR/VR头显中加入生物传感器,用于感知佩戴者的身体状态,并相应改变显示的内容。细节方面,头显可识别力度、温度、湿度、位移、EEG、电容、EMG和心率等信息,从而评估心理压力、个人健康状态,然后在AR/VR中推荐帮助放松的应用或内容,甚至还能主动提示就医信息。

而在2019年一项专利中,苹果曾描述一种面部追踪方案,特点是在AR/VR头显、眼镜中加入多种生物传感器,比如PPG(光电容积脉搏波描记法)、ECG(心电图)、GSR(皮肤电信号)、压力传感器、eField、热传感器等等。它可以检测咀嚼、眨眼、微小、皱眉等一系列复杂的面部动作,进而检测用户的健康状态。

四,交互技术

1,隔空手势

苹果的一些3D手势技术来自于2013年收购的PrimeSense,从一些相关专利中可以发现,发明者为前PrimeSense员工。比如在一项专利中,就介绍了一种3D手势方案,特点是允许用户用抓取、推送、释放等手势操作3D用户界面,来玩游戏或播放视频。

隔空手势是苹果AR/VR专利中常见且重要的技术,不仅可以用于AR/VR头显,还能在iPhone、iPad、Mac等设备上实现。

苹果隔空手势系统可采用多种方案,比如结构光、LiDAR、RGB、IR传感器、超声波换能器、VSWR传感器等等。

比如在编号US20210011289A1专利中,苹果描述了一种支持Inside-Out定位的AR/VR头显方案,特点是搭载RGB相机、ToF传感器和IR LED模组,支持手势追踪、3D环境测距等多项功能。

2,体感/智能手套

苹果曾为AR/VR手套申请多项专利,覆盖了各种不同的技术方案,比如在手套的指尖末端加入磁传感器,通过检测磁场变化和干扰,来定位磁源和传感器的相对位置,从而实现手势定位。或是采用柔性力传感器阵列、光导材料,来识别细微触觉交互、握力动态变化等。

此外,还提出基于IMU定位的手套方案,特点是将IMU传感器内置在手套的指关节部位,可准确检测手掌、手指动作和位置,不受遮挡等因素困扰,因此可识别手指交叉动作。

在编号US11397486B2的专利中,苹果还 提出了一种利用超声波来识别手势的VR手套,特点是可识别用户手掌施加的压力,以及手指厚度。

除了追踪手势外,苹果还希望基于摩擦阻力、柔性贴片等技术,为AR/VR手套赋予体感反馈(编号US10481688B1、US20200257362A1),以模拟“触摸”大海、海浪、树、沙滩、方向盘等纹理的感受。

而在另一项2020年的专利中,苹果则描述了一种基于织物材质的柔性体感手套方案,特点是织物部分可膨胀或收缩,以适配不同手型的用户。

3,智能手环/手表

在一项专利中,苹果描述了一种用智能手表来操控VR游戏的方案,特点是基于皮肤传感,可通过对比和分析静脉图像,来推测手部关节动作。

而在编号US20210303068A1等专利中,苹果还提出在智能手表上通过摄像头CV、UWB、EMG、RF、感测电路等方式,来识别双手接触动作的方案,允许你用一根手指在另一只手掌上滑动,来模拟光标移动、拖动、打开或其他指令。

实际上,Apple Watch在2021年已经推出手势识别功能(AssistiveTouch),可识别握拳、捏手指等动作,允许你用单手微动作来操控手表界面。未来,这种交互方式也有望与AR/VR头显结合,直接提供自然的手势交互。

4,智能戒指

目前,市面上AR/VR主要交互方式是手柄,其次是手势。与此同时,谷歌、Meta、苹果等也在探索用智能指环控制AR/VR的技术。尤其是在苹果AR/VR相关专利中(US20190004604A1,US10444834B2等),经常出现对智能戒指的介绍,涉及各种不同的设计。

比如:U型指环(弹性/柔性材质,尺寸可调)、戒指、指套(追踪五指运动),或是时髦的螺旋式、铰链式等设计。特点是外形可扩展,且可多个一起使用,或与Apple Pencil等外设协同。

特点是采用无线设计,光学定位织物、搭载多个传感器:触控板、NFC通信、生物传感器、SMI压力传感器、加速针等装置,可识别皮肤接触/捏合、敲击等微手势交互,支持6DoF定位,甚至能识别环境温度、物理表面形状和纹理,以及心率、血压、血氧等生物信号。一些专利中还提到,智能指环可配备一些与Apple Watch接近的智能功能,比如数码旋钮、解锁Mac电脑等等。

5,手写笔交互

在一些专利中,苹果曾提出用手写笔(如Apple Pencil)在空间中进行3D创作,这与传统基于触屏的手写笔方案有很大不同。

比如编号US20180018057A1,就指出了一种基于非电子表面输入的手写笔设计,特点是手写笔内置定位传感器,可识别在任何地方书写的内容。

而在2020年的一项专利中,苹果则描述了一种支持6DoF定位的手写笔,特点是支持剪切力反馈,用户握笔时可感受到模拟的表面、体积、内部纹理等物理体感特性。

在另一项专利中,苹果还提出了一种简易的手写笔适配器,可为Apple Pencil带来压力感应功能(作用类似于VR手柄的扳机键),并允许用户使用Pencil在空间中输入信息。此外,手写笔还能作为控制器来玩游戏(US20230042447A1),比如在AR/VR中做出敲击、滚动、旋转、轻弹和滑动等动作。

6,虚拟键盘

编号US10237509B1:为了帮助AR/VR用户快速输入文字,苹果在专利中提出了一种虚拟键盘设计,概念是在物理键盘上叠加一层虚拟键盘,相比于摄像头直接透视按键,虚拟键盘视觉看起来更加清晰。输入硬件方面,该方案兼容物理键盘,或是平板电脑的触屏键盘、手势追踪手套。

编号US20200088999A1:这项专利中设想了一种基于投影的虚拟键盘方案,特点是在头显上搭载投影装置,可将键盘投屏到桌面等物理平面上,并利用3D传感器来识别用户敲击键盘的动作。值得注意的是,这项专利中提到的头显还支持其他外屏交互,比如在外壳上加入按钮、触控传感器、触控显示屏,允许用户不戴头显也能快速使用。

而在另一项专利(US10890952B2)中,苹果也提到了类似的交互式表面投屏方案,特点是可将任何物理表面变成可操作性的菜单,比如在笔记本上叠加计算器功能,或是在手臂上叠加交互UI。

五,VST透视

苹果的部分VST透视技术来自于在2017年收购的VRVANA公司,这在一些专利上也有所体现。VRVANA技术特点是可纠正光学透镜的图像失真,VST透视延迟仅几毫秒。在2019年公布的一项专利中(发明者之一为VRVANA创始人Bertrand Nepvue),苹果就描述了一种基于实时色度键控原理的MR方案,可将真实场景中人的背景替换为虚拟内容,类似于绿屏替换。

此外,苹果在2019的另一项专利中指出(US10330935B2),可为头显配备高分辨率和低分辨率两种透视摄像头,这种设计利用了VR的注视点渲染技术,通过降低用户余光部分的透视分辨率,来优化计算任务、降低硬件成本。

专利还指出,AR/VR头显通过两组RGB摄像头捕捉周围立体环境,宣称可模拟人眼视觉系统。

六,空间音频

苹果针对空间音频也曾申请多项专利,比如一些基于HRTF(头部相关传输函数)、几何声学等技术的方案,或是通过实时声音射线追踪来模拟室内声场。此外,还探索了根据头部定位信息来预测双声道音频的方案,特点是可根据用户头部运动来动态调整声音的模拟距离和方向,改善VR RPG游戏、恐怖电影等内容的体验感。

而在US2022032965A1中,则描述了一种根据头对躯干方向来定位用户朝向的方案,类似于AirPods的身体朝向模式。

在2021年的一项专利中,苹果曾指出AR/VR头显可搭载多个麦克风阵列,支持定向音频检测,可计算出周围环境中某个声音的来源,并以视觉形式标注或提示。这样的功能可以很好的补充人的听力,帮助用户识别超出正常感知范围的声音(类似的概念还可以用AR标记肉眼不可见的气体、电磁信号等)。

而在2023年的一项专利(US2023014111A1)中,还指出可以使用空间滤波器,根据用户所处的环境,为双声道音频加入空间线索,让空间音频的实际体验更加身临其境。

七,定位系统

◎ 超声波定位

目前,主流VR定位基于光学方案,比如红外、CV等等。在编号US20190094955A1的专利中,苹果提出了一种基于飞时测距原理的超声波定位方案,宣称可测量传感器与墙壁、目标、障碍物之间的相对测距,为周围环境生成3D地图,并定位手柄、头显,以及检测障碍物、识别表面。

◎ 3D测距/扫描

苹果不止一次在专利中提到,AR/VR头显可搭载多个3D传感器,包括:结构光传感器、双目3D图像传感器模组(由2个或以上摄像头组成)、LiDAR、3D无线电传感器、红外或CV相机等等,这些传感器可用来定位空间,也可以识别障碍物。

八,其它传感器

◎ 多传感器阵列

在2021年,USPTO曾曝光一项来自苹果的关键AR/VR专利(US20210165229A1),其中描述了一种分体式、搭载多摄像头和传感器的AR/VR头显。为什么说它重要呢?首先专利发明者都是苹果的一些关键人物,比如HoloLens联合发明者Avi Bar-Zeev,以及在苹果工作了二十多年的Geoff Stahl。据前不久彭博社爆料称,Stahl目前在负责xrOS操作系统,是苹果AR/VR项目背后一个关键推手。

除此之外,在编号US20210294104A1的专利中,苹果还设想AR/VR头显可以搭载更多传感器,比如度摄像头、眼球追踪模组、激光雷达、指纹识别模组、手势识别模组、超声波传感器、光学距离传感器、视网膜扫描传感器、温度传感器、EMG、氧传感器、心率传感器、血流量传感器、电阻式传感器、应变仪、加速计、磁性传感器、电位器等。

◎ 霍尔传感器(编号US10557724B1)

通常,AR/VR头显采用距离传感器来感知佩戴状态,检测到用户佩戴头显后,便会开启系统,而检测到用户摘掉头显后,则进入待机状态。相比于距离传感器,霍尔传感器更省电,苹果希望在头显中采用多个霍尔传感器和磁性机制,通过检测设备的旋转角度,来判断佩戴状态。实际上,苹果蓝牙耳机AirPods也采用了霍尔传感器。

九,外观设计

◎ 数码旋钮

苹果在多项专利中(比如US20210089136A1),曾提到数码旋钮设计在AR/VR头显上的应用。实际上,数码旋钮是苹果产品的一个经典交互方式,此前曾出现在Apple Watch、AirPods Max耳机中,而应用在AR/VR头显时,它将可以调整音量、屏幕亮度,甚至可以切换AR和VR模式。

有趣的是,在编号US20230162929A1的专利中,苹果中指出数码旋钮可支持更复杂的操作,比如将多次旋转动作组合,触发组合指令,实现更丰富的交互。

◎ 柔性智能纺织材料

目前AR/VR主要在外壳上采用织物包裹,还未应用导电的织物设计。在编号US20190191557A1的专利中,苹果提出了一种柔性智能织物方案,特点是内置凹槽导电线缆,可应用于臂带、AR眼镜等穿戴设备中。

◎ 隐藏摄像头

光学传感器、相机是AR/VR头显必要的组件,主要用于感知周围环境、定位或是手势识别。如果全天候佩戴AR眼镜,那么眼镜上的相机、传感器可能要长时间运行,而这可能引起周边其他人的反感。为了让相机看起来更隐蔽,苹果在专利(编号:US20190353836A1)中提出了一种红外透光单面镜涂层,原理类似于警局问询室常用的单面镜,该涂层能透过红外光(不影响SLAM定位),从外部看不到内部的摄像头。

◎ 外壳大面积触控

在编号US20210089150A1的专利中,苹果提出了一种大面积支持触控的AR/VR头显外壳设计,特点是配备传感器、滑块按钮、旋钮等多种操作方式,支持灵活的外部操控。

而在其他的专利中,苹果还提到某种肉眼不易察觉的“隐形”按钮和触控滑块方案,用于优化AR/VR头显的产品美学设计。

◎ AR头显盒子

苹果在多项专利中曾提出插入式AR/VR头显盒子设计,特点是可将手机直接插入有透镜的镜架中,在用户眼前显示内容。镜腿处还可配备触控传感器,用于操作AR/VR界面。在2022年的一项更新专利(US11258891B2)中,还加入了新特性:支持AR(VST模式)/VR模式切换。

相比与集成式AR/VR头显,头显盒子的优势是成本更低,可以灵活利用现有的iPhone手机,甚至还能保护看手机的隐私。不过从一系列爆料来看,苹果似乎暂时不会推出这样的产品。

◎ 模块化AR眼镜

在2020年公布的一项专利中,苹果构想了一种比较超前的AR眼镜产品设计,特点是镜片、镜架等部分高度模块化,可替换和拆卸,比如根据不同的需求和场景,更换不同的部件,比如高分辨率显示模组、长续航电池、更小巧的元件等等。值得注意的是,AR镜框与镜腿之间采用插入式榫卯结构,用户无需额外的工具辅助,自己就能组装完整的AR眼镜。这种玩法类似于Apple Watch的可更换表带机制,允许用户将产品个性化。

◎ 可配置、扩展的AR/VR音频系统(编号US20200089008A1)

支持变形泡沫材质的耳罩,通过充气和放气来改变音频模式,好处是可以在降噪和穿透模式之间切换。在VR场景中,可快速切换至沉浸式音频(降噪模式),而在AR场景中,则改为开放式音频,通过骨传导原理播放声音。

◎ 镜片保护模式

在2019年12月公布的一项专利中,苹果工程师设想了一种防止AR眼镜在跌落时镜片破碎的保护机制。该方案可通过传感器检测AR眼镜的状态,当时别到正在自由落地、被撞击时,便会启动光学系统的保护模式,即移动相关镜片,并在透镜间隔填充空气或特殊液体,来形成缓冲,从而降低碰撞带来的意外损失。

而在编号US20210302745A1的专利中,苹果还提出了一种光学模组自检系统,当识别到跌落、碰撞等情况时,会自动检测内部组件错位情况,并自动进行位置补偿,以恢复预设值。

有趣的是,苹果在另一项专利(US11340466B2)中,还提出了一种弹性镜框设计,特点是镜腿可变形,在受到撞击时可起到缓冲作用,避免光波导等光学模组变形。

◎ 头显绑带优化

编号US20190072772A1:通常,用户在佩戴AR/VR头显之前,需要针对自己的头型去调节绑带,这需要一个过程,因此不能像手机那样拿出来就能用。如果是多人共享AR/VR头显,那么每个人都要调整一次绑带,比较麻烦。

为了简化头显佩戴流程,苹果在专利中描述了一种机械绑带系统,特点是可识别用户头部参数,并自动适应尺寸。值得注意的是,该系统还会根据手势、头显内容来调节,比如通过用户手的位置来辅助摘掉、穿戴动作,而在运行不需要用户移动的内容(比如看电影),绑带就会放松。

除此之外,苹果还在一项专利中提出了一种可折叠头带系统(US11320659B1),特点是将柔性绑带与磁吸模块结合,特点是容易收纳,支持模块化扩展(比如将摄像头、电池、扬声器等元件吸附在头带上)。

十,UX设计

◎ 主动散热系统

编号US20190075689A1:为了提升散热效率,Quest 2已经采用风扇来主动散热。相比之下,苹果专利中描述的方案具有更好的通风性,特点是在头显上下两面各配置两个风扇,以实现上下对流风,为内部零件降温。

此外,该风扇系统可根据渲染任务动态调节强度,还能对面部吹风,为皮肤降温。

而在2022年的一项专利中,苹果进一步提出了一种风扇噪音控制系统,特点是可识别散热系统的噪音,并实时调节风扇速度来降噪,以避免干扰用户与接打电话、Siri语音助手交流。有趣的是,还可以加大风扇音量,来提示用户周围有障碍物。

◎ 光学部件自我清洁

我们知道,AR/VR头显通常基于精密的光学结构,如果在透镜、显示屏之间的缝隙进入灰尘或碎片,很可能阻碍光源传播,进而影响显示效果。然而,光学元件通常不好拆开,人为清洁困难。因此,苹果在2021年公布的一项专利中指出一种可自我清洁的光学方案,其概念足够简单,主要是检测光学质量,当出现问题时,便通过抖动将灰尘颗粒抖开,并安全的手机到用户视线范围外。

◎ 面部适配系统

编号US20200081259A1:苹果提出了一种模块化的头显面部支撑系统,特点是采用长度可伸缩的材质、充气式材料,以及弹性橡胶材料,好处是可以根据不同人的面部结构(额头、两颊、太阳穴)调整,即使因头显晃动而出现面罩错位,也可以通过调整贴合度来提升舒适感。

◎ 跨设备认证解锁

在一项名为“认证设备辅助用户认证”(US10893412B2)专利中,苹果指出了一种多设备就近认证的方案,允许用户佩戴AR/VR头显直接解锁自己的iPhone,从而省去反复穿脱头显、解锁手机的步骤。这种跨设备之间的联动设计,在Apple Watch上已经采用,可允许你快速解锁iPhone或Mac电脑。除了解锁外,你还可以通过头显锁定手机等设备,还可以设置二次验证机制。

在另一项编号US20210105614A1的专利中,苹果也提到了类似的多设备认证、解锁系统,允许用户使用AR/VR头显解锁附近的苹果设备。

◎ 增强融合显示

编号US10347050B1,苹果提出了一种利用AR扭曲图像来增强显示效果的方案,其特点是通过识别用户的视觉盲点,来用AR的形式改变真实环境的视觉效果,让原本用户看不到的内容,也能以某种形式可见。该方案基于眼球追踪技术,需要使用3D深度感知来捕捉周围场景。

◎ 头显无线感应充电

在编号US20200081490A1的专利中,苹果提出了一种适用AR/VR头显的感应充电架,特点是可直接将头显挂在上面展示,或是将电池分离,放在架子上充电。这种设计的好处是,可以美观的收纳/展示头显,同时还能在不使用时充电,用户随时拿起来即可使用。

◎ AirPlay隔空播放

在多项专利中,苹果曾提出将AR/VR头显与电脑、笔记本电脑、电视联动的方案,概念类似于现有的AirPlay功能,可以快速在头显中同步周围其他设备的屏幕(来播放视频、加载文档、邮箱等等)。

◎ 毫米波通讯系统

在2020年的一项专利中,苹果提出了一种基于毫米波的多人交互方案,特点是通过毫米波基站和多个中继基站,来实现与电子设备之间的大规模无线通讯,比如向多台AR/VR头显串流内容等等。

十一,应用场景

在一些专利中,苹果深入探讨了AR/VR的多种应用场景,比如沉浸式观影、AR导航、AR视频通话系统等等。

◎ AR通话(专利编号20160344972)

基于相机捕捉、生成3D模型,用于实现沉浸式远程AR通话。该方案可用于iPad、Apple TV等设备,特点是可将通话者、通话者手上拿着的物体捕捉,并以虚拟形式呈现在视频中。

还会结合外部摄像头,搭载RGB图像传感器、深度传感器、IR传感器等,可识别空中手势,用于简化菜单操控方式。

◎ 虚拟助手

特点是具备上下文感知能力,利用计算机生成字符或图像,用于提示、导航、显示额外的信息,辅助用户使用AR/VR。除了视觉辅助外,虚拟助手也支持语音交互。

◎ AR导航

编号US20170213393A1:苹果AR/VR头显可能支持视觉导航,比如现实场景中的建筑、兴趣点上标记额外的信息,或是用AR标记车内的音响等各种功能。此外,支持手势交互。该专利来自Metaio的技术,除了AR导航方案外,Metaio还为AR环境识别(3D环境捕捉,以及天气、时间、坐标等数据识别)申请专利。

而在2018年另一份专利中,苹果还曾提出可从多角度查看的3D AR地图方案。

◎ AR体育转播

编号US20200175275A1:为体育比赛转播添加可交互的AR内容,丰富观看体验。该方案的特点是,需要使用外部设备来检测观众的兴趣点,并在此基础上显示额外的信息,比如当你看对篮球员的鞋子感兴趣,系统就会在电视上显示球鞋的信息,还可以AR的形式展现球鞋模型,允许观众从多角度查看。

◎ 低延迟色度抠像

Zoom等视频软件已经支持背景替换功能,而在VST混合现实头显中,背景替换也可以得到很好的应用,比如将眼前的人、物体与实际背景风格,并实时替换为虚拟背景。与常见的背景替换方案不同,苹果专利方案更立体,可渲染3D背景,而非2D图像。

◎ 与电脑协同

在一些专利中,苹果提到了AR/VR在办公场景的应用,比如搭配Mac电脑,利用虚拟屏来扩展电脑屏幕的显示区域,或是将电脑屏幕内容显示在头显中,以保护用户隐私,防止窥屏。

◎ 手机等连接AR/VR头显(编号US20190065027A1)

描述了某种分体式触控交互方案,即使用手机等具备触控板、触感按键和显示屏的设备,来操控AR/VR头显显示的内容。换句话说,将iPhone作为AR/VR头显的手柄,这可以看做是手势、手柄之外的另一种交互方式,而且可以很好的融合苹果全家桶设备。

◎ 360°视频编码/解码技术

专利编号20190004414,指出了一种自适应分辨率和投影格式,特点是预设了多种编码配置方案,可根据成像效果选择是否插帧,从而提升360°和MR视频渲染质量。

这些专利只是冰山一角,我们无法给出苹果XR设备的最终形态和功能。本文只是抛砖引玉,通过这些专利给大家一些线索和启示。苹果XR设备有待揭晓,期待在WWDC23让我们一睹芳容。

推荐内容