本周XR大新闻,上周Quest 3发布之后,本周苹果MR头显Vision Pro正式发布,也是本周AR/VR新闻的重头戏。


【资料图】

AR方面,苹果发布VST头显Vision Pro(虽然本质是台VR,但以AR场景为核心)以及visionOS;visionOS SDK月底上线;Object Capture支持iOS端;Kopin推出单色1英寸超大Micro LED模组。

VR方面,Meta将在SIGGRAPH 2023展示视网膜可变焦VR;Quest推出纯手势的虚拟键盘;惠牛发布两款Pancake新品;亿境三款产品亮相AWE 2023。

收购方面,苹果收购AR头显厂商Mira;Vection收购VR方案商Invrsion。

融资方面,Micro LED厂商JBD完成B轮融资,阿里入股;消费级XR眼镜品牌VITURE获近千万美金A+轮融资;VR企业培训平台InstaVR完成10亿日元融资;心理治疗VR方案商BiPSEE获得新一轮融资。

AR|苹果Vision Pro正式发布

毫无疑问,苹果Vision Pro就是VST的天花板,但它是一台VR。疯狂堆料让它呈现了足够明显的特色:单眼进3.4K分辨率的Micro OLED屏幕,高像质的透镜,前所未有的弧形ID结构设计(搭配弧面玻璃、主板、电池等);多达12颗摄像头、5颗传感器、6颗麦克风的组合;以及重磅的眼球+手势+语音组合交互模式。相关阅读:《VST的天花板?苹果Vision Pro解析》。

AR|Vision Pro用AI检测用户状态

参与Vision Pro的前苹果AR工程师Sterling Crispin,发文分享了自己在苹果期间所做的工作。其中提到,苹果Vision Pro融合了大量机器学习技术,包括用AI模型预测你的身体、大脑状态,比如是否对当前事务好奇,是否走神,注意力是否被分散等等。相关阅读:《苹果Vision Pro结合大量AI技术用于用户状态检测》。

AR|苹果Vision Pro屏幕细节曝光

在WWDC 2023课程中提到:Vision Pro头显刷新率为90Hz-96Hz之间,最高可播放4K分辨率2D视频,显示屏原生刷新率为90Hz,如果播放24fps的视频,则可自动使用特殊的96Hz模式。此外,Vision Pro支持SDR和HDR显示,可渲染丰富的色彩。

AR|Vision Pro处方镜或3-600美元

彭博社记者Mark Gurman表示,Vision Pro上一副蔡司处方镜片售价可能至少300-600美元,如果苹果不提供相应补贴,近视眼用户购买Vision Pro头显的成本可高达4000美元左右。

AR|苹果提出MV-HEVC 3D视频格式

苹果引入了一个HEVC扩展格式:MV-HEVC,指的是多视图HEVC,每一帧图像携带左右眼两个画面,也就是专门为3D视频推出的格式。

AR|行业高管点评Vision Pro

青亭网邀请了AR/VR行业的高管和学者,为我们点评Apple Vision Pro这款新品,以及visionOS和空间计算的前景和影响,让我们一起来听听他们的看法和分析。相关阅读:《点评|AR/VR行业高管眼中的Vision Pro》。

AR|扎克伯格评Vision Pro

在近期的一次Meta内部大会中,扎克伯格对苹果Vision Pro进行了点评。详情阅读:《扎克伯格评Vision Pro:两家公司愿景和价值观不同》

AR|Kopin单色MicroLED模组

微显示方案Kopin公布1英寸MicroLED模组,目前还在生产验证阶段,特点是单色,分辨率2048x2048,亮度超280万尼特,后续预计提升至320-350万尼特之间。据悉,初始版本基于Kopin自研的背板和驱动技术,专为国防、AR场景设计。

AR|visionOS基础架构

visionOS主要基于SwiftUI、RealityKit、ARKit几大框架,开发工具则包括Xcode、Reality Composer Pro和Unity。其中大部分是此前就推出的,值得注意的是Reality Composer Pro是一个新的工具,特点是开发者提供了一个预览和准备3D内容的工作流。相关阅读:《从visionOS系统窥探Vision Pro头显》

AR|visionOS用户界面

visionOS共有三大类界面:窗口视图、体积视图(立体)、Space视图(共两种,一种是不透明背景模式Full Space,另一种则是VST透视背景Shared Space)。

Space视图下,支持通过旋转数码旋钮,用户可以调整背景透视的程度,让UI在完全沉浸和完全透视之间自然过渡。

AR|visionOS窗口视图共享

visionOS可以像在macOS那样,允许用户共享任何窗口,此时visionOS会同步用户的方向,以及AR比例、动画和上下文信息,允许SharePlay绘画中每个人获得相同的体验,从而实现远程可视化协作。

AR|visionOS支持iOS应用

苹果表示,苹果Vision Pro(visionOS)将同时支持iOS和iPadOS两大平台的应用。细节方面,iOS应用为竖屏显示,iPad应用支持横屏/竖屏两种模式,开发者设置默认模式;支持窗口缩放;安全管理Touch ID或Face ID自动改为Optic ID;支持自定义手势识别功能。

AR|visionOS输入方式曝光

苹果在WWDC课程中详细解释了Vision Pro所支持的各种输入方式,比如可使用手势+虚拟键盘、匹配蓝牙键盘两种方式输入文字等等。相关阅读:《苹果visionOS输入方式曝光:眼球注视+手势键盘精准度超高》

AR|visionOS开发者支持服务

在苹果visionOS官方页面中“Work with Apple”的板块,苹果提到了将举行一系列活动,并为开发者提供三种渠道和方式测试visionOS应用以及其它服务,具体于7月份上线。

AR|visionOS SDK月底上线

苹果宣布,将于本月底之前推出visionOS SDK,并推送新版本Reality Composer和Xcode工具。

AR|Object Capture支持iOS端

WWDC 2023课程中,苹果表示此前仅在Mac上提供的摄影测量功能Object Capture功能,现在支持iOS端,意味着更多第三方App可以直接实现USDZ格式的3D扫描建模。目前,该应用主要支持具备LiDAR传感器的iOS设备。

AR|ARKit-World Tracking

虽然没有明确说是ARKit7,但ARKit也有几点新功能:世界追踪(World Tracking),开发者添加WorldAnchor锚点,任何锚点都会在系统后台自动保存,每次设备重启后依然会显示在固定的位置。

AR|ARKit-Scene Understanding

包含了一系列识别周围环境的功能,比如:平面检测(垂直和水平)、场景几何、图像追踪。识别到的表面可用来固定AR内容,或是优化物理模拟,允许AR与地板、墙壁产生自然交互。

AR|ARKit-Particles

Particles新工具,该工具可快速构建云、雨、火花等动态粒子特效,并支持在Reality Composer Pro中预览。

AR|RoomPlan更新

RoomPlan是ARKit 6带来的一项功能,本届WWDC更新功能如下:自定义AR会话、支持多房间(MultiRoom API)、可识别物体增多(如倾斜、弯曲的墙壁,或洗碗机、烤箱、水槽等元素。)

AR|Vision框架支持检测动物

Vision框架将新增Animal Body Pose API,特点是追踪猫、狗等动物的多个骨骼节点,以实现全身姿态追踪。据悉,该API仅支持iOS 17、iPadOS 17、tvOS 17和macOS Sonoma系统。

AR|苹果3D显示UI专利

WIPO公布了一项来自苹果3D UI系统,特点是可识别场景中的墙壁、桌面等元素,并将交互式UI固定在这些物理元素上,仿佛可以将普通的房间布置成无限大的3D画布。

AR|苹果Face ID绑定视力信息

USPTO公布了一项苹果基于面部识别的AR眼镜认证系统,特点是将用户ID与屈光度等视力信息绑定,当用手机Face ID相机识别到特定用户后,便会将视力信息与AR眼镜同步。

AR|苹果眼球手势结合交互专利

WIPO公布苹果一项与AR/VR头显相关专利,描述了一种融合眼球追踪、手势追踪的GUI自然交互方式,特点是使用深度映射来追踪手势,通过注视点来智能识别用户想要操控的虚拟元素,让AR/VR中的交互更流畅,降低使用阻力。和发布的Vision Pro交互逻辑非常相似。

AR|亚马逊引入3D模型工具Hexa

3D AR可视化平台Hexa宣布与亚马逊成像团队、AWS的空间计算团队联手,推出可规模分发、简易的3D AR开发流程,加速电商合作伙伴使用AR来营销、展示的过程。

VR|Meta将展示视网膜可变焦VR

Reality Labs两款变焦显示VR原型(Half Dome、Butterscotch)背后负责人Yang Zhao和Douglas Lanman都将参与今年8月的SIGGRAPH 2023,期间Meta计划展示一款具备视网膜级分辨率的可变焦VR头显原型。

VR|Quest推手势虚拟键盘

Meta本周推出了基于Quest的虚拟键盘功能,特点是允许用户通过手势直接在虚拟键盘中打字。这项功能将整合至Presence平台、Unity Integration SDK,允许开发者将基于手势的虚拟键盘引入自己的AR/VR应用中。

VR|惠牛发布两款Pancake新品

AR/VR光学模组供应商惠牛科技发布两款Pancake新模组:Si-PK95和PK100。Si-PK95采用1.3inch Si-OLED屏、单眼4K*4K分辨率;PK100采用2.48/2.56inch LCD屏,支持1920*1800/2160*2160的单眼分辨率,该模组在实现大视场角的同时,比市场已有的同类产品更薄,模组厚度仅26mm。

VR|亿境XR亮相AWE 2023

亿境EmdoorVR主导或参与研发的三款产品展出于AWE 2023高通展台:亿境自研 6DoF MR一体机、Rokid分体式AR眼镜+计算单元、教育客户ClassVR 3DoF MR一体机。MR新品A863使用最新一代高通骁龙XR2+平台,搭载高通最新LA1.2基线、支持OpenXR标准、具备头6DoF手6DoF、手势识别、眼球追踪、VST(采用双1600M彩色摄像头)、IPD无极调节;2160*2160双屏高清分辨率,超大105°FOV。

VR|瑞声科技量产3P Pancake

瑞声科技宣布3P VR Pancake光机模组成功量产,宣称更有效抑制鬼影、近视友好、边缘像质清晰。

VR|AVATAR VR手术获FDA认证

外科手术VR医疗成像方案商AVATAR MEDICAL宣布,旗下VR术前规划方案已获得FDA 510(k)许可认证,预计明年还将获得欧洲医疗器械认证。

VR|Unity空间应用开发套件

苹果Vision Pro头显在WWDC 2023上刚发布,同时Unity也宣布与苹果合作,为该头显操作系统visionOS推出空间体验开发套件:Spatial Creation。据悉,该工具目前已开启测试预约。

VR|ILMxLAB更名ILM Immersive

作为工业光魔(ILM)整体品牌计划的一部分,ILM旗下工作室ILMxLAB宣布将重塑品牌,更名为ILM Immersive。据悉,该工作室成立于2015年,多年来专注开发VR、MR等基于IP的

VR|Disney Plus+苹果首发阵容

迪士尼在WWDC 2023上宣布,将在苹果AR/VR头显Vision Pro中引入Disney Plus+服务,并推出沉浸式体育、电影内容。据悉,Disney Plus+将作为Vision Pro头显的首发阵容。

VR|4款Vision Pro应用公开

苹果官方公布了AR/VR平台visionOS已有第三方开发者,包括:Algoriddim、Ryan McLeod、JigSpace、XRHealth等等。据悉,这些开发者所开发的AR/VR应用涉及多种类型,比如交互式音乐、益智游戏、医疗方案、手势应用等。

VR|Virtual Desktop更新1.27版

在1.27.0测试版本中,《Virtual Desktop》带来以下关键优化:添加HEVC 10bit编解码器,添加H.264+编解码器选项,支持高达400Mbps;改进注视点编码;PC桌面串流比特率提升至100Mbps;Quest端切换为OpenXR标准,支持VST透视环境;Quest Pro端支持局部调光;支持PS5 DualSense手柄。

收购|苹果收购AR头显厂商Mira

苹果已收购AR眼镜厂商Mira,交易规模未公开。该消息是由Mira CEO在私人Instagram曝光,时间点选择在苹果Vision Pro发布一天后,据悉有11名Mira员工加入苹果。

收购|Vection收购VR方案商Invrsion

AR/VR解决方案公司Vection收购VR智能零售方案商Invrsion,旨在加速时尚、零售领域的XR解决方案和市场机会。

融资|JBD完成B轮融资

近日,JBD关联公司上海显耀显示科技有限公司发生工商变更,股东新增浙江阿里巴巴云计算有限公司等,同时公司注册资本从约5197万人民币增至约5374万人民币。

融资|VITURE获近千万美金A+轮融资

近日消费级XR眼镜品牌VITURE完成近千万美金A+轮融资,由蓝驰创投独家投资。

融资|InstaVR完成10亿日元融资

VR企业培训平台InstaVR,近期已经完成10亿日元融资,新一轮资金将用于“InstaVR Enterprise”解决方案,目标是解决日本国内劳动力短缺问题。

融资|日本BiPSEE获新融资

日本心理治疗VR方案商BiPSEE获得新一轮融资,本轮融资来自Beyond Next Ventures、ANRI、Scrum Ventures和Ocean Lease,资金将用于加速研发抑郁症VR数字疗法。

推荐内容