编者按:10月19日至20日,由工业和信息化部、江西省人民政府共同主办的2021世界VR产业大会云峰会在南昌召开。作为16个主题论坛之一的标准化主题论坛同期举办。该主题论坛由中国电子技术标准化研究院承办,与会专家和企业家就虚拟现实标准化工作面临的新发展格局,以及如何加强顶层设计,推进重点标准研制,引导产学研用单位聚焦标准研制进行了探讨。为了让读者进一步了解本次论坛,本报特摘编嘉宾演讲内容,敬请关注。
全国音频、视频及多媒体系统与设备标准化技术委员会副秘书长赵晓莺:
推动中国VR方案走向国际
过去几年,我国在虚拟现实领域的标准化方面,首先构建了综合标准化的标准体系,制定了《加快推进虚拟现实产业发展》的指导意见,同时发布了虚拟现实白皮书。标准体系里涵盖的主要内容,包括VR领域相关的基础通用标准、内容制作标准、产品规范、接口协议、健康和舒适度评价、分发平台安全与监管,以及行业应用标准。我们在标准体系指导下,已经完成14项国家标准和行业标准的发布,在研标准有7项,基本覆盖从基础到产品、接口、应用的需求。未来标准接口会变得越来越长,我们的标准工作还会动态持续下去。
未来我们的工作,一要提高标准研制水平,持续优化完善标准体系,保持体系的先进性和科学性。加快组织制定急需紧缺标准,提高在研标准编制速度和技术水平;密切跟踪国际标准化动态,加大国际标准参与度,推动中国方案走向国际。二要提升公共服务能力,持续健全评测能力,开展行业测试验证服务。开展VR产品全面摸底检测和风险监测,保证行业良性发展,保证用户权益。定期发布VR产品质量分析报告及相关技术报告。三要推动产业升级,加强标准落地实施。围绕产业发展趋势,助力构建国内产业生态。引导产业技术基础能力提升,积极发展新技术,开发新产品。
ISO/IEC JTC1/SC 24信息技术-计算机图形图像处理及环境数据表示分委会主席李明元:
开发更多有价值的虚拟现实领域标准
SC24是ISO/IEC标准化组织中,从事“计算机图形、图像处理和环境数据表示”的分技术委员会,伴随着图形计算系统问世和发展,成立至今已有30多年的历史。自成立以来,SC24始终致力于开发与计算机图形、图像处理,环境数据表示,信息实现及交互的标准。
WG6是SC24历史最悠久的工作组,已经开发了许多标准,包括GKS(图形内核系统)、HIGS(程序员的分层交互图形系统)、RPEMO(多媒体对象的表示环境)、X3D(可扩展3D)、ARC等。目前,许多与3D图形、建模和动画相关的工作仍在持续开展。近几年,在3D和VR领域,X3D格式、HAnim人形动画等技术,同其他新技术一样,也在不断发展和成熟。
JTC1 AG13咨询组的工作范围,主要是研制基于AR/VR/MR的ICTC系统集成标准。在JTC1下经过两年多的筹备协调,这个咨询组于2019年成立。AG13一直尝试提出关于AR/VR/MR的ICTC系统集成的提案,为了实现ICTC系统集成与其他技术领域的融合,我们需要与其他标准组织合作。
随着VR/AR/MR产业逐渐扩大,标准比以往任何时候都显得更为重要。我们希望SC24和AG13在VR/AR/MR领域开发更多有价值的标准。
华为无线5.5G领域总经理高全中:
5G全面提升物联和XR能力
纵观移动通信过去40年的历史,分为三个阶段。第一个阶段,语音和文字处理的时代,称之为1D移动通信。第二个阶段,以iPhone为主的视频时代,通信网络主要解决大带宽的问题。现在开始进入第三个时代。
未来20年是3D通信对移动通信进行重构的时代。3D通信会在很多方面产生很大很深远的影响,主要影响是实时渲染能力。以前的通信不需要这么强的实时渲染能力,视频可以缓存下来再看,将来VR和AR只靠原来的缓存是不够的。未来,人们会在物理世界构建虚拟的镜像世界。对移动通信网络来说,运营商和设备商要解决大带宽、低时延、可靠性,保证VR/AR有比较好的消费体验。
过去两年,5G网络得到前所未有的快速发展,5G体验已经大幅度提升。以前VR/AR只能支持双眼2K,现在可以支持4K,还有更好的视频,比如360°自由视角视频。
华为去年11月在上海发布5.5G概念,5.5G能更好地支持XR业务的应用。未来20年,整个业务场景会发生非常大的变化,物联不仅仅是低速率海量的物联,将来也会有高速率、大带宽的物联应用,也会承载在5G网络上。
过去20年是从物理世界长出数字经济,未来20年物理世界将与数字世界融合。如果物理世界和数字世界融合,再产生虚拟经济,未来最大的风口有可能出现在虚拟经济。人们在虚拟世界中娱乐、工作、生活、投资,XR将深刻而广泛地改变社会。
深圳创维新世界科技有限公司总经理李文权:
VR/AR是下一代消费级计算机科技产品
VR/AR将开启第二次计算机科技浪潮,新一代技术将驱动生产力全方位提升。第一次计算机科技浪潮带来的颠覆性革命将在VR/AR时代重演,VR/AR将是继 PC电脑、智能手机之后的下一代消费级计算机科技产品,其产品形态将遵循类似从 PC电脑(VR/AR头戴式显示器,简称头显)到智能手机(智能VR/AR眼镜)的发展路线。
VR行业经过2014年至2016年的热潮期、2017年至2019年的冷静期,2020年后进入复苏期,产业逐渐成熟,用户规模突破1000万,产品主要以quest2为代表。
多年来,对于VR设备的体验,很多用户反馈戴着头晕。VAC(辐辏调节冲突)是造成现阶段虚拟现实技术使用时有眩晕感的主要原因。用户在使用时,焦距一直固定在虚拟屏幕上,不能根据图像显示距离调节焦距。由于双目视差和聚焦模糊所呈现的距离不同,会引起人脑对位置或距离判断偏差,引起视觉疲劳,造成眩晕和眼睛不舒服,从而导致不能长时间使用VR设备。
真正解决头晕、眩晕的问题,需要采用变焦技术。所谓变焦,就是看某一个场景,屏幕也会随之发生一些变化。终极解决方案是通过改变光长的显示方案,显示不同的场景、不同的景深,把光源显示到不同的位置上,从而彻底解决眩晕问题。
深圳威尔视觉技术有限公司董事长兼CEO茅晓东:
云VR是VR的发展趋势
VR设备如何做得更轻、更小、更方便?如何把计算功能放到云上?如何把显示部分做得更好?5G给了一个机会,我们可以通过5G网络,实现当年没有办法实现的事情。VR除了设备,还有内容,需要非常复杂的3D计算。把计算放到云上,通过5G网络实现,这就是所谓的实时云渲染。
我们早期做云渲染时,网络太糟糕。当时我们对眩晕、时延理解不深刻,尝试很久才知道与网络有关。我们之前用LCD屏、3G网络,时延非常大,发现没有办法把VR放到云上。但我个人一直坚定认为,5G起来以后,一定会解决VR的基本问题。
我们有很多客户,包括政企客户、运营商客户,都会用到云VR。我们的VR系统支持统一集成,包括视频、直播、点播、游戏,以及各种各样的VR游戏、VR交互、工程交互。
云VR是VR的发展趋势。云VR设备更加轻量化、自由度高,有很大发展潜力,是VR硬件的发展趋势。
解决VR的低时延、流畅性,仅靠大带宽还解决不了,大带宽只是基础。在实际应用中,还要解决大带宽下的“马力”问题,即传输能力达到4K、120帧,这是相当大的挑战。我们公司在业界第一个提出FE算法,根据人眼视觉特征,基于关注的区域做编码,已经成为一项专利。
海信电子信息集团研发中心虚拟现实事业部总经理李斌:
XR五年内迎来发展黄金期
我们预测到2025年是XR发展的黄金期。随着各大软件公司介入,5G网络发展,以及屏幕技术、芯片技术等各方面的发展,我相信再过四五年,XR产品就能够走进人们的生活,无论对工作、娱乐,还是对社交,都会有很大帮助。
XR硬件分为五大块——近眼显示、XR计算平台、人机工程、感知与交互入口、硬件平台。在硬件上,我们认为近眼显示比较重要。软件就是算法,未来可以通过AI实现,AI让算法更优化。
海信在XR方面有四大路线,即近眼显示、渲染处理、感知交互、内容制作。关于内容制作,并不是海信制作内容,我们要给内容制作的开发者提供便利条件,让他们一年之内能够搭建好平台。
近眼显示是各家企业都在做的热点,而且是大力投入的部分。我们认为,一年之内OLED屏幕会出现在AR领域。1年到5年内,屏幕会向Micro LED发展。10年以后,技术重点是全息显示和智能隐形眼镜。在渲染处理方面,未来2年到3年可能是深度学习渲染,还有混合云渲染。感知交互也是我们的重点,我们在手势识别和CV 6DoF两方面储备了很多专利。VR/AR系统非常复杂,我们没有办法全部都做,只能做一部分,其余的是跟外部合作。
海信虚拟现实业务的核心技术载体是MR眼镜,它支撑与现实世界进行实时交互和信息获取。实现虚拟与现实的无缝融合是MR平台的使命,感知交互等核心技术的效果将在MR眼镜中得到最大化呈现。
海信既有元器件技术,又有算法技术,还有光学技术和激光电视技术。海信在各个方向的技术布局都比较深,我相信未来会出现一款比较惊艳的产品。
视辰信息科技(上海)有限公司副总裁江淑红:
用AR云“点击”显示世界
“元宇宙”是最近很火的一个概念,它来源于1992年的科幻小说《雪崩》。元宇宙属于交互技术,提供给用户沉浸式的虚拟世界。AR云将地理位置和计算机视觉结合,与真实世界的坐标结合,使现实世界可以“点击”。
我们公司成立于2012年,2015年打破国外技术垄断,2019年帮助汽车之家打造全球最大的AR车展。2020年因为疫情,世界人工智能大会搬到网上,我们公司是世界人工智能大会云展会的技术支持方。此外,我们还落地了张闻天故居的AR游小程序。
AR云底层是空间数据,上面一层是技术服务,最上面是各行各业的具体应用。AR云可以为企业带来什么?
在工业领域,从生产、服务、管理到产品,都可以有AR云介入。提到AR说明书,以前买一辆汽车,说明书是纸质的,这几年AR说明书应用于汽车领域。买一款新车,可以用AR的方式,比如用手机在控制面板上扫一扫,购买者根据提示往下操作,形成交互,这点非常方便。以后大家出国旅游更方便了,我们在海外租车,汽车型号不是我们熟悉的,说明书也是全英文的,如果有AR说明书,所见即所得,非常方便。
我们公司在AR营销方面做得非常好,全国前20大银行,我们做了15家,工农商建与我们都有合作。“AR助理”以AR的形式呈现财报;AR红包游戏用AR的方式呈现动画,吸引小朋友,给小朋友发压岁钱。我们之前做过AR动画“孙悟空大闹天宫”,帮助银行提升贵金属销量。
北京凌宇智控科技有限公司首席技术官张佳宁:
跨平台统一SDK势在必行
所谓的XR互通机制到底是什么?简单理解,它是一个软件接口的标准,一方面,能提供面向硬件的接口,适配各个硬件厂商开发出来的硬件产品;另外一方面,它能提供上层接口规范,给应用开发者提供一个标准接口,让大家基于这套规范开发出来的软件和硬件,在各家平台上运行起来,从而实现真正的互通,而不是各家割据。
为什么会提出这个概念呢?以手柄形态硬件为例,每一家厂商的手柄按键定义不一样,有的是摇杆式,有的是触摸杆;手柄形态也多种多样,有的是简单的手把,有的是带定位追踪功能的大圆环,各家都有自己的SDK(软件开发工具包)。对于开发者来说,做一款应用需要适配各家的SDK,工作量非常大。安卓手机为什么能发展很好?原因在于谷歌定义了安卓的SDK,以及对应的应用商店,所有开发都可以在安卓手机上运行。
对于内容开发者来说,互通软件主要做了几方面的工作。一方面,内容适配,把底层有效隔离出来。对内容厂商来说,只需要适配一个SDK,就可以适应各家的硬件。在游戏建权方面,互通软件做了相关的建权,确保开发出来的游戏在分发过程中不被其他渠道破解。
对于用户来说,互通软件能够解决两个问题。一个是应用体验爱好的设置,由于支持不同交互方式,用户可以根据自己喜好设置不同的交互类型;另一个是在内容跨平台方面,开发出来的内容适配多个平台,用户可以响应到的内容会更多。
中山大学中山眼科中心副主任袁进:
虚拟现实在眼科有天然应用场景
我们很早关注到虚拟现实在医学的应用。眼病是影响人类生存质量的三大疾病之一,主要表示为视力、视功能、视觉质量的改变。虚拟现实作为一个以视觉输入为主的技术,在眼科有着天然的应用场景,现在已经可以运用VR技术做视功能筛查、视力辅助重建和视功能训练。
我们眼科中心和合作团队很早就开始虚拟现实的应用,通过指向背光和单眼定向投射原理,构建了首个裸眼3D技术显示系统,并且根据软件的设计,利用裸眼3D进行不同的多级视功能的筛查和评估。事实证明,裸眼3D筛查技术具有更高的准确性、更好的接受度,以及更高的筛查效率。
我们还对VR/AR形成的对视觉中枢的影响进行评估,这样有助于利用VR技术进行视功能的重建和辅助训练。我们开发基于脑电技术评估的VR视觉训练系统,以及智能化的全天候视力辅助增强系统,用于低视力人群的视觉辅助。
我们在充分享受虚拟现实技术给医学带来全新应用场景的同时,也关注到在使用虚拟现实过程中会出现视觉疲劳、眩晕,以及虚拟现实的高度仿真带来的过度沉浸,引起脑力的认知负荷和视疲劳程度增加等现象。
在视觉质量影响因素当中,虚拟现实的物理光电技术参数与视觉质量有很大的关联,包括屏幕的分辨率、延迟、屏幕的亮度、刷新率、多焦显示等。目前我们对于虚拟现实视觉质量评价的瓶颈在于,视觉健康的评价指标是碎片化的,没有和虚拟现实光电物理参数,以及使用虚拟现实的规律进行联动研究;对于中枢视觉疲劳或者视觉异常,缺乏有效的评价体系。
目前我们提出国家首个虚拟现实视觉健康团体标准,标准主要对虚拟现实产品视觉健康评价方法、评价流程,以及和视觉健康相关的关键指标,给出了明确的建议。这个标准正在全国团体标准信息平台上进一步广泛征求意见,在标准里,我们对虚拟现实产品视觉健康评价流程给出了明确的推荐方案。
腾讯多媒体实验室负责人刘杉:
2025年沉浸式媒体市场规模超1600亿美元
沉浸式媒体通过实现物理世界和虚拟世界的融合共生,被认为是改变未来生活和工作方式的颠覆性趋势之一。沉浸式应用场景正在从面向个人娱乐的消费类市场,深化发展到企业级市场的垂直行业应用领域。
未来5G的大规模普及、沉浸式媒体硬件及技术的进一步突破、制作成本的下降,以及更多优质内容的开发,将推动沉浸式媒体产品和服务被主流群体采纳。
近年来,随着沉浸式媒体应用的兴起,国际和国内标准组织也相应制定了一系列技术标准,以便更好地支持相关领域的应用和产业发展。
以VR为代表的沉浸式媒体视频内容近几年显著增加,渗透到文旅、教育、娱乐、医疗和制造等行业。预计到2025年,沉浸式媒体市场规模将超过1600亿美元,更多公司和厂家也在加大沉浸式媒体技术研发和生产的投入。
腾讯积极参与沉浸式媒体标准的制定,为沉浸式媒体技术标准化工作作出一定贡献。同时,腾讯也积极推动沉浸式媒体的生态建设和技术应用落地。
围绕三维空间重建与三维物体重建两个方向,我们进一步完善三维可视化技术,并结合传统几何算法和深度学习方法。相比单纯深度学习方法,三维可视化方法降低了对大量训练数据的依赖,保持了空间结构准确性。在物体重建方面,我们结合基于几何关系和深度学习的方法,降低训练数据量,提升重建准确率。我们利用这个方法,帮助敦煌研究院完成了一些文物重建工作,为文物保护和文化传承作出了一定贡献。