智东西

作者 | 程茜


【资料图】

编辑 | 心缘

智东西6月13日报道,今天,英国半导体IP龙头Arm发布针对智能视觉应用设备的Arm智能视觉参考设计,该参考设计的硬件参考设计包括CPU、ISP、NPU、VPU处理器选项,以及将这些元件粘合在一起的子系统IP。其中,VPU、NPU由Arm中国合资公司安谋科技提供。

该智能视觉参考设计支持视觉芯片及系统设计,并支持灵活配置,能加速智能视觉系统的开发进程。

随着算力的高速提升和模型演进,属于人类的感知、思考和行动能力正逐渐向机器转移,而机器系统必须通过视觉等感官理解周围环境,做出相应的决策和行动。因此,智能视觉的广泛应用正在加速。

同时,Arm开始组建智能视觉合作伙伴计划,联合芯片设计、软件算法、系统集成的合作伙伴加速视觉系统开发。目前,该计划已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内企业加入,包含百度飞桨、诚迈科技等。

一、人类感知思考能力向机器转移,智能视觉呈现五大发展趋势

人类的智慧体现在我们可以通过感知、思考和行动来改变世界,在这个过程中,人类会通过感官接收外界的信息和刺激,建立对世界的认知形成信息系统,进而人类通过思考加工和处理感知到的信息,形成理解和见解,这些见解会帮助人们解决问题、作出决策,这就是模型系统,也就是最终使人类能够将感知和思考转化为实际的行动,从而逐步改变自然和社会环境,推动科学技术的进步、文明的发展和社会的演变。

当下,随着算力的高速提升和模型演进,属于人类的感知、思考和行动能力正逐渐向机器转移,Arm物联网事业部业务拓展副总裁马健认为,每一个能力转移的拐点都将产生新范式,现在正是思考和模型构建从人类转向机器的拐点。

她补充说,大模型的爆发使得模型产生的成本从边际成本转化为固定成本,这一拐点必将让模型更加丰富,使其无处不在并加速下一个拐点到来,就是以机器人和自动驾驶等技术为代表的行动无处不在的时代。

与此同时,智能视觉将必不可少。其原因在于,机器系统必须通过视觉等感官理解周围环境,做出相应的决策和行动。

机器视觉可以通过捕捉人类表情、手势、动作理解人类的意图和情感,模型优化可以基于智能视觉等感知技术,从现实生活中采集真实数据,从而形成更准确的模型。

目前,智能视觉技术在智慧家居、智慧城市、智能制造等领域的应用日益广泛。如智能家居中的智慧摄像头监测老年人日常生活、睡眠质量等,智慧城市中的城市安全健康、智能交通管理方面,以及零售方面通过智能摄像头分析人流和行为,智能制造领域监测生产线等。

马健谈道,智能视觉系统正朝着以下几个技术趋势发展。

首先是云边端协同,由于视频数据的规模庞大,再加上自动驾驶等应用对实时性提出更高要求,因此智能视觉系统需要将计算和决策任务分布在云、边和终端设备上,实现协同工作。

第二是AI加持,未来智能视觉系统将继续依赖深度学习模型和神经网络,提高图像和视频数据的分析和识别能力,并利用强化学习和自主自适应学习,使系统能够从环境中不断学习和改进,并适应新的场景和任务。

第三是智能视觉系统需要准确和高质量的图像处理,以支持更高效的特征提取、目标跟踪和检测、图像分析和理解以及图像的生成和合成。

第四是算力支持,复杂的模型和算法、大规模图像数据处理对实时性、高精度、高并发的要求,使得智能视觉系统需要越来越强大的计算资源和算力支持。

此外,智能视觉系统广泛应用引发了对隐私和安全的关注,马健认为,未来的趋势是采用加密匿名化等技术手段保护用户的隐私,同时加强系统的安全性,防止被恶意攻击和滥用。

二、与安谋科技IP结合,提供CPU、ISP、NPU、VPU选项

Arm发布集Arm与安谋科技IP于一体的智能视觉参考设计,该方案的硬件参考设计包括CPU、ISP、NPU、VPU处理器选项,以及将这些元件粘合在一起的子系统IP。其中,VPU、NPU由安谋科技提供。

马健谈道,这是Arm首次将IP和安谋科技的IP相结合,并由安谋科技预先集成、预先验证。

Arm智能视觉参考设计的主要组成部分包括Arm Corstone-1000Arm Corstone-300Corstone是一套预先经过集成,并被验证的系统,这也是Arm物联网解决方案的根基。Corstone子系统可以加速芯片产品的流片和量产。

其中,Arm Corstone-1000整合Cortex-ACortex-M处理器与内建安全性,为不同应用在受限的功耗范围内提供效率及高性能。Arm Corstone-300作为低功耗子系统,能降低边缘设备功耗,提高系统效率。

此外,参考设计中的ISP是Arm Mali-C55图像信号处理器,马健称,这是Arm迄今为止面积最小、功耗最低且可配置性最高的ISP产品。并且,Mali-C55提供的图像质量功能,可以支持设备在各种不同的照明和天气条件下工作。

“玲珑”VPU作为编解码融合、灵活可配置、可编程的多核视频处理器,支持紧凑的、多格式且高效能的视频编解码处理,同时兼容Arm架构。

安谋科技智能物联及汽车业务线负责人赵永超说,目前安谋科技已经完成两代产品研发,增加了支持格式,提升了编码质量。

玲珑”VPU支持软件可编程,因此硬件量产后客户仍可以进行优化迭代,并根据其需求进行升级。再加上AFBC的支持,玲珑”VPU可以降低35%的系统带宽。

周易NPU可以为广泛的机器学习用例提供高达4TOPS的性能表现,并且支持业界主流的AI规模框架,例如TensorFlowCaffeONNXPyTorch等。赵永超透露,目前,周易NPU已经在多家客户落地量产,产品应用涵盖汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业。

三、发起合作伙伴计划,已有10余家企业加入

发布智能视觉参考设计同时,Arm发起智能视觉合作伙伴计划,联合AI视觉、芯片设计、软件算法和系统集成的行业伙伴,基于Arm架构打造智能视觉应用生态。

马健谈道,生态合作伙伴加持能加速视觉、硬件、软件和系统的开发。

Arm智能视觉参考设计的目标受众是边缘AI领域的创企、跨界创新公司或者系统进行垂直整合的系统公司。但这些公司的研发团队往往不能涉及所有芯片架构、前端、后端等,因此其第一颗芯片研发往往需要借力芯片设计公司。

她补充说,基于Arm发起的生态计划,芯片设计服务企业可以熟悉Arm参考设计,并在此基础上快速流片。

同时,Arm智能视觉参考设计包含了云原生开源视觉软件堆栈,但马健透露,该软件栈距离面向不同视觉市场的量产软件还存在差距,这需要在智能视觉领域具有软件开发经验的企业去帮助客户整合、调优等,以达到量产水平。

目前已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内企业均已加入该项计划。其中,百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配。

结语:从参考设计到伙伴计划,加速智能视觉应用普及

当下,随着大模型的发展加速,智能视觉技术也将在更多的垂直行业中得到更广泛应用。视觉能力未来或许会对人机交互产生变革,正如马健提到的,未来聊天机器人或许不仅需要高智商,更需要高情商,视觉能力的加持能帮助AI理解人类的意图和情感,从而改善AI与人类的沟通和合作。

在这一背景下,Arm基于其在智能物联网领域的积累与技术优势,打造了智能视觉参考设计,并发起构建智能视觉生态系统,为更多企业加速视觉产品设计,并产生更多新想法提供了一个平台。

推荐内容