智东西

作者 | 程茜

【资料图】

编辑 | 心缘

智东西6月13日报道，今天，英国半导体IP龙头Arm发布针对智能视觉应用设备的Arm智能视觉参考设计，该参考设计的硬件参考设计包括CPU、ISP、NPU、VPU处理器选项，以及将这些元件粘合在一起的子系统IP。其中，VPU、NPU由Arm中国合资公司安谋科技提供。

该智能视觉参考设计支持视觉芯片及系统设计，并支持灵活配置，能加速智能视觉系统的开发进程。

随着算力的高速提升和模型演进，属于人类的感知、思考和行动能力正逐渐向机器转移，而机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动。因此，智能视觉的广泛应用正在加速。

同时，Arm开始组建智能视觉合作伙伴计划，联合芯片设计、软件算法、系统集成的合作伙伴加速视觉系统开发。目前，该计划已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内企业加入，包含百度飞桨、诚迈科技等。

一、人类感知思考能力向机器转移，智能视觉呈现五大发展趋势

人类的智慧体现在我们可以通过感知、思考和行动来改变世界，在这个过程中，人类会通过感官接收外界的信息和刺激，建立对世界的认知形成信息系统，进而人类通过思考加工和处理感知到的信息，形成理解和见解，这些见解会帮助人们解决问题、作出决策，这就是模型系统，也就是最终使人类能够将感知和思考转化为实际的行动，从而逐步改变自然和社会环境，推动科学技术的进步、文明的发展和社会的演变。

当下，随着算力的高速提升和模型演进，属于人类的感知、思考和行动能力正逐渐向机器转移，Arm物联网事业部业务拓展副总裁马健认为，每一个能力转移的拐点都将产生新范式，现在正是思考和模型构建从人类转向机器的拐点。

她补充说，大模型的爆发使得模型产生的成本从边际成本转化为固定成本，这一拐点必将让模型更加丰富，使其无处不在并加速下一个拐点到来，就是以机器人和自动驾驶等技术为代表的行动无处不在的时代。

与此同时，智能视觉将必不可少。其原因在于，机器系统必须通过视觉等感官理解周围环境，做出相应的决策和行动。

机器视觉可以通过捕捉人类表情、手势、动作理解人类的意图和情感，模型优化可以基于智能视觉等感知技术，从现实生活中采集真实数据，从而形成更准确的模型。

目前，智能视觉技术在智慧家居、智慧城市、智能制造等领域的应用日益广泛。如智能家居中的智慧摄像头监测老年人日常生活、睡眠质量等，智慧城市中的城市安全健康、智能交通管理方面，以及零售方面通过智能摄像头分析人流和行为，智能制造领域监测生产线等。

马健谈道，智能视觉系统正朝着以下几个技术趋势发展。

首先是云边端协同，由于视频数据的规模庞大，再加上自动驾驶等应用对实时性提出更高要求，因此智能视觉系统需要将计算和决策任务分布在云、边和终端设备上，实现协同工作。

第二是AI加持，未来智能视觉系统将继续依赖深度学习模型和神经网络，提高图像和视频数据的分析和识别能力，并利用强化学习和自主自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。

第三是智能视觉系统需要准确和高质量的图像处理，以支持更高效的特征提取、目标跟踪和检测、图像分析和理解以及图像的生成和合成。

第四是算力支持，复杂的模型和算法、大规模图像数据处理对实时性、高精度、高并发的要求，使得智能视觉系统需要越来越强大的计算资源和算力支持。

此外，智能视觉系统广泛应用引发了对隐私和安全的关注，马健认为，未来的趋势是采用加密匿名化等技术手段保护用户的隐私，同时加强系统的安全性，防止被恶意攻击和滥用。

二、与安谋科技IP结合，提供CPU、ISP、NPU、VPU选项

Arm发布集Arm与安谋科技IP于一体的智能视觉参考设计，该方案的硬件参考设计包括CPU、ISP、NPU、VPU处理器选项，以及将这些元件粘合在一起的子系统IP。其中，VPU、NPU由安谋科技提供。

马健谈道，这是Arm首次将IP和安谋科技的IP相结合，并由安谋科技预先集成、预先验证。

Arm智能视觉参考设计的主要组成部分包括Arm Corstone-1000和Arm Corstone-300。Corstone是一套预先经过集成，并被验证的系统，这也是Arm物联网解决方案的根基。Corstone子系统可以加速芯片产品的流片和量产。

其中，Arm Corstone-1000整合Cortex-A、Cortex-M处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能。Arm Corstone-300作为低功耗子系统，能降低边缘设备功耗，提高系统效率。

此外，参考设计中的ISP是Arm Mali-C55图像信号处理器，马健称，这是Arm迄今为止面积最小、功耗最低且可配置性最高的ISP产品。并且，Mali-C55提供的图像质量功能，可以支持设备在各种不同的照明和天气条件下工作。

“玲珑”VPU作为编解码融合、灵活可配置、可编程的多核视频处理器，支持紧凑的、多格式且高效能的视频编解码处理，同时兼容Arm架构。

安谋科技智能物联及汽车业务线负责人赵永超说，目前安谋科技已经完成两代产品研发，增加了支持格式，提升了编码质量。

“玲珑”VPU支持软件可编程，因此硬件量产后客户仍可以进行优化迭代，并根据其需求进行升级。再加上AFBC的支持，“玲珑”VPU可以降低35%的系统带宽。

周易NPU可以为广泛的机器学习用例提供高达4TOPS的性能表现，并且支持业界主流的AI规模框架，例如TensorFlow、Caffe、ONNX、PyTorch等。赵永超透露，目前，周易NPU已经在多家客户落地量产，产品应用涵盖汽车智能座舱、自动驾驶、智能物联网、安防监控等多个行业。

三、发起合作伙伴计划，已有10余家企业加入

发布智能视觉参考设计同时，Arm发起智能视觉合作伙伴计划，联合AI视觉、芯片设计、软件算法和系统集成的行业伙伴，基于Arm架构打造智能视觉应用生态。

马健谈道，生态合作伙伴加持能加速视觉、硬件、软件和系统的开发。

Arm智能视觉参考设计的目标受众是边缘AI领域的创企、跨界创新公司或者系统进行垂直整合的系统公司。但这些公司的研发团队往往不能涉及所有芯片架构、前端、后端等，因此其第一颗芯片研发往往需要借力芯片设计公司。

她补充说，基于Arm发起的生态计划，芯片设计服务企业可以熟悉Arm参考设计，并在此基础上快速流片。

同时，Arm智能视觉参考设计包含了云原生开源视觉软件堆栈，但马健透露，该软件栈距离面向不同视觉市场的量产软件还存在差距，这需要在智能视觉领域具有软件开发经验的企业去帮助客户整合、调优等，以达到量产水平。

目前已有十多家来自智能物联网的芯片设计、系统集成、AI 算法、开发平台等国内企业均已加入该项计划。其中，百度飞桨已经实现了基于飞桨的视觉模型库和Arm虚拟硬件的整合适配。

结语：从参考设计到伙伴计划，加速智能视觉应用普及

当下，随着大模型的发展加速，智能视觉技术也将在更多的垂直行业中得到更广泛应用。视觉能力未来或许会对人机交互产生变革，正如马健提到的，未来聊天机器人或许不仅需要高智商，更需要高情商，视觉能力的加持能帮助AI理解人类的意图和情感，从而改善AI与人类的沟通和合作。

在这一背景下，Arm基于其在智能物联网领域的积累与技术优势，打造了智能视觉参考设计，并发起构建智能视觉生态系统，为更多企业加速视觉产品设计，并产生更多新想法提供了一个平台。