12 月 16 日,汽车之心「2022 智能汽车技术与商业创新论坛」顺利举办,以「新技术 新商业」为主题,聚焦汽车智能化,通过汇聚智能汽车行业及自动驾驶产业链学术领袖、行业大咖、创业者、投资大佬参会和分享,围绕智能汽车时代,汽车科技的技术与商业创新机会,通过层层剖析和趋势判断,探寻中国智能汽车创新大时代的未来。
大会上,安霸半导体技术 (上海) 有限公司深圳分公司总经理刘清涛发表了以「安霸 ADAS/自动驾驶全系解决方案,拥抱智驾新时代」为主题的演讲,对安霸在汽车智能驾驶领域的解决方案和技术优势进行了分享。
以下为演讲实录,经汽车之心整理:
大家好,我是刘清涛。
非常高兴来到汽车之心主办的智能汽车技术与商业创新论坛和大家见面。今天我给大家分享的题目是《安霸 ADAS/自动驾驶全系解决方案,拥抱智驾新时代》。
安霸成立于 2004 年,是一家 AI 视觉芯片公司,专注于高清视频图像处理、 AI 计算机视觉和汽车自动驾驶等领域。
2007 年安霸中国团队成立,先后在上海和深圳设立了研发中心。
2012 年,安霸在纳斯达克上市。
2015 年,安霸收购了业界非常知名的自动驾驶公司 VisLab。
2021 年收购了 4D 毫米波雷达算法公司傲酷。同年,安霸累计量产超过 3 亿多颗高清摄像芯片。
2022 年安霸发布了大算力自动驾驶域控 SoC 系列 CV3-AD。
安霸分支机构遍布世界各地, 美洲、欧洲、亚洲都有布局。安霸的研发团队主要位于三个地方:美国加州硅谷,中国大陆的上海和深圳,台湾新竹。
上海和深圳团队一共有 200 余人,专注于中国本土汽车市场,超过 85% 以上的是研发技术人员。
安霸在智能汽车电子领域潜心耕耘多年,下面我给大家介绍一下安霸 CV 系列车规芯片。
首先科普一下,这里提到的 CV 系列芯片,里面均内嵌了计算机视觉处理引擎,也就是常说的 CVflow® AI 硬件加速单元。
CV 系列芯片可以广泛用于需要 AI 智能算法的智能驾驶产品上。
依据制程工艺不同,安霸 CV 系列芯片主要分成两部分:
一个是 10 纳米制程的车规芯片系列:CV2FS, CV22FS, CV2AQ, CV22AQ, CV25AQ, CV28AQ (以下简称「CV2x」) 全系基于 10 纳米车规制程,所有的芯片都已经在乘用车项目上得到量产,同时 SDK 软件相互兼容,支持多种算法开发和优化。
CV2x 系列芯片提供了磐石信息安全综合解决方案,支持硬件信息安全,已经在多个项目上量产。另外在 CV2x 系列芯片中,CV2FS/CV22FS 达到了芯片级别的 ASIL-C 等级,功能安全岛 ASIL-D 等级。
另一个是 5纳米先进制程的车规芯片系列:
今年安霸刚刚发布了 CV3-AD 大算力域控 SoC,后续还会发布 CV7x 系列的芯片。这两个系列芯片都支持硬件的 HSM,能够显著改善信息安全。同时 CV3-AD 系列芯片支持 ASIL-D 的功能安全岛,整个芯片可以达到 ASIL-B 功能安全等级。
这里展示了 EXIDA 官方认证的芯片等级 ASIL-C 证书。除了芯片符合功能安全的要求之外,SDK 软件也同样符合 MISRA-C 和 ISO26262 的要求。如果客户的项目有功能安全的需要,我们可以提供完整的功能安全手册和相关的技术文档。
下面着重介绍安霸芯片的技术优势。在这之前,不妨先回顾一下在智能驾驶开发过程中,我们经常遇到的那些痛点:
第一大痛点就是芯片性能虚高。芯片的 AI 性能纸上的数字非常好,但是在实际应用的过程中就会碰到各种各样的性能瓶颈,实际的 AI 性能相较规格书上的指标也会急剧下降。用一句话形容,就是说起来天下无敌,做起来有心无力。
第二大痛点就是芯片的功耗居高不下。芯片的功耗高,不但增加了开发的难度,而且增长了研发的周期,并且稍不留神芯片和整个项目都会变成烫手山芋。
第三大痛点就是图像质量强差人意。作为智能驾驶眼睛的摄像头,却无法把道路上的纷纷扰扰看得清清楚楚。
第四个痛点就是 AI 的算法工具链不易用,经常导致事倍功半。
第五点就是得不到芯片原厂的有效技术支持。
安霸的五大技术优势恰好可以把这五大痛点全部解决掉。下面让我们逐一了解安霸的这五大技术优势。
优势一:安霸芯片有非常强的 AI 性能和整体性能。
面对市场上各式各样眼花缭乱的市场宣传,安霸踏踏实实苦练内功,坚信芯片性能评估须当「不看广告看疗效」,在实际应用场景中实打实的 AI 性能最为重要。
安霸始终遵循着算法优先的策略进行芯片开发,要测试和评估成百上千的开源网络和安霸自研的自动驾驶算法。
不但评估现有的主流神经网路,还要超前考虑未来算法的发展方向。
整体芯片设计围绕在实际应用场景中算法能够发挥最大效能的核心诉求而打造的。
所以安霸的芯片架构兼顾了实时性和可靠性,传统算法与深度学习算法相互协调,各个硬件模块各司其职,高效协作,运行起来混若一个整体,避免互相抢占资源,出现性能瓶颈的弊端,芯片整体性能非常优异。
基于以上的设计理念,在实际应用场景中,CV 系列芯片自然具备超强性能。
比如算力 12 eTops 的 CV2AQ 和友商标称 30T 算力的 GPU 做算力对比试验,运行同样的算法,AI 性能表现相当,但是 CV2AQ 功耗只有对方的 1/5。
同时,由于 CV 系列芯片是基于算法优先的策略来设计的,它对所有的 AI 算法兼容性非常好,性能也非常均衡。
安霸的 CVflow® 之所以有如此优异的性能,源于它特别设计的芯片架构,它使用了多种优化过的 data path 进行异构计算。
每一个 data path 都对应着底层某个特殊的硬件算子。我们底层算子有很多,比如有的用于通用矢量计算,有的用于 tensor 计算,有的和 CV 相关的特殊计算。
上层的算法可以非常灵活的调用甚至组合这些算子,从而实现神经网络硬件加速。
CVflow® 独具匠心的硬件架构设计使得它的 DRAM 带宽效率得到了飞速的提升。高性能、低延迟、低功耗是安霸 CV 系列芯片的鲜明特色。
优势二:CV 系列芯片拥有超低功耗。
这是因为安霸不但有先进 10 纳米甚至 5 纳米半导体制程工艺,而且还有着一流的硬件架构设计,所以可以拥有业界领先的 AI 性能功耗比。
以 CV2x 系列芯片举例,CV28AQ 的功耗可以做到小于 1. 5 瓦,即使是 AI 算力最强的 CV2 AQ 芯片,它的功耗也不到 4 瓦。
相比于友商的硬件方案需要用风冷甚至水冷做散热设计,CV2 仅仅使用简单的散热片就可以完成散热设计。
芯片低功耗所带来的各种优势是显而易见的。它可以节约开发周期,降低开发难度,可以真正地让开发人员省时、省力、省心。
同时,低功耗还可以消除热量累积带来的种种隐患,系统即使在高温天气长时间工作,也可以安全运转。同时低功耗可以有效地降低电源成本,简化散热设计,节约整个 BOM 成本。
另外它的另一大优势是便于功能扩展升级。比如根据落地场景的不同,可以基于同样的硬件,用高规格的芯片替代同系列中低规格的芯片。
优势三:图像质量百闻不如一见
安霸优异的影像品质历来有口皆碑,得到业界一致公认和推崇。安霸的 ISP 全部是自己研发的,拥有独有的算法和核心的专利技术。
通过持续不断地迭代创新,确保每一代都有新的提升。得益于多年的技术积累,安霸 ISP 拥有了诸多技术优势。
比如超低延迟敏锐捕捉实时路况,专业降噪和宽动态处理算法确保图像色彩清晰准确,细节更加丰富。
支持大多数主流的 CMOS 图像传感器,包括 RGB、RCCB、RGB-IR 等多种格式。
支持多路 sensor 的输入同步,能够对多路输入同时调参。可以融合不同波段的光谱,支持高品质硬件镜头畸变矫正。
很多客户看到实车演示的图像质量后,当即决定和安霸合作,正应了那句老话「百闻不如一见」。
优势四:完整成熟工具链
用「三分凭努力,七分靠工具」来形容完整成熟工具链的重要性并不为过。
一个完整成熟的工具链的确可以让算法移植人员事半功倍。
安霸 SDK 自带的移植工具成熟完善。仿真,调试,分析诸多工具一应俱全,面面俱到。整个算法移植过程可以做到全自动化完成,轻松实现从用户算法模型导入,到稀疏化调优、量化、编译转换,最后到上板执行的整个过程。
同时,它支持 Caffe、Tensorflow、Pytorch、飞桨等业界流行的训练框架,完美兼容各种开源网络和客户自有的神经网络。
优势五:安霸技术专家团队「靠谱」
安霸在上海、深圳两地建立了实力雄厚颇具规模的技术工程团队。
技术专家大多来自于国内外的一流学府,有着丰富的影像和计算机视觉的开发经验,对于 SDK 的各个环节都有深入钻研和独到见解。
客户在开发过程中即使遇到非常底层的问题,无论是从硬件设计还是软件开发、 IQ 优化、算法移植等方方面面安霸都有专职团队在本地就可以快速解决。
安霸技术专家团队想客户所想,急客户所急,在客户中享有非常好的口碑。
我们专注于国内汽车市场,不但可以迅速解决客户的疑难杂症,而且善于和客户协同合作,想方设法地挖掘芯片的潜力,让算法和应用软件发挥更大的效能,打造差异化的创新产品。
安霸的汽车芯片可以分成三大类:
一类是以 A12,H22,H32 为代表的纯视觉处理芯片,典型应用是单路或者多路的行车记录仪、低延时的电子后视镜。
另外一类是大算力 AI 域控芯片系列 CV3-AD。在随后的章节将重点介绍。
最后一类是我们在这里重点关注的,基于 CV2x 系列的 AI 计算机视觉的智能驾驶产品。代表应用是 200 万/800 万像素的前向 ADAS、带盲区检测的电子后视镜、驾驶员监控和舱内视觉感知,行泊一体或者环视泊车等。目前以上提到的这些应用安霸都有成熟的参考设计和解决方案。
经过多年的深耕细作,安霸基于 CV2x 系列芯片的智驾方案得到市场的广泛认可,结出了累累硕果。
目前,安霸和国内主流的主机厂、 Tier1 和算法提供商建立的密切且广泛的合作,一系列前装量产项目纷纷落地,其中包括一汽红旗的 ADAS,合创汽车的 ADAS,还有长城、吉利、上汽、广汽、东风、奇瑞、铃木、哪吒等车厂的智驾项目。
除了这些,明年还将有一大批搭载安霸智能驾驶解决方案的车型进入量产。
大陆集团刚刚宣布集成 CV3-AD 系列 SoC 到它的 ADAS 和自动驾驶系统。
博世汽车随后也官宣在它的 ADAS 和自动驾驶系统里,采用安霸的 CV3-AD 系列 SoC。
CV3-AD 大算力 AI 域控芯片一经发布就做到了一鸣惊人。
CV3-AD 芯片如此受到汽车客户青睐缘于其出众的技术优势:
CV3-AD SoC 系列芯片可以用于中央、区域、边缘域控应用,全面覆盖从高端 ADAS 到 L2+ 、L4 汽车自动驾驶的各个领域。
它的硬件和软件架构互相兼容,这给开发人员带来非常大的便利。
客户一旦选用系列中的某颗芯片着手开发,后续项目无论是沿用前面的芯片型号,还是因为落地场景的不同,需要选用 CV3-AD 系列里的其它芯片,之前做的开发工作,如算法、底层的驱动、中间件和上层应用软件等,都可以高效地复用,无缝地移植到新的项目上。
所以国内外的 Tier1 在考虑芯片选型时,把是否能够全域覆盖自动驾驶的各种智能应用当成非常重要的衡量因素。
CV3-AD 系列芯片大算力、低功耗,可以支持多摄像头、多激光雷达、多毫米波雷达、超声波雷达的感知,并且能够对这些感知信息进行深度融合,通过提取检测物体,进行物体分类,视觉图像语义分割等,最后达到规划控制的目的。
同时,CV3-AD 完美支持几乎所有的 AI 算法,包括最新流行的用于 BEV 的 Transformer 算法。它符合车规 AEC-Q100, 可以达到芯片级的 ASIL-B,功能安全岛 ASIL-D 等级。
CV3-AD 的巨大优势尤其体现在它的算力非常强大,功耗却很低。
一颗 CV3-AD 芯片其实内嵌了多颗神经矢量处理引擎 NVP。
一颗 NVP 的实际算力相当或优于现在市场在售的最大算力域控芯片。
而 CV3-AD 系列中的旗舰级芯片内部集成了 6 颗 NVP,实际算力惊人地达到目前在用最大算力域控芯片的 6-15 倍。
与此同时 CV3-AD 旗舰芯片典型功耗只有 50 瓦。系列里的低功耗版本只有 4 瓦。
如此优异的性能,难怪 CV3-AD 一经推出便受到了业界的广泛关注。现在 CV3-AD 开发套件 DK-MINI 已经到位可以让大家做评测,大家可以在上面实际跑一下各种各样开源的算法,或者把自家的自动驾驶算法移植上去,亲身体验 CV3-AD 的极高算力和超低功耗。
CV3-AD 另外一个优势就是兼容各种各样的神经网络算法,比如它可以高效支持未来自动驾驶发展方向的 BEV 类算法,或者它可以和傲酷雷达的算法相匹配,实现 4D 毫米波雷达的原始数据集中处理和前融合。
BEV 类算法目前炙手可热,安霸 CV3-AD 可以高效支持多传感器、多激光雷达的 BEV 类算法。BEV 是一种环视感知算法,可以有效地融合各类传感器的特征信息,让后端感知更加高效,准确性更高。
它相当于给自动驾驶开创了一种上帝视角,让汽车可以毫无遮挡地观察到路面上的实时信息。
在不久前的特斯拉 AI DAY 上,特斯拉展示了基于 Transformer 的 BEV 算法架构,实现了纯视觉输入的自动驾驶功能,效果非常惊艳。
安霸的 CV3-AD NVP 可以高效地支持用于 BEV 的 Transformer 网络,通过对 Transformer 网络进行硬件加速,能够快速准确得到预想结果。
另外安霸搭配傲酷自适应 AI 雷达算法,实现 4D 毫米多雷达的原始数据集中处理和前融合。
基于 CV3-AD 的集中式 4D 毫米波雷达的架构,可以实现雷达性能指数级的提升。
它既可以对原始数据进行集中处理,又可以实现与其它传感器输入深度底层融合。
它可以实现高达 0. 5 度的方位角和仰俯角的分辨率,每帧最高可以处理 10 万个点的密集点云,达到 500 多米的检测范围。
毫米波雷达的数据传输带宽可以减少 6 倍。每个 MMIC 雷达头天线阵列减少为 6 发射 8 接收,天线 MIMO 通道减少了一个数量级,功耗大幅降低。这要得益于安霸傲酷专有的虚拟孔径技术。
还可以做到在同一类别或多个不同类型的传感器之间实时动态的分配 CV3 -AD 处理资源。比如在恶劣的天气状况下,如下雨或者大雾,远程的摄像头所获得的有效数据就大幅减少了。
这时候 CV3-AD 可以动态地分配资源,把部分资源转移给毫米波雷达,让毫米波雷达提升性能获取更多有效信息。这种根据场景自适应优化的架构,只有在集中式毫米波雷达上才能够实现。
同时前端雷达头不需要单独的 MCU,可以大幅降低成本。因为 前端的 DSP 都可以去掉了,所有工作都可以由 CV3-AD 上的处理器处理。CV3-AD 内置的雷达处理器比传统 edge 端的 DSP 要快 100 倍以上。
右图展示的 CV3 -AD 中央集中式中央域控雷达,它的效率要相较传统的雷达具有指数级的提升。安霸是目前唯一一家拥有毫米波雷达算法、视觉处理算法和 AI 加速引擎的公司,具有先进的全栈能力。
下面重点介绍一下 CV3-AD 的系统架构。
CV3-AD 的新一代 CVflow® 包含两个重要的硬件引擎:
一个是 NVP,专门用于处理神经网络矢量的运算单元;
一个是 GVP,是通用矢量处理引擎。
NVP 善于处理卷积神经网络。GVP 擅长处理繁重的浮点运算,它既可以处理 4D 毫米波雷达的算法,又可以运算需要大量浮点计算的传统算法。
CV3-AD 里边还集成了高达 12 核的 ARM Cortex A78AE 的 CPU,Cortex A78AE 是专为自动驾驶应用设计的,是目前整个 Cortex 系列性能及安全性最高的芯片。
CV3-AD 的 ISP 能够接入多达二十四路外接摄像头,可以处理高达 7 个 800 万 三十帧的实时图像。
同时可以支持 H.264、 H.265 高效视频编码。
CV3-AD 内嵌有双目立体视觉和稠密光流的硬件引擎,同时包含了 Cortex-R52 的 ASIL-D 等级的车规安全岛,硬件安全模块 HSM 和丰富齐全的外设接口。
这里给大家举例说明 CV3-AD 如何用于 L2+到 L4 自动驾驶平台。
CV3 可以接入 5 个 800 万像素长距 camera,前向的 camera 可以选用双目视觉摄像头。
同时接入 5 个 200 万像素的短距 camera,还能接入若干个舱内 RGB-IR 或者是全局曝光的 camera。
除此之外它可以接入多个雷达,毫米波雷达和超声波雷达。
CV3 可以同时处理所有这些个传感器的输入数据,对这些传感器进行感知深度融合,最后达成自动驾驶的预测、规划、决策、控制。
最后总结一下 CV3-AD 的核心优势,我把它归纳为五高三低。
五高是 AI 算力高,可以达到目前市场在用域控最大算力芯片的 6- 15 倍;图像品质高;雷达性能高,中央域控 4D 毫米波雷达架构可以比传统雷达提升性能 100 倍以上;安全性高,符合 ASIL-B 芯片等级,并且带有 ASIL-D 等级的功能安全岛,并且支持硬件的 HSM;带宽利用率高,各个硬件模块协同工作,不会发生带宽瓶颈。
三低是功耗低,延迟低,整体的 BOM 成本低。
安霸对自己的产品和技术抱有充足信心,同时我们也满怀期待,希望为我国汽车产业从传统技术向自动驾驶的历史跨越中贡献自己的力量。