在盘点自动驾驶AI芯片之前,我们先了解一下车用半导体。
车用半导体大致可分为微控制器单元(MCU)、特定应用标准产品(ASSP)、特定应用集成电路(ASIC)、模拟(Analog)与功率晶体管(Transistor)、传感器(Sensor)等。其中:
MCU较偏重动力传动、底盘控制与安全;
ASSP/ASIC较偏重在车载资通讯与娱乐;
模拟与功率晶体管在各次系统使用比较平均;
传感器则是偏重在动力传动及安全。
以下是市场研究机构SemicastResearch发布的2016年全球前十大汽车电子公司。
在上述汽车电子巨头中,恩智浦、瑞萨、TI等都研发有面向高级驾驶辅助系统(ADAS)及自动驾驶(AD)需求的高效能处理芯片;意法半导体从2004年开始与Mobileye共同合作研发EyeQ系列芯片,不过Intel在2017年3月以153亿美元收购了Mobileye。在此之前,Intel还先后收购了FPGA芯片巨头Altera、视觉算法公司Movidius,以此形成了自动驾驶芯片的完整解决方案。芯片巨头中,英伟达凭借其GPU的强大优势也积极切入自动驾驶芯片领域;高通除了自主研发新一代车规级移动处理区芯片外,也即将完成对恩智浦的收购;Xilinx则主推其基于FPGA的Zynq-7000AllProgrammableSoC,等等。
此外,特斯拉也是一家即将进入自动驾驶芯片领域的巨头,ElonMusk在2017年底公开了特斯拉自主研发自动驾驶AI芯片的计划。国内公司中,地平线、寒武纪、四维图新、森国科等均在2017年发布了自动驾驶芯片规划。本文余下部分将对上述公司及产业格局做一个盘点。
格局
在自动驾驶领域,AI芯片其实并不新奇。如前所述,Mobileye的EyeQ系列芯片在2004年就开始研发,2007年发布的第一代EyeQ1芯片是较早应用于自动驾驶的AI芯片之一(仅实现辅助驾驶功能)。从技术路线来看,在这个领域中,自动驾驶芯片也延续了与其高度相关的深度学习所采用的几类硬件技术路线:GPU、FPGA、ASIC。
同时我们也需了解,按照SAEInternational的自动驾驶等级标准,目前已商用的自动驾驶芯片基本处于高级驾驶辅助系统(ADAS)阶段,可实现L1~L2等级的辅助驾驶和半自动驾驶(部分宣称可实现L3的功能);面向L4~L5超高度自动驾驶及全自动驾驶的AI芯片离规模化商用仍有距离。Nvidia的DriveXavier预计2018年一季度向合作伙伴提供样品;Mobileye的EyeQ5预计2018年提供工程样品,2020年量产,二者均宣称可以支持L4~L5的自动驾驶运算需求。
一、两强之争:英伟达VS英特尔(Mobileye)
在自动驾驶时代之前,英伟达、英特尔等在汽车电子领域虽有涉及但并不突出。自动驾驶的兴起对处理芯片的性能提出了更高要求,二者凭借在处理器芯片领域的长期积累同时配合产业并购,已然形成了领跑之势。从主流车厂无人驾驶平台所使用的计算平台来看,现在主要几个车厂使用的平台基本上是Nvidia和Mobileye(Intel)的,二者形成了自动驾驶芯片领域的第一集团。
1、英伟达:DrivePX系列芯片
在自动驾驶时代之前,Nvidia很早就通过Tegra系列处理器进入了众多整车厂的供货商名单,不过早年NvidiaTegra负责的主要还是车载娱乐方面。比如,奥迪新A8采用的自动驾驶平台zFAS中使用了NvidiaTegraK1芯片,负责处理车辆的环视影像;但zFAS负责实现自动驾驶功能的芯片是MobileyeQ3和Altera的CycloneV。
Nvidia自动驾驶芯片始于2015年初推出的DrivePX系列。在2015年1月CES上英伟达发布了第一代DrivePX。DrivePX搭载TegraX1处理器和10GB内存,能够同时处理12个200万像素摄像头每秒60帧的拍摄图像,单浮点计算能力为2Tops,深度学习计算能力为2.3Tops,可支持L2高级辅助驾驶计算需求。
2016年1月的CES上英伟达又发布了新一代产品DrivePX2。DrivePX2基于16nmFinFET工艺制造,TDP达250W,采用水冷散热设计,支持12路摄像头输入、激光定位、雷达和超声波传感器。其中,CPU部分由两颗NVIDIATegra2处理器构成,每颗CPU包含8个A57核心和4个Denver核心;GPU部分采用两颗基于NVIDIAPascal架构设计的GPU。单精度计算能力达到8TFlops,深度学习计算能力达到每秒24万亿次,在单精度运算速度上是DrivePX的4倍,深度学习速度是DrivePX的10倍,可以满足L3自动驾驶的运算要求。
DriveXavier是英伟达最新一代自动驾驶处理器,最早在2016年欧洲GTC大会上提出,2018年1月的CES上正式发布。同时发布的还有全球首款针对无人驾驶出租车打造的车载计算机DrivePXPegasus。在配置方面,Xavier基于一个特别定制的8核CPU、一个全新的512核VoltaGPU、一个全新深度学习加速器、全新计算机视觉加速器、以及全新8KHDR视频处理器而打造。每秒可运行30万亿次计算,功耗仅为30w,能效比上一代架构高出15倍,可以满足L3/L4自动驾驶的计算需求。该产品预计2018年一季度向提供样品。
DrivePXPegasus是针对L5级全自动驾驶出租车的AI处理器,搭载了两个XavierSoC处理器。SoC上集成的CPU也从8核变成了16核,同时增加了2块独立GPU。计算速度达到320Tops,相当于PXXavier的10倍,算力能够支持L5完全自动驾驶系统,但其功耗也达到了500W。预计首批样品将于2018年年中交付客户。
2、英特尔:Mobileye+Altera+Movidius
与英伟达基于自主GPU研发自动驾驶芯片的思路不同,英特尔在自动驾驶领域主要是通过并购来完成布局。
2015年6月167.5亿美元收购FPGA巨头Altera;
2016年9月收购计算机视觉处理芯片公司Movidius;
2017年3月153亿美元收购以色列自动驾驶汽车技术公司Mobileye。
通过上述收购,英特尔在自动驾驶处理器上的布局已较完善,包括Mobileye的EyeQ系列芯片(ASIC)、Altera的FPGA芯片、Movidius的视觉处理单元VPU,以及英特尔的CPU处理器,可以形成自动驾驶的整体硬件解决方案。
奥迪新A8自动驾驶计算单元zFAS中所使用的芯片包括了Mobileye的EyeQ3和Altera的FPGA芯片CycloneV,内嵌了Movidius的视觉算法。在该方案中,EyeQ3主要负责视觉数据处理,CycloneV则负责毫米波雷达与激光雷达数据处理。而英特尔即将于今年推出的「IntelGo自动驾驶平台解决方案」则包含了两个MobileyeEyeQ5芯片(一个用来进行视觉处理,另外一个用于融合/规划)以及一个英特尔的8核凌动芯片。
Mobileye的EyeQ系列芯片最初是和意法半导体公司共同开发,第一代芯片EyeQ1从2004年开始研发,2008年上市;EyeQ2则于2010年上市。最初的两代产品仅提供L1辅助驾驶功能,EyeQ1的算力约0.0044Tops,EyeQ2则约0.026Tops,功耗均为2.5W。
2014年量产的EyeQ3基于其自主ASIC架构自行开发,使用了4颗MIPS核心处理器、4颗VMP芯片,每秒浮点运算为0.256万亿次,功耗为2.5W,可以支持L2高级辅助驾驶计算需求。
第四代EyeQ4芯片在2015年发布,2018年量产上市,采用28nm工艺。EyeQ4使用了5颗核心处理器(4颗MIPSi-class核心和1颗MIPSm-class核心)、6颗VMP芯片、2颗MPC核心和2颗PMA核心,可以同时处理8部摄像头产生的图像数据,每秒浮点运算可达2.5万亿次,功耗为3W,最高可实现L3级半自动驾驶功能。
Mobileye的下一代EyeQ5计划于2018年出工程样品,2020年实现量产,将采用7nmFinFET工艺。该产品对标Nvidia的DriveXavier芯片,定位于L4/L5全面自动驾驶计算需求。单颗芯片的浮点运算能力为12Tops,TDP是5W。EyeQ5系统采用了双路CPU,使用了8颗核心处理器、18核视觉处理器,浮点运算能力为24Tops,TDP是10W。
二、汽车电子厂商
我们在开篇中提到了全球十大汽车电子厂商,这些公司或多或少均有涉足自动驾驶业务,比如处理芯片、毫米波雷达、激光雷达、整体解决方案等。当然,汽车电子厂商中涉足自动驾驶业务的不仅于此,我们仅介绍部分重点厂商的产品情况,如有错漏欢迎指正交流。
1.高通&恩智浦NXP
我们把高通与恩智浦放在一起介绍是因为欧盟刚刚批准了高通470亿美元收购恩智浦的交易。与英特尔类似,高通切入自动驾驶关键领域的方式也是并购,其自有产品在汽车电子领域仍有待突破。
作为移动通信领域的绝对龙头,高通一直希望通过自己的移动处理器芯片(改成车规级)切入汽车电子领域。在2016年初CES上,高通就发布了整合LTE数据机和机器智能的Snapdragon820车用系列产品。这个系列产品包含了高通的Zeroth机器智能平台,旨在协助汽车制造商使用神经网络为ADAS和车载资讯娱乐系统创建基于深度学习的解决方案。
但目前车厂设计订单还限于资讯娱乐功能;国内ADAS厂商纵目科技在2017年CES上推出了首个基于820A平台并运用深度学习的ADAS产品原型,12月正式发布。据悉,目前这款产品已经进入量产前的验证阶段,预计将于2019年量产。
作为汽车电子龙头厂商,恩智浦在自动驾驶方向的积累相比高通则深厚很多。2016年5月恩智浦发布了BlueBox平台,该平台集成S32V234汽车视觉和传感器融合处理器、S2084A嵌入式计算处理器和S32R27雷达微控制器,能够为汽车制造商提供L4级自动驾驶计算解决方案。
其中,S32V234是NXP的S32V系列产品中2015年推出的ADAS处理芯片,在BlueBox平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。这款芯片拥有CPU(4颗ARMCortexA53和1颗M4)、3DGPU(GC3000)和视觉加速单元(2颗APEX-2visionaccelerator),能同时支持4路摄像头,GPU能实时3D建模,计算能力为50GFLOPs。同时,S32V234芯片预留了支持毫米波雷达、激光雷达、超声波的接口,可实现多传感器数据融合,最高可支持ISO26262ASIL-C标准。
恩智浦还有一款专门的雷达信息处理芯片MPC577XK。这是一款面向ADAS应用的Qorivva32位MCU,基于Power架构,能够支持自适应巡航控制、智能大灯控制、车道偏离警告和盲点探测等应用。
2.瑞萨Renesas
与恩智浦类似,瑞萨在2017年4月也发布了一个ADAS及自动驾驶平台RenesasAutonomy,主打开放策略,目的在于吸引更多一级供应商以扩大生态系统。同时发布的还有R-CarV3MSoC,该芯片配有2颗ARMCortexA53、双CortexR7锁步内核和1个集成ISP,可满足符合ASIL-C级别功能安全的硬件要求,能够在智能摄像头、全景环视系统和雷达等多项ADAS应用中进行扩展。据介绍,R-CarV3MSoC的样品于2017年12月开始供货,计划于2019年6月开始量产。
从瑞萨的芯片系列来看,R-Car系列是其在自动驾驶方向的主要产品线:
第一代产品(R-CarH1/M1A/E1)在2011-12年期间推出,可支持初级的巡航功能;
第二代产品(R-CarH2/M2/E2)相比第一代性能基本翻倍,可支持360°环视等ADAS功能;
第三代产品(R-CarH3/M3)在2015年以后陆续推出,符合ASIL-B级安全要求;同时期推出的还有R-CarV3M、R-CarV2H等ASSP处理器,这类产品基本可支持L2等级的自动驾驶应用需求。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
除了R-Car系列产品外,跟恩智浦一样,瑞萨也有针对雷达传感器的专业处理器芯片如RH850/V1R-M系列,该产品采用40nm内嵌eFlash技术,优化的DSP能快速的进行FFT的处理。
3.德州仪器TI
TI在ADAS处理芯片上的产品线主要是TDAx系列,目前有TDA2x、TDA3x、TDA2Eco等三款芯片。其中,TDA2x于2013年10月发布,主要面向中到中高级市场,配置了2颗ARMCortex-A15内核与4颗Cortex-M4内核、2颗TI定浮点C66xDSP内核、4颗EVE视觉加速器核心,以及双核3DGPU。TDA2x主要是前置摄像头信息处理,包括车道报警、防撞检测、自适应巡航以及自动泊车系统等,也可以出来多传感器融合数据。
TDA3x于2014年10月发布,主要面向中到中低级市场。其缩减了包括双核A15及SGX544GPU,保留C66xDSP及EVE视觉加速器核心。从功能上看,TDA3x主要应用在后置摄像头、2D或2.5D环视等。
TDA2Eco是2015年发布的另一款面向中低级市场的ADAS处理器,相比于TDA2x,TDA2Eco去掉了EVE加速器,保留了一颗Cortex-A15、4颗Cortex-M4、DSP、GPU等内核。TDA2Eco支持高清3D全景环视,由于TDA3x主要应用于2D或2.5D环视,所以TDA2Eco填补了中低级市场对于高清3D全景环视应用的需求。
4.ADI
相对于以上几家芯片公司,ADI在ADAS芯片上的策略主打性价比。针对高、中、低档汽车,ADI针对性的推出一项或几项ADAS技术进行实现,降低成本。
在视觉ADAS上ADI的Blackfin系列处理器被广泛的采用,其中低端系统基于BF592,实现LDW功能;中端系统基于BF53x/BF54x/BF561,实现LDW/HBLB/TSR等功能;高端系统基于BF60x,采用了流水线视觉处理器(PVP),实现了LDW/HBLB/TSR/FCW/PD等功能。集成的视觉预处理器能够显著减轻处理器的负担,从而降低对处理器的性能要求。
5.英飞凌
英飞凌在2015年针对ADAS市场推出过芯片组Real33D,可实现司机疲劳检测等功能。而在奥迪新A8使用的zFAS自动驾驶计算单元中,也使用了英飞凌提供的Aurix芯片,A8最关键的TrafficJamPilot,是由这块芯片最终实现的。
下表是主要汽车电子厂商的ADAS处理芯片比较。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
三、新入局:特斯拉&中国势力
1.特斯拉
特斯拉的自动驾驶系统Autopilot中先后使用过MobileyeEyeQ3和英伟达DrivePX2,而在2017年12月初的NIPS神经信息处理系统大会上,特斯拉CEOElonMusk公布了特斯拉正在开发定制的自动驾驶AI芯片,该项目带头人为原AMD首席芯片架构师JimKeller。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
1998年,JimKeller在AMD分别参与设计和主导研发了Athlon和Opteron64处理器(K7和K8X86-64架构);
1999年,JimKeller离职加盟博通出任首席芯片架构师;
2004年,JimKeller转投P.ASemi,后者于2008年被苹果收购。JimKeller出任苹果移动芯片架构师,基于AMD的IP深度定制了苹果A4/5芯片;
2012年,JimKeller重回AMD,领导开发了Zen架构处理器;
2015年9月,JimKeller再次离职,2016年1月加盟特斯拉,带领50人规模团队开发自动驾驶AI专用芯片。
目前公开资料可知的进展还包括:该芯片基于AMD的IP打造;目前已经走到了设计完成、测试验证的阶段;特斯拉已经收到了首批芯片样品,目前正在进行相关测试;代工方可能是格罗方德和三星电子等。
2.中国公司
我们在之前文章中曾盘点过国内AI芯片公司产品情况,从公开资料所了解的情况看,国内AI芯片初创公司中像地平线、深鉴科技、寒武纪、西井科技等都有智能驾驶/自动驾驶方向的产品规划。
地平线的自动驾驶AI芯片「征程」在去年12月20日正式发布。在参数上,征程能够以1.5W的功耗,实现1Tflops的算力,每秒处理30帧4K视频,对图像中超过200个物体进行识别,能够实现FCW/LDW/JACC等高级别辅助驾驶功能,满足L2的计算需求。对比英伟达的DrivePX2,其采用16nmFinFET工艺,单精度计算能力为8TFlops,深度学习计算能力为24TFlops,官方TDP是250w;从性能功耗比来看,征程还是有明显优势的。
同时,由于ASIC不是GPU类的通用计算,内部直接封装了算法,数据交换只是底层I/O,因此其计算的时延也会比GPU更低。不过地平线采用ASIC的路线也是牺牲了芯片的可编程性以获得更高的性能,是否能获得足够订单量来降低芯片成本值得关注。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
相较而言,目前其他几家公司产品仍缺少详细信息。寒武纪在去年11月初的发布会上首次发布了面向智能驾驶领域的1M智能处理器IP产品,据介绍其性能可达到寒武纪1A处理器的10倍以上。据了解,2016年上市的1A处理器在1Ghz频率下理论峰值性能为:FP16半精度浮点计算能力为512GFlops,稀疏神经网络计算能力为2TFlops。
深鉴、西井等暂未推出专门的自动驾驶芯片产品,不过在这一方向也有布局。如西井与振华重工联手打造的自主驾驶无人跨运车就使用了西井科技的类脑人工智能方案(是否使用其自主AI芯片仍未知)。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
除了上述几家AI芯片创业公司外,国内公司如四维图新、森国科等也涉及ADAS处理芯片研发。其中,四维图新在2016年5月收购了联发科旗下的汽车半导体公司杰发科技,后者在2017年6月的CESAsia上展出了首款车规级ADAS芯片。四维图新在去年7月正式发布了该款ADAS芯片,并与蔚来、威马、爱驰亿维等新造车公司达成了合作。
公开资料显示,该芯片采用64位QuadA53架构,内置硬件图像加速引擎,支持双路高清视频输出,和四路高清视频输入,能同时支持高级车载影音娱乐系统全部功能和丰富的ADAS功能。功能包括:360°全景泊车系统、车道偏移警示系统LDW、前方碰撞警示系统FCW、行人碰撞警示系统PCW、交通标志识别系统TSR、车辆盲区侦测系统BSD、驾驶员疲劳探测系统DFM和后方碰撞预警系统RCW等。
森国科(原深圳市国科微半导体)在去年12月也发布了自主研发的高性价比ADAS芯片SGKS6802X,据介绍产品已经正式出货。SGKS6802X配置了双核ARMCortexA7处理器、高速双核8线程GPU和2D加速GPU;采用40nm工艺,芯片典型功耗1500mW,全系统功耗1800mW(包括DDR);最大支持4路编码处理能力,整数运算能力7200MIPS+3200MIPS,半精度浮点运算能力25.6GFLOPS,单精度浮点运算能力6.4GFLOPS;可支持LDW、FCW、PCW、TSR、NV、TFAH、ZCD、CTA、BSD、DFM、RCW等ADAS算法,满足L2高级辅助驾驶的计算需求。
思考
随着人工智能的发展,在ADAS及自动驾驶上AI的应用已经成为主要趋势,针对芯片的设计也开始增加硬件的深度学习设计,如何在人工智能算法模型与芯片架构及系统设计上做好匹配以及多传感器融合的芯片设计等将是新的研究课题,目前来看也还在早期探索阶段。
比如,英伟达的方案以GPU为主,采用CPU+GPU异构设计,芯片算力强大,且具备很强的灵活性;但缺点是功耗高,应用在汽车(尤其是电动汽车)上的时候面临散热、续航等问题;英特尔的方案是ASIC+FPGA,核心是Mobileye的EyeQ系列产品;地平线的「征程」也采用ASIC路线,将算法直接封装在芯片上,实现了低功耗高性能的指标,但也牺牲了芯片的灵活性。另外也有很多厂商使用单FPGA的,比如Xilinx的Zynq7000AllProgrammableSoC就是汽车ADAS上最被广泛应用的产品,采用单一芯片即可完成ADAS解决方案的开发,并具备了不同产品系列间的可扩展性。
除了性能、功耗等因素外,自动驾驶处理芯片普及的另一个关键因素是价格。英伟达DrivePX2的价格超过1万美金,Mobileye的芯片价格也超过1千美金。因此,如何在性能、功耗、价格等指标上进行平衡也是对芯片设计者提出了新的挑战。
另外,对于众多从行业外切入汽车电子领域的AI芯片公司来说,实现车规级标准也是这些公司需要克服的挑战。从一些公开资料来看,不管是ADAS处理芯片还是自动驾驶芯片,至少都需达到ISO26262ASIL-B级别,部分芯片甚至需要到ASIL-D级别。