您现在的位置是:首页 > 传感器

CMOS图像传感器将服务于感知领域 激光雷达(LiDAR)的事件导向方法

2022-11-20 02:02:19

在快速发展的工厂自动化、物联网自动驾驶车辆市场上,CMOS图像传感器似乎扮演的角色不再是人类消费品,而是让机器获取数据并让其理解世界的传感器

法国著名市场研究和技术分析机构Yole的MEMS &成像部活动负责人Pierre Cambou这样评论道:“CMOS图像传感器的传感功能将逐渐超过本身的成像功能,”并大胆预测“到2030年,一半的CMOS图像传感器将服务于感知领域。”

总部位于法国巴黎的Prophesee SA(原Chronocam)公司以革命领跑者自居。作为先进的神经视觉系统设计公司,提出了一种基于事件的方法进行传感和处理。Prophesee的仿生视觉技术一直被认为与传统机器视觉有实质性的差异,处于危险的“超前期”。但Prophesee联合创始人兼首席执行官Luca Verre告诉我们:“不久的将来,这种想法将被证实是错误的。”

Prophesee联合创始人兼首席执行官Luca Verre

在与Luca Verre面对面采访中,我们了解到Prophesee已获得B+轮融资(在过去三年中,Prophesee已募得4000万美元的资金)。Prophesee已与一家大型消费电子公司(未透露具体名字)签订了合作协议。最重要的是,Prophesee正在积极地把神经视觉系统从通常的技术概念中跳出,变成开发商的参考系统。

Prophesee的第一款参考设计用在VGA分辨率应用,由Prophesee提供基于异步时间的图像传感器(Asynchronous TIme-Based Image Sensor,以下简称ATIS)芯片和软件算法。ASIC将由以色列的代工合作伙伴(我们猜测很有可能是Tower Jazz)制造。

Prophesee暂时不愿提供ASIC和参考设计规范的详细说明。计划在未来几周内会正式发布该产品。尽管如此,参考设计能为系统设计者提供见证和经历ATIS在数据传感领域作用的机会,且已被事实证明,这家初创公司算得上完成了一个里程碑。ATIS的特点是瞬时清晰度高、数据率低、动态范围高、功耗低。

摄像头 = 瓶颈

机器视觉系统的制造者,不管是智能工厂、物联网,还是自动驾驶车辆都已经关注到基于事件的方法,这是由Prophesee的联合创始人Ryad Benosman和Christoph Posch大力推行的。

可以捕捉传统相机获取的所有详细视觉信息,Verre认为“摄像头成为技术瓶颈”。毫无疑问,摄像头是最强大的传感装置。然而,对于自动化系统、监控摄像机或高度自动化的车辆的视觉数据,摄像头的处理速度可能会减慢。

但谈及自动驾驶,Verre认为车辆内部的中央处理系统被来自摄像头、激光雷达、雷达及其它视觉来源的数据所“轰炸”。管理这类过载的关键是如何最好地减少来自传感器的原始数据量。传感器只能捕捉数据,会带来额外的无用视觉信息。

Prophesee曾向采访记者解释说,Prophesee的事件导向(event-driven)视觉传感器的灵感来自生物学。这种看法源于联合创始人对人类眼睛和大脑工作的研究。Prophesee的创始人之一Ryad Benosman告诉我们,人类的眼睛和大脑“不会基于一连串帧来记录视觉信息”。生物比你想象的更复杂,“人类会捕捉到时空变化里感兴趣的东西,并把这些信息有效地传送到大脑”。这也是Prophesee的ATIS的主要作用。

总之,Prophesee的ATIS提供了基于框架的图像传感无法完成的一切功能。在另一个联合创始人Christoph Posch看来,“基于帧的方法会导致冗余的记录数据,从而引发高功耗。”他说,“这样的后果是低效的数据率和膨胀的存储量。基于帧的视频,以每秒30帧或60帧甚至更高的速率运行,会导致捕获的图像发生畸变。”

用于激光雷达(LiDAR)的事件导向方法

Verre向我们透露Prophesee正在探索采用事件导向(event-driven)方法用于其它传感器如激光雷达、雷达的可能性。Verre假设:“如果我们可以引导激光雷达只捕捉到其相关和必须的数据,会不会很吸引人?”如果能做到这一点,不仅可以加快数据采集,还可以减少需要处理的数据量。

Phrophesee目前正在评估这个想法,Verre说公司在得到结论前需要几个月时间评估。但他补充说:“我们很有信心,我们能成功”。当被我们问及拓展事件导向方法到其它传感器的新思路时,Yole的分析师Cambou认为“基于事件的摄像头与激光雷达的优势结合(提供‘Z’信息),是一件非常有趣的事情。”

需要指出的是,传统激光雷达的问题是与典型的高端工业相机相比分辨率较低,受限于分辨率。Cambou认为事件导向的方法可以改善激光雷达性能,尤其是在事件快速接近,如行人突然出现在自动驾驶车辆前面时。缺点是激光雷达硬件必须做相应的改变,显然,对Phrophesee来说,需要一家激光雷达企业的强有力的支持,来促成这种新方法。

Cambou说,“当然,这始终是技术型初创企业面临的问题。”他指出,Mobileye需要如沃尔沃和特斯拉这类领先汽车厂商(在技术将成为主流,需要越来越被广泛地被接受);Movidius(已被英特尔收购),需要道琼斯指数为成功铺平道路。“Prophesee将需要一个强有力的合作伙伴来促进解决方案被大量采用。”Cambou说。

Cambou补充道:“考虑到机器人汽车领域的市场驱动因素(安全第一,技术驱动,非成本第一),这应该是可能的。”虽然Cambou表达了他对巨头(如谷歌)依靠技术型初创公司的担忧,他也表示这幺小的市场用量不会带来太大的麻烦。