现阶段我们所说的“神经形态”是什么意思？

Prophesee的CEO Luca Verre说：“你会从10个不同的人那里得到10个不同的答案。随着公司从‘这是我们所相信的’转变为‘我们如何让它成为现实’，神经形态的含义将会改变。”

Luca Verre

他说，大多数从事神经形态感知和计算的公司都有类似的愿景，但实施和策略会根据不同的产品、市场和投资限制而有所不同。

他说：“所有这些公司都在研究神经形态技术的原因是，人们普遍认为，生物模型比传统模型具有更优越的特性。人们对产品、系统集成和商业机会做出不同的假设，他们也做出不同的实现……但从根本上说，信念是一致的。”

Verre的愿景是，神经形态技术可以让技术更接近人类，这最终会带来更沉浸式的体验，使自动驾驶和AR等技术更快落地。

他说：“当人们了解到它背后的技术与我们的工作方式更接近，从根本上说是自然的，这是一种令人难以置信的安心的来源。”

哪些市场优先？

Prophesee使用其专有的动态视觉传感器技术，实现基于事件的相机商业化已经有几年了。该公司与相机领域的领军企业Sony合作，制造了一款紧凑、高分辨率的基于事件的相机模块IMX 636。在这个模块中，光电二极管层使用索尼的3D芯片堆叠工艺直接堆叠在CMOS层上。

根据Verre的说法，这一技术的领域最接近商业应用的是工业机器视觉。

他说：“工业领域如今处于领先地位，因为过去我们一直将第三代相机推向这个领域，这是一个更大的传感器，更适合这种应用。工业历来是一个非常活跃的机器视觉领域，事实上，它可能是一开始就采用CCD和CMOS技术的领域之一……绝对是一个关键市场。”

Prophesee和Sony IMX 636是第四代产品。Prophesee说，未来几代产品将减少像素间距，便于与传统计算平台的整合。

IMX 636的第二个关键市场是消费级技术，这是由Sony的堆芯工艺带来的尺寸缩小推动的。消费级应用包括IoT相机、监控相机、动作相机、无人机、消费级机器人，甚至是智能手机。在许多情况下，基于事件的相机与全画幅相机一起使用，检测运动，以便图像处理可以应用于捕捉更好质量的图像，即使是被拍摄对象是移动的。

他说：“原因很简单：基于事件的相机非常适合理解运动。这就是它们的意义所在。基于帧的相机更适合理解静态信息。如果你想在有移动物体的场景中捕捉图片或视频，那么基于事件的相机的动态信息和基于帧的相机的静态信息的组合是互补的。”

事件数据可以与全画幅图像相结合，以纠正帧上的任何模糊，特别是对于动作相机和监控相机。

他说：“我们清楚地看到这一领域的一些吸引力，这当然是非常有前途的，因为与工业视觉相比，与该应用相关的体量通常是相当可观的。”

此外，Prophesee还与客户合作开发车载DMS解决方案，Verre表示，基于事件的相机在低光性能、灵敏度和快速检测方面具有优势。这里的应用包括眨眼检测、跟踪或面部跟踪和微表情检测。

商业化的方法

Prophesee一直在努力推动基于事件的相机的商业化。该公司最近为IMX 636推出了新的评估套件EVK4。该套件是为工业视觉设计的，具有坚固的外壳，但将适用于所有应用程序（Verre说，这种套件已售出了数百个）。该公司面向基于事件的视觉的Metavision SDK最近也进行了开源，以减少采用基于事件的技术时的阻碍。Metavision社区目前约有5,000名注册会员。

Prophesee的EVK4评估套件

Verre说：“EDK是进一步推动和推广这项技术的一个很好的工具。SDK隐藏了每个工程师或研究人员在测试或探索一项新技术时可能会有的复杂感知……想想那些已经工作了几十年处理图像的工程师现在看到的事件……他们不想太多地超出自己的舒适区。”

Metavision SDK的新功能是一个模拟器，可以将完整的帧转换为事件，以帮助设计师在他们今天的工作方式和事件领域之间进行转换。Verre注意到一些设计师不愿意放弃全帧，他说模拟器的目的是向他们展示事件并没有什么神奇的地方。

他说：“事件只是一种从场景中捕捉信息的方式，与图像相比，这些信息包含更精确的时间，实际上也更相关，因为通常你只能得到正在变化的东西。”

Prophesee基于事件相机的工作原理

该模拟器还可以根据事件数据重建完整的图像，他说，这让人们感到放心。

他说：“大多数客户不再提出这种挑战，因为他们明白，他们需要从不同的角度看问题，就像他们使用ToF或超声波等技术时一样。挑战在于，当他们认为这是另一种图像传感器时……针对这类客户，我们制作了这个工具，可以向他们展示逐步过渡到这种新感知模式的方法……这是一种思维模式的转变，可能需要一些时间，但它会到来。”

在Prophesee开发者社区实现的应用包括为盲人恢复视力、检测和分类医学样本中的污染物、研究中的粒子跟踪、机器人触摸传感器和跟踪空间碎片。

硬件路线图

在路线图方面，Prophesee计划继续开发硬件和软件，以及新的评估套件、开发套件和参考设计。这可能包括将Prohpesee传感器与专门开发的处理器相结合的系统参考设计。例如，Prohpesee的合作伙伴iCatch已经开发了一种AI视觉处理器SoC，与IMX 636原生接口，并具有片上事件解码器。Verre表示，日本AI核心供应商DMP也在与Prophesee合作开发基于FPGA的系统，而且还有更多的合作正在进行中。

他说：“我们看到，在SoC层面，以及在软件层面，生态系统合作伙伴对建立基于Prophesee技术的新解决方案越来越感兴趣。这种类型的资产对社区很重要，因为这是迈向完整解决方案的又一步。他们可以获得传感器、摄像头、计算平台和软件来开发整个解决方案。”

Prophesee的基于事件的视觉传感器的演变

基于事件的传感器硬件将何去何从？Verre列举了该技术将向两个关键方向发展。首先是进一步减少像素大小（像素间距）和整体缩小传感器，使其适合于紧凑的消费级应用，如可穿戴设备。二是促进基于事件的感知与传统SoC平台的集成。

与计算公司合作将是至关重要的，以确保下一代传感器能够嵌入与计算平台的接口能力，这在系统层面上简化了任务。其结果将是更智能的传感器，在传感器层面增加了智能。

Verre说：“我们认为事件是有意义的，所以让我们在传感器内部进行更多的预处理，因为这是你可以做出最少妥协的地方。你越接近信息的获取，在效率和低延迟方面就越好。你还避免了对数据进行编码和传输的需要。所以这是我们正在追求的。”

随着芯片工艺在3D堆叠工艺上不断取得进展，使用最先进的CMOS工艺进行两层甚至三层的堆叠，有助于将更多的智能降低到像素级别。

像素中多少智能才算合适？

Verre说，这是在增加硅的成本和拥有足够的智能以确保与传统计算平台的接口足够好之间的妥协。

他说：“传感器通常不使用先进的工艺节点，最多使用28nm或22nm。主流的SoC使用12nm、7nm、5nm及以下的工艺，因此它们处于可以非常好地压缩数字组件的技术节点上。在一定程度上，尺寸与成本的关系意味着在SoC中安装智能系统更高效、更经济。”

基于事件的Prophesee相机的应用选择

将基于事件的传感器与神经形态计算架构相结合也有一定的协同作用。

他说：“神经形态技术的最终目标是使传感和处理都具有神经形态或基于事件，但就这类解决方案的成熟度而言，我们还没有达到。我们非常积极地在这个领域为未来做准备。我们正在与Intel、SynSense和其他合作伙伴在这个领域合作。但在短期内，主流市场被传统的SoC平台所占据。”

Prophesee在这里的做法是务实的。Verre表示，公司的目标是尽量减少任何妥协，以提供优于传统解决方案的优势。

他说：“最终我们认为，事件应该自然地异步流到同样是异步的计算架构中，以便在延迟和性能方面充分受益。但我们需要务实，逐步发展，真正利用现有平台，并与该领域愿意投资软硬件开发的关键合作伙伴合作，为特定市场优化特定解决方案。”

活动推荐：

ICVS中国智能汽车及自动驾驶博览会，暨同期：中国智能汽车产业链展

2022年9月26-29日

江苏·苏州国际博览中心

30,000m²展览面积

100场会议演讲

500家参展企业

30,000专业观众

点击进入ICVS智能汽车产业联盟主页—>进入菜单栏展会报名页面，即可免费领取参观门票，现阶段报名还将获取更多报告福利。