用于动态视觉传感器的图像表示和处理的方法和装置与流程

优先权

此申请要求2016年3月22日在美国专利商标局提交并且被分配序号62/311,599的美国临时专利申请的优先权，通过引用将其全部内容结合在此。

本发明大体上涉及一种图像表示和处理的方法和装置，并且更具体地涉及一种用于动态视觉传感器(dvs)的图像表示和处理的方法和装置。

背景技术：

dvs是感测亮度变化的基于事件的摄像机。dvs并非以帧捕捉场景，而是功能类似于人类视网膜。即，dvs仅在事件发生时发送场景内特定位置处的像素亮度的变化(例如，事件)。dvs的输出是事件流，其中每个事件与事件状态相关联。

因为dvs是没有时间积分的异步传感器，所以使用dvs形成的图像通常含有大量噪声。将噪声滤波是dvs提供场景的有效表示的最重要的步骤之一。常规的图像去噪是基于用于滤波的模板，其分析一组像素并且寻找偏置像素作为噪声滤除，其中仅像素的空间相关性要紧。然而，dvs的每个事件不仅与空间信息(即，像素相对于其它像素的位置的位置)相关联，而且与时间信息(即，像素信息相对于其它像素的信息的到达时间的到达时间)相关联。

技术实现要素：

根据一个实施例，一种装置包括图像表示单元，该图像表示单元配置成接收从由动态视觉传感器(dvs)感测的事件产生的帧序列并且从非噪声事件产生置信图；以及图像去噪单元，该图像去噪单元连接至该图像表示单元并且配置成在时空域中将图像去噪。

根据一个实施例，一种装置包括dvs，该dvs配置成产生事件流；采样单元，该采样单元连接至该dvs并且配置成对该事件流采样；图像形成单元，该图像形成单元连接至该采样单元并且配置成对于该事件流的每个样本形成图像；图像表示单元，该图像表示单元连接至该图像形成单元并且配置成产生非噪声事件的置信图；图像去失真单元，该图像去失真单元连接至该图像表示单元并且配置成补偿帧中的失真；以及图像匹配单元，该图像匹配单元连接至该图像去失真单元和该采样单元，并且配置成匹配帧且必要时调整采样单元的采样方法。

根据一个实施例，一种方法包括由图像表示单元接收从由dvs感测的事件产生的帧序列，并且产生非噪声事件的置信图；以及由连接至该图像表示单元的图像去噪单元在时空域中将从这些帧形成的图像去噪。

根据一个实施例，一种方法包括由dvs产生事件流；由连接至该dvs的采样单元对该事件流采样；由连接至该采样单元的图像形成单元形成该事件流的每个样本的图像；由连接至该图像形成单元的图像表示单元接收由该图像形成单元形成的图像并且从非噪声事件产生置信图；由连接至该图像表示单元的图像去失真单元补偿帧中的失真；以及由连接至该图像去失真单元和该采样单元的图像匹配单元匹配帧且必要时调整该采样单元的采样方法。

附图说明

根据结合附图的以下详述，本公开的某些实施例的以上和其它方面、特征和优点将更加显然，在附图中：

图1是根据本公开的实施例的dvs事件的帧的图像表示和处理的装置的框图；

图2是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图；

图3是根据本公开的实施例的dvs事件的图像表示和处理的装置的框图；

图4是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图；

图5是根据本公开的实施例的dvs事件的图像表示和处理的装置的框图；以及

图6是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图。

具体实施方式

在下文中，参考附图详细地描述本公开的实施例。应当注意的是，虽然相同元件在不同附图中示出，但是它们将由相同参考数字指定。在以下描述中，仅仅提供诸如详细配置和组件的特定细节来辅助全面理解本公开的实施例。因此，对于本领域技术人员应该显然的是，在不脱离本公开的范围和精神的情况下，可以对本文所述的实施例做出各种改变和修改。另外，为了清楚和简明起见省略公知功能和结构的描述。下文所述的术语是在考虑本公开中的功能而定义的术语，并且可以根据用户、用户意图或习惯而有所不同。因此，术语的定义应当基于整个说明书的内容来确定。

本公开可以具有各种修改和各种实施例，下文参考附图详细地描述其中的实施例。然而，应当理解的是，本公开不限于这些实施例，而是包括本公开的精神和范围内的所有修改、等效物和替代物。

虽然包括诸如第一、第二等序数的术语可以用于描述各种元件，但是结构元件不被这些术语约束。术语仅用于区分一个元件与另一个元件。例如，在不脱离本公开的范围的情况下，第一结构元件可以称作第二结构元件。类似地，第二结构元件也可以称作第一结构元件。如本文所使用，术语“和/或”包括一个或多个相关项的任何及全部组合。

本文所使用的术语仅仅用于描述本公开的各种实施例，但不意图限制本公开。除非上下文另有明确指示，否则单数形式意图包括复数形式。在本公开中，应当理解的是，术语“包括”或“具有”指示特征、数字、步骤、操作、结构元件、部件或其组合的存在，但不排除一个或多个其它特征、数字、步骤、操作、结构元件、部件或其组合的存在或添加的可能性。

除非不同地定义，否则本文所使用的所有术语具有与本公开所属领域的技术人员所理解的含义相同的含义。除非本公开中明确定义，否则诸如通用词典中定义的术语要被解释为具有与相关技术领域中的背景含义相同的含义，但不应被解释为具有理想的或过度正式的含义。

本公开提供一种用于在时空域中将噪声滤波的dvs的去噪方法以及评估每个有效(已去噪)像素的重要性的表示。该表示称作置信图并且在维持帧之间的关键特征上有用，且导致相邻帧中的更好匹配。

在本公开的实施例中，提供用于对dvs的事件采样的装置和方法。为了将dvs利用于某些任务(例如，视觉识别、同时定位和映射(slam)、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(tv)、游戏)的姿势识别、用户识别(例如，用于tv、移动设备)以及机器人)利用dvs，必须将dvs流转换为图像以反映环境中的结构图案。以某种方式对dvs事件的流(例如，事件流)采样以产生其间变化减少的图像。减少从事件流产生的图像的变化有利于基于图像的任务。

本公开涉及一种dvs最小化帧间变化从而有益于帧间匹配的图像表示和处理的装置和方法。另外，本公开消除噪声并同时维持dvs序列帧的关键事件(例如，关键特征)。另外，本公开涉及一种基于置信图的图像表示的加权图像匹配的装置和方法，其导致提高匹配精确度，有益于诸如图像识别、slam等dvs应用。

图1是根据本公开的实施例的dvs事件的图像表示和处理的装置100的框图。

参考图1，装置100包括图像表示单元101和图像去噪单元103。

图像表示单元101包含用于接收从dvs感测的事件产生的帧序列的输入以及输出，并且配置成从非噪声事件产生置信图。

dvs捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括在摄像机阵列内的事件的位置以及二进制值，该二进制值指示与相关位置的紧接在前的状态相比，相关事件的亮度的正或负变化。四个值可以表示事件状态(即，像素的x和y坐标指示事件的位置，如与相关位置的紧接在前的事件状态相比指示事件的亮度的正变化的+1值、指示事件的亮度的负变化的-1值、或指示事件的亮度无变化的0值，以及该事件的时间戳)。

采样单元可以包括输入和输出，所述输入连接至dvs的输出用于从dvs接收事件流，所述输出用于输出事件流的样本。采样单元可以基于时间周期、事件数量或其组合对事件流采样。采样单元可以包括用于向图像形成单元输出事件流的样本的输出。

图像形成单元可以包括连接至采样单元的输出用于接收事件流的样本的输入。将某个数量的dvs事件采样以形成图像，其中含有一个或多个事件的像素位置设定为非零值且其它像素位置设定为零。可以通过不同方法来确定每个非零像素的值。例如，每个非零像素可以由其最新事件状态表示，例如，+1代表亮度的正变化且-1代表亮度的负变化，出现在位置处的事件数量或最新事件的到达时间。图像形成单元从事件流的每个样本形成图像并且输出所形成的每个图像。由图像形成单元输出的图像可以在需要图像的应用或应用单元(例如，视觉识别、slam、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(tv)、游戏)的姿势识别、用户识别(例如，用于tv、移动设备)以及机器人)中使用。由图像形成单元形成的图像序列可以作为输入提供至图像表示单元101。

图像表示单元101对于由图像表示单元101接收的帧序列中的每个dvs事件确定正讨论的事件的预定邻域内和预定时间窗w内的事件的数量n1。如果正讨论的事件的n1小于第一阈值t1，那么正讨论的事件作为噪声而被丢弃。非噪声事件被视为有效事件。

对于每个非噪声事件，确定邻域密度。可以使用如下等式(1)确定正讨论的事件的邻域密度i(valid_evt)：

其中m是正讨论的事件的预定邻域内的事件的数量(包括正讨论的事件)，s是预定时间窗，r1是用于避免小于r1的s值的阈值，r2是对于产生i(valid_evt)的较高值来说m被视为大(例如，大于预定值)时的阈值，且k是预定常数。然而，本公开不限于使用以上等式(1)来确定邻域密度。可以使用用于确定邻域密度的其它等式。

具有大于第二阈值t2的邻域密度的每个事件被识别为其中存在高置信的事件，该事件是有效事件(例如，置信事件)而不是噪声。置信事件包括在置信图中。当前帧中的置信事件用作下一帧中用于去噪的支持事件，如下文更详细地描述。

图像去噪单元103包括连接至图像表示单元101的输出的输入以及输出，并且配置成在时空域中将图像去噪。

图像去噪单元103对于由图像表示单元101接收的帧序列中的每个dvs事件确定正讨论的事件的预定邻域内和预定时间窗w内的事件的数量n2。

对于正讨论的事件的帧(例如，当前帧)的对应邻域内的当前帧的紧接在前的帧，确定紧接在前帧中的置信事件的数量c。确定值(n2+(αxc))，其中α是预定常数。如果正讨论的事件的(n2+(αxc))小于第三阈值t3，那么正讨论的事件作为噪声而丢弃。然后由图像去噪单元103输出已去噪帧。

图2是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图。

参考图2，在201处，在图像表示单元中对于dvs帧序列中的每个dvs事件确定在正讨论的事件的预定邻域内和预定时间窗w内的事件的数量n1。

如果对于正讨论的事件，n1小于第一阈值t1，那么在203处，在图像表示单元中将正讨论的事件作为噪声而丢弃。非噪声事件被视为有效事件。

对于每个非噪声事件，在205处，在图像表示单元中确定邻域密度。可以使用上述等式(1)确定正讨论的事件的邻域密度i(valid_evt)。然而，本公开不限于使用以上等式(1)来确定邻域密度。可以使用用于确定邻域密度的其它等式。

在207处，在图像表示单元中将具有大于第二阈值的邻域密度的每个事件识别为其中存在高置信的事件，该事件是有效事件(例如，置信事件)而非噪声，且置信事件包括在置信图中。当前帧中的置信事件用作下一帧中用于去噪的支持事件，如下文更详细地描述。

在209处，图像去噪单元对于由图该帧序列中的每个dvs事件确定正讨论的事件的预定邻域内和预定时间窗w内的事件的数量n2。

在211处，对于在正讨论的事件的帧(例如，当前帧)的对应邻域内的当前帧的紧接在前的帧，由图像去噪单元确定在前帧中的置信事件的数量c。

在213处，由图像去噪单元确定值(n2+(αxc))，其中α是预定常数。

在215处，如果正讨论的事件的(n2+(αxc))小于第三阈值t3，那么将正讨论的事件作为噪声丢弃，且然后由图像去噪单元输出已去噪的帧。

图3是根据本公开的实施例的dvs事件的图像表示和处理的装置300的框图。

参考图3，装置300包括dvs301、采样单元303、图像形成单元305、图像表示单元307、图像去失真单元309以及图像匹配单元311。

在本公开的实施例中，装置300还可以包括图像表示单元307与图像去失真单元309之间的图像去噪单元以将图像去噪。然而，图像匹配并不需要图像去噪单元。

dvs301捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括事件在摄像机阵列内的位置以及指示如与相关位置的紧接在前的状态相比，该相关事件的亮度的正或负变化的二进制值。

采样单元303包括连接至dvs301的输出用于从dvs301接收事件流的第一输入、用于调整采样单元303的采样方式的第二输入，以及用于输出事件流的样本的输出。对于前两个样本，采样方式可以相同，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，采样方式对于下一样本可以不同。

图像形成单元305包括连接至采样单元303的输出用于接收事件流的样本的输入。图像形成单元305从事件流的每个样本形成图像并且输出事件流的每个样本的图像。针对前两个样本形成的图像是基于相同采样方式形成，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，每个后续图像可以基于不同于紧接在前的采样方式的采样方式形成。

图像表示单元307包括连接至图像形成单元305的输出的输入以及输出。图像表示单元307的功能可以类似于上述图像表示单元101。

图像去失真单元309包括连接至图像形成单元307的输出的输入以及输出。图像去失真单元309去除或修改已去噪图像以补偿失真。失真补偿包括减少失真。然而，本公开不限于此。

图像匹配单元311包括连接至图像去失真单元309的输出的输入以及连接至采样单元303的第二输入的输出。图像匹配单元311比较由图像去失真单元309输出的两个图像并且确定两个图像中的事件是否匹配(例如，共享相同位置)。已匹配事件称作参考事件。图像匹配单元311向采样单元303输出信号以调整采样方式，其中可以减少采样方式(例如，减少采样周期、减少样本中的事件的预定数量或减少采样周期和事件数量的组合)，可以增加采样方式(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件数量的组合)或可以维持采样方式。

在本公开的实施例中，图像匹配单元311可以使用加权帧到帧匹配来匹配帧。可以如以下等式(2)中所表示般执行加权帧到帧匹配：

其中argminf(x)是确定函数f(x)获得最小值所针对的值x的最小值函数的自变量。此处的目标函数是为了最小化两个图像之间的点对点光子误差，其中i是第一图像i⁽¹⁾的置信图c⁽¹⁾中的位置，pi是位置i的坐标，i⁽²⁾是第二图像，且t是最小化argmin函数所寻求的变换矩阵。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。

由图像匹配单元311输出的图像可以在需要图像的应用或应用单元(例如，视觉识别、同时定位和映射(slam)、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(tv)、游戏)的姿势识别、用户识别(例如，用于tv、移动设备)以及机器人)中使用。

图4是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图。

参考图4，在401处由dvs(例如，图3的dvs301)产生事件流。

在403处，由采样单元(例如，图3的采样单元303)以某种方式对事件流采样。

在405处，由图像形成单元(例如，图3的图像形成单元305)对样本产生图像。

在407处，由图像表示单元(例如，图1的图像表示单元101)识别置信事件。

在本公开的实施例中，由图像去噪单元(例如，图1的图像去噪单元103)将图像去噪。然而，图像匹配并不需要图像去噪。

在409处，由去失真单元(例如，图3的图像去失真单元309)将已去噪图像去失真。

在411处，由图像匹配单元(例如，图3的图像匹配单元311)匹配图像，且必要时调整采样。

在本公开的实施例中，可以使用加权帧到帧匹配来执行帧的图像匹配。可以如上等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。

图5是根据本公开的实施例的dvs事件的图像表示和处理的装置500的框图。图5涉及slam应用。

参考图5，装置500包括dvs501、采样单元503、图像形成单元505、图像表示单元507、图像去失真单元509、图像匹配单元511、摄像机姿态估计单元513、摄像机姿态融合单元515以及slam单元517。

在本公开的实施例中，可以在图像表示单元507与图像去失真单元509之间使用图像去噪单元以将图像去噪。然而，图像匹配和slam并不需要图像去噪。

dvs501捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括事件在摄像机阵列内的位置以及指示如与相关位置的紧接在前的状态相比，该相关事件的亮度的正或负变化的二进制值。

采样单元503包括连接至dvs501的输出用于从dvs501接收事件流的第一输入、用于调整采样单元503的采样方式的第二输入，以及用于输出事件流的样本的输出。对于前两个样本，采样方式可以相同，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，采样方式对于下一样本可以不同。

图像形成单元505包括连接至采样单元503的输出用于接收事件流的样本的输入。图像形成单元505从事件流的每个样本形成图像并且输出事件流的每个样本的图像。针对前两个样本形成的图像是基于相同采样方式形成，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，每个后续图像可以基于不同于紧接在前的采样方式的采样方式形成。

图像表示单元507包括连接至图像形成单元505的输出的输入以及输出。图像表示单元507可以类似于上述图像表示单元101作用。

图像去失真单元509包括连接至图像形成单元507的输出的输入以及输出。图像去失真单元509去除或修改已去噪图像以补偿失真。本公开可以通过减少失真补偿失真。然而，本公开不限于此。

图像匹配单元511包括连接至图像去失真单元509的输出的输入，以及连接至采样单元503的第二输入的输出。图像匹配单元511比较由图像去失真单元509输出的两个图像，并且确定这两个图像中的事件是否匹配(例如，共享相同位置)。已匹配事件称作参考事件。图像匹配单元511向采样单元503输出信号以调整采样方式，其中可以减少采样方式(例如，减少采样周期、减少样本中的事件的预定数量或减少采样周期和事件数量的组合)，可以增加采样方式(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件数量的组合)或可以维持采样方式。

在本公开的实施例中，图像匹配单元511可以使用加权帧到帧匹配来匹配帧。可以如上述等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。

摄像机姿态估计单元513包括连接至图像匹配单元511的输出的输入以及输出。摄像机姿态估计单元513对于图像估计摄像机的姿态。

摄像机姿态融合单元515包括连接至摄像机姿态估计单元513的输出的输入以及输出。摄像机姿态融合单元515基于与图像相关联的已估计摄像机姿态来融合图像。

slam单元517包括连接至摄像机姿态融合单元515的输出的输入以及输出。slam单元517同时确定图像中的定位和映射。

图6是根据本公开的实施例的dvs事件的图像表示和处理的方法的流程图。图6涉及slam应用。

参考图6，在601处由dvs(例如，图5的dvs501)产生事件流。

在603处，由采样单元(例如，图5的采样单元503)以某种方式对事件流采样。

在605处，由图像形成单元(例如，图5的图像形成单元505)对样本产生图像。

在607处，由图像表示单元(例如，图1的图像表示单元101)识别置信事件。

在本公开的实施例中，由图像去噪单元(例如，图1的图像去噪单元103)将图像去噪。然而，slam不需要图像去噪。

在609处，由去失真单元(例如，图5的去失真单元509)将已去噪图像去失真。

在611处，由图像匹配单元(例如，图5的图像匹配单元511)匹配图像，且必要时调整采样。

在本公开的实施例中，可以使用加权帧到帧匹配来执行帧的图像匹配。可以如上等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。

在613处，由摄像机姿态估计单元单元(例如，图5的摄像机姿态估计单元513)估计图像的摄像机姿态。

在615处，由摄像机姿态融合单元(例如，图5的摄像机姿态融合单元515)基于与图像相关联的已估计摄像机姿态融合图像。

在617处，由slam单元(例如，图5的slam单元517)同时确定图像的定位和映射。

虽然本公开的详细描述中已经描述了本公开的某些实施例，但是在不脱离本公开的范围的情况下可以以各种形式修改本公开。因此，本公开的范围不应仅基于所述实施例来确定，而是基于附图和其等效物来确定。