全景泊车系统自动找点匹配方法
【专利摘要】本发明提出了一种全景泊车系统自动找点匹配方法，包括如下步骤：设置鸟瞰图，该鸟瞰图包括至少一个目标图，沿摄像头镜面法线方向目标图的两个顶点为目标顶点，提取目标顶点的坐标；利用摄像头采集鸟瞰图，得到鱼眼图，该鱼眼图包括背景区域和目标区域，目标区域为目标图在鱼眼图中对应的区域，目标顶点在鱼眼图中对应的顶点为鱼眼目标顶点；将鱼眼图变换为二值化图像，使目标区域与背景区域分离；在二值化图像上进行连通区域标识，获得目标区域并提取鱼眼目标顶点的坐标；利用目标顶点和鱼眼目标顶点的坐标进行图像变换拼接。本方法在全景界面出现拼接不起来的情况时，对全景界面进行重新找点匹配从而恢复正常界面，提高了泊车的效率和安全性。
【专利说明】全景泊车系统自动找点匹配方法
【技术领域】
[0001]本发明涉及计算摄像学【技术领域】，特别涉及一种全景泊车系统自动找点匹配方法。
【背景技术】
[0002]随着汽车保有量的越来越多，交通环境的日益复杂，泊车对于驾驶员来说已经成为一个难题，同时由于泊车过程也存在一定危险性，为提高泊车的效率和安全性，通常生产商会在车辆四周设置四个摄像头拍摄泊车场景的全景图片来协助驾驶员进行泊车。
[0003]由于车辆在生产线上装配的不一致，同时车辆在使用过程中会使四周的四个摄像头出现位置的小范围变动，在固有的参数下会使全景拼接的效果出现偏差，因此，如何在变动后的摄像头角度基础上对全景的拼接效果进行重新调整，使驾驶员在泊车过程中看到准确的全景图像，提高泊车的效率和安全性是一个亟需解决的技术问题。
【发明内容】
[0004]本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种全景泊车系统自动找点匹配方法。
[0005]为了实现本发明的上述目的，本发明提供了一种全景泊车系统自动找点匹配方法，包括如下步骤:
[0006]S1:设置鸟瞰图，所述鸟瞰图包括至少一个目标图，沿摄像头镜面法线方向所述目标图的两个顶点为目标顶点，提取所述目标顶点的坐标；
[0007]S2:利用摄像头采集鸟瞰图，得到鱼眼图，所述鱼眼图包括背景区域和目标区域，所述目标区域为目标图在鱼眼图中对应的区域，所述目标顶点在鱼眼图中对应的顶点为鱼眼目标顶点；
[0008]S3:将所述鱼眼图变换为二值化图像，使所述目标区域与背景区域分离；
[0009]S4:在所述二值化图像上进行连通区域标识，获得目标区域并提取鱼眼目标顶点的坐标；
[0010]S5:利用目标顶点和鱼眼目标顶点的坐标进行图像变换拼接，以得到所述鸟瞰图到所述鱼眼图的坐标映射关系。。
[0011]本发明的全景泊车系统自动找点匹配方法在全景界面出现拼接不起来的情况时，在摄像头拍摄的鱼眼图中重新找点，对全景界面进行重新找点匹配从而恢复正常界面，提高了泊车的效率和安全性。
[0012]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0013]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0014]图1是本发明全景泊车系统自动找点匹配方法的一种优选实施方式中鸟瞰图；
[0015]图2是本发明一种优选实施方式中摄像得到的鱼眼图；
[0016]图3是对图2中的选取区域进行二值化处理后的图形；
[0017]图4是图3中89号区域上面顶点部分的放大图。
【具体实施方式】
[0018]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0019]在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0020]本发明提供了一种全景泊车系统自动找点匹配方法，包括如下步骤:
[0021]S1:设置鸟瞰图，所述鸟瞰图包括至少一个目标图，沿摄像头镜面法线方向所述目标图的两个顶点为目标顶点，提取所述目标顶点的坐标；
[0022]S2:利用摄像头采集鸟瞰图，得到鱼眼图，所述鱼眼图包括背景区域和目标区域，所述目标区域为目标图在鱼眼图中对应的区域，所述目标顶点在鱼眼图中对应的顶点为鱼眼目标顶点；
[0023]S3:将所述鱼眼图变换为二值化图像，使所述目标区域与背景区域分离；
[0024]S4:在所述二值化图像上进行连通区域标识，获得目标区域并提取鱼眼目标顶点的坐标；
[0025]S5:利用目标顶点和鱼眼目标顶点的坐标进行图像变换拼接，以得到所述鸟瞰图到所述鱼眼图的坐标映射关系。。
[0026]在本发明的一种优选实施方式中，该全景泊车系统自动找点匹配方法具体包括如下步骤:
[0027]第一步:设置鸟瞰图，该鸟瞰图包括至少一个目标图，沿摄像头镜面法线的方向，目标图的两个顶点为目标顶点，提取目标顶点的坐标。本发明设定车辆四周均设置有摄像头，至少在车辆的前后左右四个方向均设置有摄像头，并且车辆的每一个摄像头均能够采集到至少一个目标图的图像。在本实施方式中，鸟瞰图包括紧贴停车区域设置的包围该停车区域的第一颜色的区域，目标图为在第一颜色的区域内且位于停车区域四周的第二颜色的区域，第一颜色与第二颜色在摄像头拍摄的鱼眼图中有明显区别。在本发明的另外一种优选实施方式中，目标图在鸟瞰图内且位于停车区域四个顶角方向。
[0028]在本发明的一种更加优选的实施方式中，停车区域为长方形，紧贴停车区域在停车区域的周围铺设3m宽的黑色区域，并在停车区域周围4个角，即左摄像机与前摄像机重叠的区域、右摄像机与前摄像机重叠的区域、左摄像机与后摄像机重叠的区域、右摄像机与后摄像机重叠的区域均铺设一定边长的正方形白色区域，并且正方形白色区域不超出黑色区域的范围，白色区域相对于停车区域成菱形形状并且白色区域的两条对角线分别各自平行于停车区域的水平线和垂直线，4块白色区域对停车区域中心保持两两对称，这样做的目的是有利于计算目标顶点的坐标，如图1所示，图中A、B、C、D所示为四块白色区域所在区域，网格和阴影部分为黑色区域，其中网格和白色区域所在的区域表示摄像机摄像范围重叠区域，中间空白部分为停车区域，停车区域上的四个小方块表示车辆上的四个摄像头，设置好鸟瞰图后，提取目标顶点的坐标，该坐标为理论计算坐标，提取时，原点可任意设置。
[0029]第二步:利用摄像头采集鸟瞰图，得到鱼眼图，鱼眼图包括背景区域和目标区域，目标区域为目标图在鱼眼图中对应的区域，目标顶点在鱼眼图中对应的顶点为鱼眼目标顶点。在本实施方式中，四个摄像头在四个方向采集来的图像分别都会有两块菱形的白色区域，此区域即为我们要寻找的目标区域，在每一个目标区域中分别选择2个顶点(共4个点)作为鱼眼目标顶点，分别如下:对于前方的摄像头，选择顶点al、a3、bl和b3作为鱼眼目标顶点；对于后方的摄像头，选择Cl、c3、dl和d3作为鱼眼目标顶点；对于左方的摄像头，选择a2、a4、c2和c4作为鱼眼目标顶点；对于右方的摄像头,选择b2、b4、d2和d4作为鱼眼目标顶点。这样选择点的原因是:由于摄像头采集来的图像是经过严重畸变的，对于每个方向采集来的图像，左右方向上的极值点并不能代表白色区域的顶点坐标，但上下方向上不会出现这种情况，故选择每幅图像白色区域的上下方向的顶点作为鱼眼目标顶点，图2是实际采集图的鱼眼图，其中十字叉代表找出的鱼眼目标顶点。需要说明的是，虽然本实施方式每一个摄像头采集到两块菱形的白色区域，得到四对鱼眼目标顶点，但是在本发明另外的优选实施方式中，每一个摄像头可以只采集一块菱形的白色区域，得到两对鱼眼目标顶点。
[0030]第三步:将鱼眼图变换为二值化图像，使目标区域与背景区域分离。具体是对含有目标区域的一部分鱼眼图，利用OSTU算法进行二值化处理。在本实施方式中，对第二步采集到的鱼眼图进行灰度化和二值化处理，使两块白色区域能在二值化图像上明显的与背景图像区别开来，本发明采用OSTU算法来计算二值化阈值，这个算法以一幅图像中各部分的灰度均衡性为依据，计算其各自的方差值，方差大的其均衡性就低，反之，均衡性就高。对于一幅图像，可以分为背景区域和目标区域两类，其中背景区域和目标区域各自内部像素的灰度值均衡性高，对应的方差小，而背景区域和目标区域之间的均衡性小，对应的方差最大。因此当类间方差最大的时候，意味着背景区域和目标区域的错分概率处于最低状态。由于这个算法的局限性，对于目标区域在整幅图像中所占比例较小时，容易出现错误的情况，为使计算出的阈值能将目标区域从背景区域中完全分离出来，本实施方式中，采用的方法是在含有目标区域的一定范围内取出一块图像，利用此图像计算阈值，继而对图像进行二值化，即可将目标区域从背景区域中完全分离出来。
[0031]在本实施方式中，要对鱼眼图左右两半部分分别提取目标区域，用各自的阈值来对图像左右分别进行二值化，因为当图片的两边区域处于明暗不同的光照条件下时，如果只用一边的阈值对整幅图片进行二值化，会使另一边二值化出来的结果很可能得不到目标区域，或是大致得到了，也会对最终的坐标点计算产生一些误差，图3中左边的两张小图是从图2中选取的包含目标区域的一部分鱼眼图，右面的大图是二值化后的结果。
[0032]第四步:在二值化图像上进行连通区域标识，获得目标区域并提取鱼眼目标顶点的坐标，具体包括如下步骤:
[0033]S41:在二值化图像上进行连通区域标识；[0034]S42:计算各个连通区域的特征值，该特征值可以包括连通区域的面积、中心坐标点及Y方向上的2个极值点中的一种或多种，在本实施方式中，Y方向及是沿摄像机镜头镜面法线的方向，由于本实施方式中，车辆上有四个摄像头，对于每一个摄像头，沿其镜头镜面方向为X方向，镜面的法线方向为Y方向；
[0035]S43:对获得的各个连通区域的特征值创建约束条件，获取目标区域；
[0036]S44:提取目标区域的鱼眼目标顶点的坐标。
[0037]在本实施方式中，连通域标记是指将二值化图像中符合8邻域连通规则的像素标识为同一目标，设计合适的数据结构例如一个二维数组来存储每个像素点所属的目标的标号。对图3所示的二值化图像遍历一遍，获得一个连通域标识数组后，图中各个连通的白色区域部分就会被标记上不同的数值，由于图中的连通域个数较多，且有些地方无法用人眼细致观察出来，故只对几个较明显的区域进行序列号标记，如图中数字所示。然后，对标识数组遍历一遍，计算各个白色连通区域的面积、中心坐标点和Y方向上的2个极值点，并将他们存入以标识数组为下标的新定义的数组当中。
[0038]以获得的各个连通区域的面积和中心坐标创建约束条件，约束条件的创建是为了提取出我们所需要的目标区域，以图3中标号为89和93的区域为例，由于每个连通域都有自己的特征，例如中心点的坐标、连通域的面积，即落在连通域中白色像素点的个数，以及外接矩形等。由于这些特征的不同，在二值化图像的基础上，先计算出2个目标区域的特征，在此基础上创建约束条件，例如:当目标区域的中心坐标点为(x，y)时，可以在分别在X和I的基础上增加和减去一个值来进行约束(如x_a〈x〈x+b, y - c[0039]寻找出目标区域后，在此区域内部寻找Y方向上最大和最小的2个极值。这里会出现一种情况，如图4所示，其为图3中89号目标区域上面角点部分的放大图，由于是寻找Y的极值，所以可能会出现图中X坐标相同的情况，为了使得到的目标点的坐标值更加精确，这里不能采用星号的点的坐标，十字叉才是最接近实际值的，所以要对得到的3个X坐标取平均运算，才能得到实际的坐标点。需要说明的是，这里3个X坐标对应一个Y坐标只是一种可能的实施例，在另外其他实施例中，可能2个X坐标或多于3个的X坐标对应一个Y坐标，只需要对相应的多个X坐标取平均值即可，当只有一个X坐标时，不需要进行平均计算，直接用即可。
[0040]第五步:利用目标顶点和鱼眼目标顶点的坐标进行图像变换拼接，具体包括如下步骤:
[0041]S51:将得到的鱼眼图中的鱼眼目标顶点坐标经过正向校正变换映射到校正图上；
[0042]S52:将步骤S51中得到的校正图中的坐标与目标顶点坐标结合，计算出从校正图到鸟瞰图变化的转换关系式；
[0043]S53:由步骤S52得到的关系式，得出鸟瞰图中像素坐标点在校正图中的位置对应关系;
[0044]S54:将步骤S53得到的校正图中的坐标点位置再经过反向校正变换映射到鱼眼图中，能得到由鸟瞰图到鱼眼图的坐标转换关系；[0045]S55:由步骤S54生成由鸟瞰图到鱼眼图的坐标转换查找表，将其更新替换旧的查找表，完成重拼接过程。
[0046]本发明实施例提出的全景泊车系统自动找点匹配方法在全景界面出现拼接不起来的情况时，在摄像头拍摄的鱼眼图中重新找点，对全景界面进行重新找点匹配从而恢复正常界面，解决了摄像头由于装配误差或小范围变动而导致图像拼接产生偏差的问题，能够将出现偏差的图像重新进行拼接，提高了泊车的效率和安全性。
[0047]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0048]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
【权利要求】
1.一种全景泊车系统自动找点匹配方法，其特征在于，包括如下步骤: S1:设置鸟瞰图，所述鸟瞰图包括至少一个目标图，沿摄像头镜面法线方向所述目标图的两个顶点为目标顶点，提取所述目标顶点的坐标； S2:利用摄像头采集鸟瞰图，得到鱼眼图，所述鱼眼图包括背景区域和目标区域，所述目标区域为目标图在鱼眼图中对应的区域，所述目标顶点在鱼眼图中对应的顶点为鱼眼目标顶点； 53:将所述鱼眼图变换为二值化图像，使所述目标区域与背景区域分离； 54:在所述二值化图像上进行连通区域标识，获得目标区域并提取鱼眼目标顶点的坐标； 55:利用目标顶点和鱼眼目标顶点的坐标进行图像变换，以得到所述鸟瞰图到所述鱼眼图的坐标映射关系。
2.如权利要求1所述的全景泊车系统自动找点匹配方法，其特征在于，车辆的每一个摄像头能够采集到至少一个目标图。
3.如权利要求1所述的全景泊车系统自动找点匹配方法，其特征在于，在所述步骤SI中，所述鸟瞰图包括紧贴停车区域设置的包围所述停车区域的第一颜色的区域，所述目标图为在所述第一颜色的区域内且位于所述停车区域四周的第二颜色的区域，所述第一颜色与第二颜色在摄像头拍摄的鱼眼图中有明显区别。
4.如权利要求3所述的全景泊车系统自动找点匹配方法，其特征在于，所述目标图在鸟瞰图内且位于所述停车区域四个顶角方向。
5.如权利要求1所述的全景泊车系统自动找点匹配方法，其特征在于，在所述步骤S3中，对含有目标区域的一部分鱼眼图，利用OSTU算法进行二值化处理。
6.如权利要求1所述的全景泊车系统自动找点匹配方法，其特征在于，所述步骤S4包括如下步骤: 541:在所述二值化图像上进行连通区域标识； 542:计算各个连通区域的特征值，所述特征值包括连通区域的面积、中心坐标点及Y方向上的2个极值点中的一种或多种； 543:对获得的各个连通区域的特征值创建约束条件，获取目标区域； 544:提取目标区域的鱼眼目标顶点的坐标。
7.如权利要求1所述的全景泊车系统自动找点匹配方法，其特征在于，所述步骤S5包括如下步骤: 551:将得到的鱼眼图中的鱼眼目标顶点坐标经过正向校正变换映射到校正图上； 552:将步骤S51中得到的校正图中的坐标与目标顶点坐标结合，计算出从校正图到鸟瞰图变化的转换关系式； 553:由步骤S52得到的关系式，得出鸟瞰图中像素坐标点在校正图中的位置对应关系; 554:将步骤S53得到的校正图中的坐标点位置再经过反向校正变换映射到鱼眼图中，能得到由鸟瞰图到鱼眼图的坐标转换关系； 555:由步骤S54生成由鸟瞰图到鱼眼图的坐标转换查找表，将其更新替换旧的查找表，完成重拼接过程。
【文档编号】G06T5/00GK103854272SQ201210495171
【公开日】2014年6月11日 申请日期:2012年11月28日 优先权日:2012年11月28日
【发明者】熊伟 申请人:比亚迪股份有限公司