光学 精密工程  2018, Vol.26 Issue (10): 2555-2564   PDF    
深孔内表面结构光图像几何畸变校正
丁超1, 唐力伟1, 曹立军1, 邵新杰2, 邓士杰1     
1. 陆军工程大学石家庄校区 火炮工程系, 河北 石家庄 050003;
2. 陆军工程大学石家庄校区 车辆与电气工程系, 河北 石家庄 050003
摘要: 在针对深孔类零部件内表面检测过程中因曲面特性引起的结构光图像几何畸变校正问题,一直是深孔内表面检测领域的难点。本文提出了一套针对结构光条纹图像的几何校正算法:该算法首先针对无差别建模的深孔内壁模型内表面进行结构光检测;然后基于离散映射理论搭建深孔内壁模型和内壁展开模型内表面之间的几何位置对应关系;最后基于映射关系校正深孔内表面结构光图像存在的几何错位(畸变)。检测结果表明,所提算法能够有效提高几何错位的校正精度,在不考虑图像边缘的基础上,校正偏差达到亚像素水平;并且因条纹斜率不一致造成的对应条纹最大间距(即距离偏差)控制在1.5 pixel范围内,即0.135 mm。
关键词: 结构光      深孔内表面      图像几何畸变校正     
Geometric distortion correction for structured-light image of deep-hole inner-surface
DING Chao1 , TANG Li-wei1 , CAO Li-jun1 , SHAO Xin-jie2 , DENG Shi-jie1     
1. Artillery Engineering Department, Army Engineering University, Shijiazhuang 050003, China;
2. Vehicle and Electrical Engineering Department, Army Engineering University, Shijiazhuang 050003, China
*Corresponding author: DING Chao, E-mail: duncan1119@163.com
Abstract: In the detection process for the inner-surface of deep-hole parts, the correction of image geometric distortion caused by the characteristics of a curved plane has proven to be difficult. In this study, a geometric correction algorithm for structured light stripe imaging was proposed. Firstly, the deep-hole inner-surface model (DIM) obtained via undifferentiated modeling was established. Then, the geometric position correspondence relationship between the DIM and the deep-hole inner-surface plane model was established based on discrete mapping. Finally, the geometric distortion of the structured light image was corrected based on the mapping relationship. The test results indicated that the proposed algorithm can effectively improve the correction accuracy of geometric distortion to the sub-pixel level without considering the edge of the image. The maximum distance (i.e., distance deviation) between the corresponding stripes caused by the inconsistency of the slope is the distance deviation, which was 0.135 mm less than 1.5 pixels.
Key words: structured-light     deep-hole inner-surface     image geometric distortion correction    
1 引言

深孔类零部件作为现代工业制造领域的重要组成部分,广泛应用于火炮身管等部件的生产过程中[1]。与此同时基于结构光的三维检测技术越来越广泛地被应用于针对被测物体表面的三维形貌检测中,其相关技术得到了广泛关注和深入研究[2]:李伟等[3]采用结构光检测技术针对路面错台量进行了三维检测;裘祖荣等[4]通过建立嵌入式线结构光角度视觉检测系统实现了针对线结构光角度的在线检测;曲岳等[5]依托FPGA采用中值滤波、最大类间方差等方法实现了针对光条的实时提取。在针对深孔类零部件内表面检测过程中,基于结构光的光学检测手段可实现针对深孔内表面常见几何特征参数的快速、高精度测量:王颖等[6]基于机器视觉原理和圆结构光检测手段搭建了针对管道内表面的测量系统;张振友等[7]采用光机电控制和CCD成像技术针对身管内膛表面进行了定性和定量检测。

在结构光针对深孔内表面几何形状的传统检测过程中,主要是在不考虑深孔内表面弧度、凹槽深度变化等误差因素的基础上,通过计算调制后折断条纹之间的垂直图像距离,进而推导出实际几何形状的深度信息。然而在实际针对深孔内表面进行检测的过程中,CCD相机采集到的经内表面调制后的结构光图像存在不同程度的几何错位,具体表现为:

(1) 图像中结构光条纹因内表面弧度呈现弯曲形态,直接导致针对条纹的线性拟合存在偏差;

(2) 受限于深孔内部的有限空间以及内表面几何形状特点,结构光不能垂直投射到深孔内表面,而是以一定角度投射进来,造成图像中条纹呈现扩散现象;

(3) 随着相机视野、内表面弧度以及凹槽深度的不断扩大,采集图像存在的畸变越大,针对内表面几何参数的测量精度越低。

因此,相比于深孔内表面曲面采集图像,针对平面的结构光图像畸变更小,测量精度更高[8]。为此当前迫切需要一套针对结构光畸变图像几何校正的有效方法,将因内表面弧度特性等因素引起的结构光条纹弯曲畸变校正为内表面展开成平面状态下采集的结构光条纹直线形态,即实现深孔内表面曲面状态下和内表面平面状态下相机采集的结构光图像之间的转换,以抵消因内表面曲面特性等因素引起的图像几何错位,而这也是进行结构光图像后续处理的前提。

依托项目研究对象,本文建立了其深孔内壁模型(Deep-hole Inner-surface Model, DIM)以及与之对应的深孔内壁展开模型(Deep-hole Inner-surface Plane Model, DIPM),其中DIM内径为155 mm,凹槽深度控制在5 mm范围内,涵盖了此类深孔零部件的绝大多数尺寸;然后基于离散映射理论,采用样条插值等方法建立DIM和DIPM模型之间的几何位置对应关系(Geometric Position Correspondence Relationship, GPCR),并依据该对应关系提出针对深孔类零部件内表面结构光采集图像的几何校正算法。

2 结构光检测系统几何校正

为便于描述,首先针对文中常用到的一些概念进行解释:

结构光图像,就是包含有依据特定规律分布的结构光条纹图像,本文采用线结构光条纹图像,图像M×NMN列个像素点组成,如图 1(a)图 1(b)所示,其中M=480 pixel,N=640 pixel,对应相机视野约为43.55×58.07 mm,单个像素对应的实际距离为0.09 mm;

图 1 检测系统几何校正 Fig.1 Geometric correction of test system

曲面采集图像(Curved Plane Acquired Image, CPAI),就是结构光经深孔内壁模型(其剖面如图 1(c)所示)内表面调制后进入相机视野的画面,如图 1(a)所示;

平面采集图像(Plane Acquired Image, PAI),就是结构光经深孔内壁展开模型(其剖面如图 1(d)所示)内表面调制后进入相机视野的画面,如图 1(b)所示;

特征图像,就是包含有便于进行图像识别特征的图像,本文将高斯结构光点按照行列排布成高斯结构光点阵图像(Gauss Structured-light Dot-array Image, GSDI),其中高斯结构光点如图 1(e)所示。通过适当提高GSDI图像内部光点的密度,有助于获取被测物体表面几何形状变化的更多细节信息,提高下一步的校正精度。

结构光检测系统如图 2(a)所示:受限于深孔内表面有限的物理空间,结构光控制器水平投射激光条纹,经反光镜1反射后,以2α角度斜射到深孔内表面;然后经内表面曲面调制(漫反射)后再由反射镜2反射出沿水平方向传播的经调制变形的激光条纹;最后经CCD相机采集得到结构光条纹图像,再传输给计算机进行处理;当检测完毕后,依靠驱动装置牵引检测设备到下一检测区域。通过相机获取经深孔内表面调制后变形的结构光条纹,其中结构光条纹的形变特征,就是曲面采集图像中的每个像素点相对于平面采集图像中对应像素点的形变参数。本文结构光条纹的形变特征表现为图像中每个像素点的坐标值,设(c″, r″)为曲面采集图像中像素点坐标,如图 2(b)所示;(c′, r′)为对应平面采集图像中像素点坐标,如图 2(c)所示。图 2(b)中曲面区域ABCD展开成平面后获得图 2(c)中平面区域A1B1C1D1,建立两图像间的几何位置对应关系GPCR,即(c′, r′)=f(c″, r″)。

图 2 深孔内表面结构光检测 Fig.2 Deep-hole inner-surface structured-light detection
3 结构光图像几何校正

针对曲面采集图像进行几何校正的关键在于建立其和平面采集图像之间的几何位置映射关系并准确量化,其具体流程如图 3所示。

图 3 结构光图像几何校正流程 Fig.3 Geometric correction process of structured-light image
3.1 几何位置映射关系GPCR确定

在3D MAX软件仿真环境下,通过将高斯结构光点阵图像分别投射到深孔内壁和深孔内壁展开仿真模型内表面上,采集得到基于高斯结构光的曲面采集图像和平面采集图像,如图 4(a)图 4(b)所示;在此基础上建立两图像之间的几何位置对应关系,具体步骤如下所示:

图 4 GPCR映射关系确定 Fig.4 GPCR mapping relation determination

Step1.图像预处理,为便于后续处理,分别采用MATLAB中的函数im2bw和rgb2gray针对采集图像进行二值化、灰度转化、类型转换等处理,如图 4(c)图 4(d)中众多白色特征区域所示。

Step2.标识点图像位置识别,借助图像区域属性度量函数regionprops获取图像中全部特征区域的中心点(即标识点),如图 4(c)图 4(d)中红点所示;记录每个标识点的图像位置(xl, yl),最终汇聚成横坐标矩阵Vx和纵坐标矩阵Vy,分别如式(1)和式(2)所示;其中xlyl分别表示矩阵V2×(m×n)中编号为第Nl个像素点的横、纵坐标。

(1)
(2)

Step3.标识点有序化处理,识别后的标识点仍处于散乱状态,难以与图像中呈行列分布的标识点相对应;为此采用散乱数据有序化算法(Scattered Data Ordered Algorithm, SDOA)[9]针对识别后的标识点进行排序,得到针对标识点的编号点阵数据Sm×n(Serial Number Point Array Data, SNPAD),如式(3)所示:

(3)

以及针对标识点的位置点阵数据Lm×n(Location Point Array Data, LPAD),其横、纵坐标矩阵分别如式(4)和式(5)所示:

(4)
(5)

其中:Si, j表示矩阵Sm×n中第i行第j列交汇处像素点的编号,xi, jyi, j分别表示矩阵Lm×n中第i行第j列交汇处像素点的横坐标和纵坐标。

Step4.标识点扩展,采用3次样条插值函数spline从水平和竖直两个方向拟合各自方向单行或单列上的所有标识点,获取该方向上所有像素点对应的图像位置(曲线c1至c8),如图 4(e)图 4(f)所示。

3.2 图像几何校正

基于曲面采集图像和平面采集图像之间的几何位置映射关系,针对曲面采集图像进行校正,如图 5(a)所示,具体步骤如下所示:

图 5 图像几何校正 Fig.5 Image geometric correction

Step5.图像纵向坐标校正,分析图 4(e)图 4(f)之间几何对应关系知,图 4(e)中几何错位主要存在于纵向坐标上。

为此采用分段多项式算法(Piecewise Polynomial Algorithm, PPA)从纵坐标方向上量化其几何错位,如式(6)所示:

(6)

其中:yy′分别表示校正前后图像中对应像素点的纵坐标,1≤yNY(i, j)表示深孔内壁模型内表面标识点(i, j)的纵坐标,Y(i, :)表示深孔内壁模型内表面第i行标识点的纵坐标集合;Y′(i, j)和Y′(i, :)含义同上,在此不做赘述。

Step6.校正误差评价,通过将校正后曲面采集图像与标准平面采集图像叠加在一起进行对比,定量计算两者之间的差异,分别如图 5(b)图 5(c)所示;

经分析知,不考虑图像边缘处误差极大点,校正后曲面采集图像和标准平面采集图像中对应标识点及扩展后图像中坐标点之间的偏差均低于单个像素,达到亚像素水平。

4 实例验证 4.1 图像几何校正

在3D MAX软件仿真环境下,将线结构光条纹图像投射到深孔内壁和深孔内壁展开仿真模型内表面上,分别得到基于线结构光的曲面采集图像和平面采集图像,分别如图 6(a)图 6(b)所示;基于几何位置映射关系针对原始曲面采集图像进行校正,如图 6(c)所示;将校正前后曲面采集图像与标准平面采集图像叠加在一起进行对比,结果分别如图 6(d)图 6(e)所示。

图 6 线结构光图像几何校正 Fig.6 Line structured light-image geometric correction

分析图 6(c)可知,受到图 4(e)图 4(f)中部分曲线(如c7和c8)在图像边缘处存在失真的影响,图中部分区域结构光条纹出现断裂;因此,为获取满足校正要求的结果,针对图像的几何校正是主要考虑图像的中间区域。

综合比较图 6(d)图 6(e)中图像可知,校正后曲面采集图像中心区域在结构光条纹斜率、折断距离等多个参数的计算上与标准平面采集图像能够达成一致,便于后续依托曲面采集图像精确获取深孔内表面几何参数(如凹槽深度等)。

4.2 几何参数测量

在3D MAX软件仿真环境下,将线结构光条纹图像投射到带有凹槽的深孔内壁和深孔内壁展开仿真模型内表面上,分别如图 7(a)图 7(b)所示;针对原始曲面采集图像进行校正,如图 7(c)所示;将校正前后曲面采集图像与标准平面采集图像叠加在一起进行对比,结果分别如图 7(d)图 7(e)所示。

图 7 带凹槽线结构光图像几何校正 Fig.7 Line structured light image with grooves geometric correction

借鉴文献[9]中图像转换比例反推算法ICRBIA针对图 7(a)7(b)7(c)中受凹槽调制后变形结构光条纹的斜率进行分析,验证本文方法的可行性。首先采用区域选取函数roipoly设置感兴趣区域ROI,并提取ROI中待分析的结构光条纹,然后分别进行编号,如图 7(a)7(b)7(c)中黄色虚线所示(彩图见期刊电子版),其中区域ROIi对应ROIj;然后采用线性最小二乘拟合算法拟合各ROI区域中条纹中心线方程,获取条纹的斜率信息;最后将对应ROI区域中条纹斜率作对比,结果如图 8(a)所示,相关数据分别如表 123所示。

表 1 曲面采集图像中对应拟合直线段斜率 Tab. 1 The slope of the corresponding fitting straight line of CPAI

表 2 平面采集图像中对应拟合直线段斜率 Tab. 2 The slope of the corresponding fitting straight line of PAI

表 3 校正后曲面采集图像中对应拟合直线段斜率 Tab. 3 The slope of the corresponding fitting straight line of CCPAI

图 8 带凹槽线结构光图像几何参数测量 Fig.8 Line structured-light image with grooves geometric parameter measurement

在量化对应结构光条纹斜率偏差的基础上,分析对应斜率偏差的图像距离偏差,即对应条纹仅因斜率不一致造成的条纹最大间距;分析相机成像原理知,采集图像的中间区域精度高于四周区域,因此距离偏差的计算如图 8(b)所示,采用等边三角形原理,其计算公式如式(7)所示。其中βiβj分别为第ij根拟合直线的斜率;αi-j为两拟合直线相交于中点时的夹角;l为拟合直线的长度,本文假设不同拟合直线的长度均相等;d为对应αi-j夹角的距离,即两拟合直线在端点处的条纹间距。

(7)

分析图 7(a)7(b)7(c)知,斜率最大的结构光条纹长度最大,因此分析表 1表 3,最大斜率β为35.593°,该处条纹拟合直线长度l计算如式(8)所示。其中h取值图像最大行数Row=480 pixel。

(8)

最终,采用公式(7)获取对应ROI区域中最大条纹间距,结果如图 8(c)所示。

分析图 8(a)知,校正前后的曲面采集图像在斜率分布上与图 7(d)图 7(e)保持一致。通过对比辅助直线(即线性直线分布),不难发现图 8(a)中校正前曲面采集图像CPAI的斜率分布呈非线性分布;校正后曲面采集图像CCPAI的斜率分布与平面采集图像PAI的斜率分布基本一致,近似呈线性分布。

分析图 8(c)知,受斜率分布影响,距离偏差d在平面采集图像PAI和校正后曲面图像CCPAI中的分布保持稳定并控制在1.5 pixel内,即偏差小于1.5 pixel×0.09 mm/pixel=0.135 mm;曲面采集图像中距离偏差d呈扩大趋势,对下一步测量造成干扰。

一方面,本文计算的条纹图像距离偏差d为条纹拟合直线段在端点处的最大偏差距离,只可能出现在图像的边缘区域;在实际分析采集图像过程中,主要选用图像的中间区域,该区域精度明显高于边缘区域,因此在实际计算过程中针对偏差的相关精度会更高,达到亚像素水平。

另一方面,造成条纹出现斜率偏差和不完全一致(即条纹的扩散现象),进而导致距离偏差的根本原因在于本文采用结构光斜射到深孔内表面的投射方式;但受限于深孔内部有限的物理空间以及深孔内表面几何形状分布特点,采用结构光直射方式并不现实。因此针对因结构光斜射方式造成的采集图像中条纹斜率偏差的问题将作为下一步的研究内容作深入分析。

5 结论

为精确校正深孔内表面结构光图像存在的几何错位,采用3D MAX软件针对深孔类零部件建立其深孔内壁模型和深孔内壁展开模型;采用离散映射理论和样条插值方法建立其模型内表面结构光图像间的几何位置映射关系,并基于该映射关系实现针对深孔内表面曲面采集图像的几何校正,校正结果达到亚像素水平,并且距离偏差控制在1.5 pixel范围内,即0.135 mm,进一步消除了因深孔内表面弧度特性引起的计算误差。下一步的研究重点在于优化几何位置对应关系,减少校正后图像边缘存在的条纹断裂以及条纹的扩散现象。

参考文献
[1]
冷惠文, 徐春广, 冯忠伟, 等. 基于圆结构光的复杂深孔内轮廓尺寸测量方法[J]. 中国图象图形学报, 2010, 15(7): 1084-1090.
LENG H W, XU CH G, FENG ZH W, et al. A Method for Measuring Complicated Deep-hole Profile Based on Ring structured light[J]. Journal of Image and Graphics, 2010, 15(7): 1084-1090. (in Chinese)
[2]
BARONE S, PAOLI A, RAZIONALE A V. Shape measurement by a multi-view methodology based on the remote tracking of a 3Doptical scanner[J]. Optics and Lasers in Engineering, 2012, 50(3): 380-390. DOI:10.1016/j.optlaseng.2011.10.019
[3]
李伟, 沙爱民, 孙朝云, 等. 基于线结构光的水泥混凝土路面错台三维检测[J]. 同济大学学报(自然科学版), 2015, 43(7): 1039-1044.
LI W, SHA A M, SUN ZH Y, et al. Joint Faulting Three-dimension Detection Method on Cement Concrete Pavement with Line-structure Light[J]. Journal of Tongji University (NATURAL SCIENCE), 2015, 43(7): 1039-1044. (in Chinese)
[4]
裘祖荣, 陈浩玉, 胡文川, 等. 嵌入式线结构光角度视觉检测及误差补偿[J]. 光学 精密工程, 2013, 21(10): 2480-2487.
QIU Z R, CHEN H Y, HU W CH, et al. Embedded angle vision inspection and error compensation for line structured lights[J]. Opt. Precision Eng., 2013, 21(10): 2480-2487. (in Chinese)
[5]
曲岳, 刘艳滢, 王延杰, 等. 基于FPGA的光条中心线实时提取方法[J]. 液晶与显示, 2016, 31(8): 818-824.
QU Y, LIU Y Y, WANG Y J, et al. Real-time extraction of light centerlines based on FPGA[J]. Chinese Journal of Liquid Crystals and Display, 2016, 31(8): 818-824. (in Chinese)
[6]
王颖, 张瑞. 管道内表面圆结构光视觉三维测量系统[J]. 红外与激光工程, 2014, 43(3): 891-896.
WANG Y, ZHANG R. In-pipe surface circular structured light 3D vision inspection system[J]. Infrared and Laser Engineering, 2014, 43(3): 891-896. DOI:10.3969/j.issn.1007-2276.2014.03.040 (in Chinese)
[7]
张振友, 杨岐子, 于政庆, 等. 数字式高炮身管疵病探测仪的设计[J]. 兵工学报, 2015, 36(4): 590-594.
ZHANG Z Y, YANG Q Z, YU Z Q, et al. Research on Digital Detector for Detecting the Flaws of Anti-aircraft Artillery Barrel[J]. ACTA ARMAMENTARII, 2015, 36(4): 590-594. DOI:10.3969/j.issn.1000-1093.2015.04.003 (in Chinese)
[8]
丁超, 唐力伟, 曹立军, 等. 复杂深孔内轮廓结构光图像畸变矫正算法[J]. 红外与激光工程, 2017, 46(12): 1217009.
DING C, TANG L W, CAO L J, et al. Image distortion correction algorithm for complicated deep-hole profile using structured-light[J]. Infrared and Laser Engineering, 2017, 46(12): 1217009. (in Chinese)
[9]
丁超, 唐力伟, 曹立军, 等. 基于结构光的身管膛线高度差检测[J]. 光学 精密工程, 2017, 25(4): 1077-1085.
DING C, TANG L W, CAO L J, et al. The measurement test of the barrel rifling based on the structured light[J]. Opt. Precision Eng., 2017, 25(4): 1077-1085. (in Chinese)