单镜头大视场拼接成像方法及实现
  光学 精密工程  2018, Vol.26 Issue (6): 1346-1353   PDF    
单镜头大视场拼接成像方法及实现
张祥1,2, 高云国1, 薛向尧1, 王光1, 马亚坤1     
1. 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033;
2. 中国科学院大学, 北京 100049
摘要: 在远距离目标轨迹测量系统中,当前的长焦相机由于CCD尺寸限制一般视场角度较小,无法实现对目标的可靠捕获。在对比当前的几种大视场拼接成像方法后,针对远距离目标测量系统的要求提出了一种通过控制单个相机进行圆锥旋转来模拟4相机阵列实现大视场成像的方法。设计了实验样机对该方法进行验证。首先根据该成像方法设计了相机运动控制方案和相应的机械结构,然后设计了相机的触发控制以及图像数据的传输和处理流程,最后使用该样机进行了实验。实验中样机经校准后采集到了相对位置正确的子视场图像,并拼接获得了大视场图像。使用视场角度为1.02°的小视角相机,实现了4个有一定程度重合的子视场2×2拼接,最终获得了1.93°的大视角。该方法为远距离目标测量系统中的目标捕获子系统设计提供了新思路。
关键词: 光电成像      目标捕获      视场拼接      圆锥旋转     
Large field-of-view stitching with a single lens and its implementation
ZHANG Xiang1,2 , GAO Yun-guo1 , XUE Xiang-yao1 , WANG Guang1 , MA Ya-kun1     
1. Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China
*Corresponding author: GAO Yun-guo, E-mail:gaoyunguo@163.com
Abstract: In a remote target trajectory measurement system, the currently utilized telephoto cameras tend to have too small of a viewing angle to realize stable image capture of remote targets due to limitations of the CCD size. We aim to address the demands of such a system using a large Field-of-V iew (FoV) image collection method that uses a single camera to simulate a 4-camera array by performing a cone rotation. This approach was presented on the basis of a comparison with the current large field-of-view stitching methods. A prototype for testing was designed to verify the method. The camera motion control scheme and the corresponding mechanical structure were designed according to the image collection method. Then the camera trigger control and the image data transmission and processing flow were designed. Finally, an experiment with the prototype was performed. In the experiment, the prototype collected correct relative position sub-images after calibration and stitched them into a large FoV image. field stitching was realized using 4 sub-FoVs that were overlapped with each other to some degree. Finally, a large angle of view of 1.93° was obtained when using a camera with a small angle-of-view of only 1.02°. The proposed method provides a new idea for the design of the target capture sub-systems for a remote target measurement system.
Key words: photoelectronic imaging     target capture     field-of-view stitching     cone rotation    
1 引言

在对远距离目标进行捕获跟踪时,首要任务是完成对目标的捕获,然后进一步实现对目标的稳定跟踪。目前,目标捕获的一般方法是首先使用雷达对目标进行大范围搜索,发现目标后再根据雷达测量得出的目标坐标数据使用光学成像系统对其进行捕获成像[1-2]。然而,由于雷达提供的目标坐标精度较低,而限于成像器件的发展长焦相机视场角度通常较小,在实际应用中由于相机视场无法完全覆盖目标范围,因此无法满足捕获需求[3],从而需要增大长焦相机的视场。

一些相机将多个成像器件在焦平面进行拼接来弥补单个成像器件尺寸小的不足,如天文望远镜MOA-Cam3使用的数字相机在焦平面使用了10块CCD组成2×5阵列进行拼接[4]。由于普通的CCD靶面四周封装了信号传输引脚,直接将其进行拼接时会导致CCD之间存在较大的非光敏面,造成最终图像中存在很大的盲区。为了解决这个问题,该数字相机采用了专门定制的CCD,通过将信号传输引脚设计在一侧使得其他三个侧面作为拼接侧,最终其CCD之间的非光敏缝隙控制在1.5 mm。然而这种大视场成像方法需要专门定制成像器件,并对成像器件进行高精度拼接,技术实现难度很高。文献[5]介绍了一种在镜头后视场中安装半反半透镜实现多个普通成像器件拼接的方法[5]。但这种方法的光能量利用率只有50%,由于远距离目标信号弱,因此这种方法不适用于该应用领域[6]。此外,采用多块成像器件拼接时需要设计相应的大视场长焦镜头,此时视场边缘不可避免地存在严重的畸变,因此需要设计复杂的矫正透镜,镜头的设计加工难度很高[7-8]

另一种实现大视场成像的方法是使用多个相机形成相机阵列进行成像[9-10]。这种方法将多个相机控制其光轴指向形成一定夹角进行固定,相比于上述多块成像器件拼接的方法,该方法技术实现简单,只需要在现有相机的基础上设计相应的支撑结构。但多相机阵列成像系统体积和重量大[11-12],由于在对目标进行捕获时需要将相机安装于跟踪转台上,而跟踪转台的体积和成本随载荷的增大而指数级快速增加,而且多个长焦相机的使用增加了成像系统的成本,因此使用这种方法时目标捕获系统的整体成本很高[13-14]

本文提出一种大视场拼接成像方法,通过控制长焦相机进行圆锥旋转变换位姿模拟多相机阵列实现大视场区域成像。该方法能够以一定帧频对大视场区域进行连续成像,满足对远距离暗弱目标进行捕获成像的需要。

2 系统工作原理

图 1所示,本文提出的视场拼接系统使用单个相机,通过控制相机做圆锥旋转来变换位姿,当相机对应一定的视场区域时触发曝光,如图 1所示,在每个运动周期中相机曝光获得4幅有一定重叠的子图像,然后将子图像拼接成为整幅大视场图像。通过连续控制相机圆锥旋转对视场进行连续扫描,实现对目标的捕获。图中a点为相机运动过程中视轴的交点,视场中的圆为相机旋转时视轴在视场中的轨迹。

图 1 大视场成像方法原理图 Fig.1 Schematic diagram of large field-of-view image collecting method

图 1所示的系统中相机处于a点右侧,此时相机进行圆锥旋转时所需的运动空间较大。如图 2所示,由于使用了单个相机,不会像左图所示相机阵列一样发生相互干涉,因此通过改变圆锥旋转中心a点相对于相机的位置,可以减小相机运动空间,从而有利于系统整体体积的减小。

图 2 相机圆锥旋转运动示意图 Fig.2 Sketch of camera in cone rotation

图 3展示出相机旋转时的成像关系。图中a点为相机进行圆锥旋转视轴交点,α为相机视场角,θ为视轴圆锥旋转顶角,η为系统总视场角。假设相机焦距为f,像元大小为u,分辨率为m×n,对应视场重合量为x, y,得系统总分辨率为(2m-x)×(2n-y)。可得:

图 3 相机圆锥旋转时成像关系示意图 Fig.3 Schematic of imaging relationship with camera in cone rotation
(1)

图中相机视场重叠角为γ,相机在两个极端位置时投影点之间的距离为v,相机视场在距离s处开始重合,即系统没有视场盲区,可得:

(2)

由于该系统对远距离目标进行成像,在实际应用中目标距离远大于s,因此在目标视场处可以获得完整的图像。

3 实验样机结构设计 3.1 相机圆锥旋转运动控制

为了实现相机的圆锥旋转,设计了使用球形铰链控制相机运动。如图 4所示,相机固定在支撑架上,支撑架左右两侧以球形铰链夹持,其中左侧铰链固定连接于基座上,并且球铰中心处于旋转轴线上,右侧铰链中心偏离旋转轴线一定距离,这样通过在右侧回转副施加旋转动力就可以控制相机进行连续圆锥旋转。

图 4 相机圆锥旋转运动控制机构简图 Fig.4 Sketch of motion control mechanics for camera cone rotation

在样机中以球关节轴承作为球形铰链用于夹持相机支撑架。图 5所示为球关节轴承的结构简图,通过设计轴承外圈内表面为球面实现了万向旋转。其中图 5(a)所示结构以两排滚珠实现了轴承内、外环的刚性连接,相比图 5(b)所示结构的面面接触,大幅度降低了运动摩擦阻力矩,使万向轴系的回转更加灵活,有利于保证相机运动的稳定性和运动精度,因此样机采用了图 5(a)所示的球关节轴承[7]

图 5 关节轴承 Fig.5 Knuckle bearings

样机结构如图 6所示。左侧球关节轴承安装在固定连接于样机基座的轴承座内,右侧球关节轴承安装在固定连接于驱动轴上的轴承座内,两个球关节轴承夹持相机支撑架,相机固定于支撑架上,驱动轴用两个并列的深沟球轴承夹持,通过电机向驱动轴施加驱动力矩控制相机旋转。相机圆锥旋转的轴线为系统轴线,两个球关节轴承外圈和驱动轴的轴线均平行于系统轴线,其中左侧球关节轴承外圈和驱动轴的轴线与系统轴线重合,右侧球关节轴承外圈的轴线与系统轴线错开偏心距e。这样在驱动轴带动右侧球关节轴承的轴承座旋转时,支撑架就会带动相机以左侧球关节轴承的中心为顶点做圆锥旋转。控制相机视轴通过两球关节轴承中心点,可得左侧球关节轴承的中心点即为相机进行圆锥旋转的顶点,两轴承中心点的连线即为相机进行圆锥旋转的母线。图中两关节轴承中心点在系统轴线上的投影距离为l,假设相机圆锥旋转的顶角为θ,可得:

图 6 相机旋转运动控制机构样机设计示意图 Fig.6 Prototype of camera cone rotation motion control mechanics
(3)

图 6所示的机构中, 支撑架绕相机视轴的自由度没有得到约束,系统运转过程中相机可能绕自身轴线发生旋转晃动,导致相机在曝光时对应的视场发生偏转,出现图 7所示现象,导致图像无法拼接。

图 7 相机绕自身轴线晃动导致的视场偏转示意图 Fig.7 Sketch of deflecting FoV owing to camera deviation around its own axis

为了约束相机绕自身轴线方向的自由度,设计了球杆与卡槽结构。如图 8所示,球杆固定连接于相机支撑架上,球杆的球部分夹持于卡槽中。为了避免干涉,设计球杆球部分的球心和左关节轴承中心点(a点)的连线垂直于相机的视轴。在系统运转时,球杆的球部分相对卡槽会有轻微的滑动和旋转,而卡槽约束了球上下运动的自由度,从而约束了相机绕自身轴线方向的自由度。然而在实际运行时,球杆的球部分相对于卡槽仍可能存在一定程度的跳动,导致相机所采集的各子图像存在轻微的旋转。如图 9所示,假设在xOy平面内球杆球部分的中心点b的最大跳动误差为δb点离yOz平面的距离为h,则b点跳动导致相机绕其视轴旋转的最大角度ε为:

图 8 球杆与卡槽 Fig.8 Ball-rod and clap-slot

图 9 系统运转时球杆球部分中心点跳动误差 Fig.9 Run-out error of centroid of ball part
(4)

而相邻子图像的最大相对偏转角度为2·ε。由公式(4)可知,减小b点的跳动和增大b点离yOz平面的距离h可以减小相机绕其视轴的旋转晃动。然而由于增大h会导致系统x方向上的体积增大,因此应通过减小δ来减小其晃动误差。在实际操作中可以通过适当增加球杆球部分与卡槽配合的过盈量来实现。

3.2 相机圆锥旋转顶角调节结构设计

对于本文所提出的成像系统,为了校准相邻子视场的重合量,相机圆锥旋转的顶角要可调。设计了偏心距调节机构调整相机圆锥旋转角度,如图 10所示,在右侧关节轴承座上设计了微调旋钮,微调旋钮通过细螺纹与驱动轴连接,底端通过卡槽与右侧轴承座连接,通过旋转微调旋钮控制轴承座相对于驱动轴的位置,从而对系统的偏心距进行调节。

图 10 偏心距调节机构 Fig.10 Eccentricity adjusting mechanics
3.3 运转机构平衡分析

在上述结构设计中旋转结构包括驱动轴和右侧轴承座、支撑架和相机,由于其总体旋转质心不在系统轴线上,因此旋转时会带来较大的离心力,影响系统的稳定运转。图 11所示为该系统旋转结构质量分布简图,图中m1为相机和支撑架的质量,m2为右侧轴承、轴承座以及旋转轴的质量。由图可知,一方面相机和支撑架运动时的离心力在-y方向上,另一方面旋转轴本身、右侧轴承座以及轴承可能由于质心不在回转轴线上而产生离心力。加装配重块m3用来平衡m1m2运转导致的离心力。图中l为两关节轴承中心点在系统轴线上的投影距离,l1m1质心与圆锥旋转顶点的距离,l2m2质心与旋转中心的距离,l3m3质心与旋转中心的距离。由于相机与支撑架绕相机光轴的自由度被限制,因此在任意时刻两者处于平动状态,其回转半径为,可得:

图 11 旋转机构平衡分析 Fig.11 Balance analysis of rotation mechanics
(5)

为了减小m3的值,应将配重块放置于离回转轴线远的位置。如图 6所示,配重块添加的位置设计在驱动轴顶端。图 12所示为样机照片。

图 12 相机旋转运动控制机构样机照片 Fig.12 Photo of control mechanics prototype for camera cone rotation motion
4 实验过程及结果

该大视场成像系统在运转时控制相机以一定速度进行连续圆锥旋转,在每个运动周期中获得一帧完整的大视场图像。为了控制相机在特定角度处曝光,在图 6所示样机结构的驱动轴上安装了光电编码器。如图 13所示,DSP芯片控制电机旋转提供系统运转动力,并采集编码器信号来获得驱动轴的实时旋转位置,在转到特定角度时发出触发信号控制相机曝光。相机曝光后将图像数据传入电脑,同时DSP与电脑通信告知采集该帧子图像时相机对应的视场,保证子图像的正确拼接。

图 13 相机曝光控制流程 Fig.13 Flow chart of camera exposure control

为了方便对样机视场进行校准,在白色背景上打印黑色表格作为拍摄目标,作为校准时的参考。首先根据所采用相机的视场和预期总体视场计算得出相机曝光时对应的旋转角度,并转换为相应的旋转编码器码数写入DSP程序,控制DSP在相机运动到合适位置时输出触发信号。然后控制相机旋转,得到完整视场的图像后判断各子图像的重合量,并通过旋转微调旋钮对其进行调整。样机视场调节完毕后再将各子图像进行配准,其配准参数作为固定参数用于样机正常运转时图像的拼接。

实验采用焦距为300 mm的镜头,相机成像器件的分辨率为752×480,像元尺寸为6 μm,带入公式(1)可得相机的视场角为1.02°。通过对子视场进行调整在两个方向的重合量为85,50列像素,带入公式(1)可得此时圆锥旋转顶角θ为0.90°,系统总视场角η为1.93°。图 14(a)所示是系统在5 r/s时采集的子图像,图 14(b)是拼接后获得的大视场图像。

图 14 实验结果 Fig.14 Experimental results

图 14可知,样机通过控制相机进行圆锥旋转,在特定位置触发相机曝光模拟4相机阵列2×2拼接,获得了具有一定重合量且相对位置正确的子图像,并将各子图像拼接后输出大视场图像。

5 结论

本文提出了一种大视场拼接成像方法,该方法通过控制相机进行圆锥旋转实现位姿变换,以单个相机模拟4相机阵列实现对大视场区域的图像采集。所设计的样机使用视场角度为1.02°的相机实现4个有一定程度重合的子视场拼接,获得了1.93°的大视场。该大视场成像方法使用现有相机实现了对大视场区域的连续扫描成像,相对多相机阵列有体积小的优点,可以满足对远距离暗弱目标进行捕获的需要。

参考文献
[1]
杨威, 付耀文, 潘晓刚, 等. 弱目标检测前跟踪技术研究综述[J]. 电子学报, 2014, 42(9): 1786-1793.
YANG W, FU Y W, PAN X G, et al. Track-before-detect technique for dim targets:an overview[J]. Acta Electronica Sinica, 2014, 42(9): 1786-1793. (in Chinese)
[2]
王刚, 陈永光, 杨锁昌, 等. 采用图像块对比特性的红外弱小目标检测[J]. 光学 精密工程, 2015, 23(5): 1424-1433.
WANG G, CHEN Y G, YANG S CH, et al. Detection of infrared dim small target based on image patch contrast[J]. Opt. Precision Eng., 2015, 23(5): 1424-1433. (in Chinese)
[3]
吴兆平. 雷达微弱目标检测和跟踪方法研究[D]. 西安: 西安电子科技大学, 2012.
WU ZH P. Study on the Radar Dim Target Detection and Tracking[D]. Xi'an: Xi'dian University, 2012. (in Chinese) http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D216351
[4]
SAKO T, SEKIGUCHI T, SASAKI M, et al. MOA-cam3:a wide-field mosaic CCD camera for a gravitational microlensing survey in New Zealand[J]. Experimental Astronomy, 2008, 22(1-2): 51-66. DOI:10.1007/s10686-007-9082-5
[5]
方勇, 崔卫平, 马晓锋, 等. 单镜头多面阵CCD相机影像拼接算法[J]. 武汉大学学报(信息科学版), 2012, 37(8): 906-910.
FANG Y, CUI W P, MA X F, et al. Image stitching algorithm of digital camera with single field lens and multiple area CCD[J]. Geomatics and Information Science of Wuhan University:Information Sciences, 2012, 37(8): 906-910. (in Chinese)
[6]
胡海彦, 杨韫澜, 方勇, 等. DMZ内视场光学分割型航摄相机子影像高准确度几何拼接[J]. 光子学报, 2015, 44(4): 140-147.
HU H Y, YANG Y L, FANG Y, et al. High accuracy sub-images stitching for DMZ airborne camera in kind of optical FOV splitting[J]. Acta Photonica Sinica, 2015, 44(4): 140-147. (in Chinese)
[7]
兰海滨, 王平, 龙腾. 图像拼接中相机镜头非线性畸变的校正[J]. 光学 精密工程, 2009, 17(5): 1196-1202.
LAN H B, WANG P, LONG T. Nonlinear aberration correction of lens in image mosaic[J]. Opt. Precision Eng., 2009, 17(5): 1196-1202. (in Chinese)
[8]
杨秋慧, 玉昊昕, 李陶深, 等. 一种大视场镜头的畸变校正方法[J]. 计算机应用与软件, 2015, 32(09): 136-140.
YANG Q H, YU H X, LI T SH, et al. A distortion correction method for large field-of-view lens[J]. Computer Applications and Software, 2015, 32(09): 136-140. DOI:10.3969/j.issn.1000-386x.2015.09.033 (in Chinese)
[9]
POLLOCK D B, REARDON P J, ROGERS T E, et al. . Multilens array system and method: U. S. Patent 9182228[P]. 2015-11-10.
[10]
BRADY D J. Close-up imaging using microcamera arrays for focal plane synthesis[J]. Optical Engineering, 2011, 50: 033205-033205. DOI:10.1117/1.3554389
[11]
李斌, 吴建, 刘燕德, 等. 拼接镜主动共相实验研究[J]. 光子学报, 2018, 47(2): 0212003.
LI B, WU J, LIU Y D, et al. Co-phasing experiment of active optics for segmented mirror[J]. Acta Photonica Sinica, 2018, 47(2): 0212003. (in Chinese)
[12]
周程灏, 王治乐, 朱峰. 大口径光学合成孔径成像技术发展现状[J]. 中国光学, 2017, 10(1): 25-38.
ZHOU CH H, WANG ZH L, ZHU F. Review on optical synthetic aperture imaging technique[J]. Chinese Optics, 2017, 10(1): 25-38. (in Chinese)
[13]
王旻, 宋立维, 乔彦峰, 等. 外视场拼接测量技术及其实现[J]. 光学 精密工程, 2010, 18(9): 2069-2076.
WANG W, SONG L W, QIAO Y F, et al. External field stitching technology for high speed target measuring and its implementation[J]. Opt. Precision Eng., 2010, 18(9): 2069-2076. (in Chinese)
[14]
SAN X, QIAO Y, YU S, et al. . Optimization design and simulation analysis for the key components of 1 m aperture photoelectric theodolite[C]. International Symposium on Advanced Optical Manufacturing and Testing Technologies, International Society for Optics and Photonics, 2014: 92800K-92800K-13.