光学 精密工程  2018, Vol.26 Issue (11): 2854-2862   PDF    
共光轴实时彩色融合系统
何炳阳1, 张智诠1, 蒋晓瑜2, 金伟其3, 李强1     
1. 陆军装甲兵学院 兵器与控制系, 北京 100072;
2. 陆军装甲兵学院 信息工程系, 北京 100072;
3. 北京理工大学 光电学院 光电成像技术与系统教育部重点实验室, 北京 100081
摘要: 长波红外与可见光图像的自然感彩色融合有助于观察者快速感知环境和发现目标,而共光轴结构对于提高融合图像质量和简化配准算法具有独特的优势。为满足战场侦查、监视等需求,设计了一种基于TMS320DM642数字信号处理器和ATmega32单片机的共光轴实时彩色融合系统。融合系统的长波红外和可见光成像系统平行放置,利用分光镜和反射镜实现光路分离,通过视场匹配和光轴校准实现双波段视频图像完全配准。图像处理程序基于DSP/BIOS嵌入式操作系统开发,根据视频图像的特点,采用基于CbCr查找表的自然感彩色融合算法。针对硬件特点,对融合算法进行优化,使720 pixel×576 pixel的单帧图像融合时间为9.18 ms,满足25 frame/s的实时融合要求;融合图像呈现自然色彩,场景中的热目标易于辨识。文中对共光轴融合系统设计、实现过程中相关问题的研究具有参考借鉴价值。
关键词: 共光轴系统      彩色融合      CbCr查找表      视场匹配      光轴校准     
Real-time coaxial color fusion system
HE Bing-yang1 , ZHANG Zhi-quan1 , JIANG Xiao-yu2 , JIN Wei-qi3 , LI Qing1     
1. Department of Arms and Control, Academy of Armored Army Forces, Beijing 100072, China;
2. Department of Information Engineering, Army Academy of Armored Forces, Beijing 100072, China;
3. MOE Key Laboratory of Optoelectronic Imaging Technology and System, School of Optics and Photonics, Beijing Institute of Technology, Beijing 100081, China
*Corresponding author: ZHANG Zhi-quan, E-mail:zhangzhq123@sina.com
Abstract: Natural color fusion of long-wave infrared and visible images is helpful to observers for quick perception of the environment and discovery of targets. The coaxial optical structure enjoys the unique advantages in terms of improving the quality of the fused image and simplifying the registration algorithm. According to the requirements in battlefield detection, surveillance, and so on, a real-time coaxial color fusion system based on TMS320DM642 DSP and ATmega32 MCU was designed in the present work. In the fusion system, the long-wave infrared imaging system is combined in parallel with the visible imaging system. The optical path was separated by a beam splitter and a mirror. The dual-band images were absolutely registered using field-of-view matching and optical-axis calibration. The image processing program was developed based on a DSP/BIOS embedded operating system. A natural color fusion algorithm based on a CbCr look-up table was adopted according to the features of the video image. The fusion algorithm was optimized according to the hardware features. The fusion time of a single-frame image with resolution of 720 pixel×576 pixel is 9.18 ms, which satisfies the real-time fusion requirements of 25 frames per second. The fusion image exhibits a natural color, and the hot targets in the scene can be readily identified. The research on related problems presented in this paper can provide references to the design and implementation of a coaxial image fusion system.
Key words: coaxial system     color fusion     CbCr look-up table     FOV matching     optical axis calibration    
1 引言

作为信息融合在图像领域的应用,图像融合借助图像处理技术提取、综合不同源图像的互补信息,进而获得更适合于人眼感知的合成图像,已被广泛应用于军用和民用各领域。在战场侦查、监视等方面,长波红外和可见光图像的融合能够充分发挥各波段的优势,融合图像不仅细节丰富、符合人眼观察习惯,而且具有较好的热目标指示特性,便于快速发现和识别目标。相比于灰度融合,长波红外和可见光图像彩色融合利用人眼视觉对色彩敏感的特点,用颜色分割场景,用色差增强图像细节,能够进一步提高观察者对战场环境的快速理解和感知能力,受到各国军方的重视。

早期的彩色融合算法[1-3]将灰度源图像处理后分别映射至RGB三通道,得到的伪彩色图像虽然能够有效突出目标显示,但色彩极不自然,长时间观察可能引起观察者视觉疲劳甚至产生错觉。对此,Toet先后提出了基于色彩传递[4]、基于颜色查找表[5]的自然感彩色融合算法,由于框架简单、实际融合效果优良,这两种算法已成为当前彩色融合系统主要采用的融合算法[6-11]。两种算法的共同点是需要借助彩色参考图像传递典型环境的颜色特征。色彩传递法的参考图像选取条件较为宽松,但较大的融合运算量以及难以保持融合场景颜色恒常性问题影响了算法在动态场景下的融合效果。相比之下,查找表法对参考图像的选取较为严格,算法运算量集中在颜色查找表的构建过程中,查找表一旦建立,融合过程仅涉及查表操作,因此算法实时性极佳,景物颜色可保持恒常。

目前,红外和可见光图像融合系统硬件结构主要采用平行光轴和共光轴两种方案,二者各有优缺点。平行光轴方案公认的优点是体积小、重量轻,但难点是校正近距离观察时的视差。利用测距装置辅助校正视差[12]会增加系统的体积与重量;单纯采用校正算法则会增加融合的计算成本[13-15],影响系统的实时性。尤其随着观察距离不断减小,视差不再是简单的线性位移关系,对校正算法的要求更高。共光轴方案由于增加了分光系统,导致入射光能量损失、系统体积及重量增加,但不存在视差,大大降低了图像配准的难度,提高了配准精度,进而能够提升融合质量和算法实时性。

本文根据侦查、监视等方面的需求,设计了基于TMS320DM642数字信号处理器和ATmega32单片机的彩色图像融合系统。为提高融合质量、降低单帧图像融合时间,系统采用共光轴结构方案,分光光路选用高反射可见光与高透射长波红外分光镜以减小入射光能量损失;根据融合系统视频信号的特点和实时性要求,采用基于CbCr查找表的自然感彩色融合算法[16],实现了长波红外灰度图像和可见光灰度图像的实时自然彩色融合。

2 系统构成及其工作原理 2.1 硬件设计

共光轴融合系统实物如图 1所示,结构框图如图 2所示,由分光模块、长波红外热成像系统、可见光成像系统、图像处理模块(ICETEK-DM642-BR DSP开发板)、系统控制模块(以ATmega32单片机为核心)、录像板、LCD显示屏等几部分组成。

图 1 共光轴融合系统 Fig.1 Coaxial image fusion system

图 2 共光轴融合系统结构框图 Fig.2 Framework of coaxial image fusion system

分光模块由两块相同材料(锗基底镀长波红外增透膜和可见光增反膜)的定制分光镜组成,对0.4~0.7 μm可见光的反射率>92%,对8~12 μm长波红外的透射率>95%。两块分光镜分别与红外和可见光成像系统的光轴呈45°放置,通过镜框底端和顶端的调节螺丝可以实现分光镜俯仰和偏转微调。长波红外热成像系统采用640×480像元非制冷红外焦平面探测器,焦距100 mm,视场6.2×4.7°,可见光成像系统采用460线防抖变焦黑白摄像机,焦距3.5~91 mm,水平视场42~1.6°,两系统平行放置,均输出PAL制模拟信号。图像处理模块通过TVP5150A解码芯片分别将长波红外和可见光图像模拟信号解码为4:2:2的YCbCr数字视频流(720 pixel×576 pixel),通过EDMA传输到SDRAM中存储,经彩色融合处理后,由SAA7121编码芯片转换为PAL制模拟信号并在LCD屏上显示。录像板可采集720 pixel×576 pixel图像(拍照)或720 pixel×576 pixe/25 frame/s l视频(录像)。系统控制模块接收按键指令并通过UART端口与其他设备通信,完成成像系统控制、图像融合控制、拍照录像控制等功能。

2.2 软件设计

ATmega32单片机开发环境为ICC AVR 6.31和AVR Studio 4.16,程序通过检测不同按键的电平信号,向所有设备广播包含接收地址的操作指令,各设备通过指令地址判断执行操作或忽略指令。

DSP开发环境为CCStudio V3.3,程序基于DSP/BIOS嵌入式操作系统开发,可根据需要加载相关硬件驱动并编写线程实现相应功能,线程调度由DSP/BIOS负责,大大降低了开发难度,缩短了开发周期。文中图像处理程序包含初始化代码(main函数)和一个任务线程(tskVideoLoopback函数),任务线程主要包括接收指令,读取指令内容,并根据指令完成红外图像显示、可见光图像显示或融合图像显示等任务,流程如图 3所示。对于红外和可见光图像的显示,程序直接将输入缓冲区内的视频数据按行读取至输出缓冲区;对于融合图像显示任务,程序首先将输入缓冲区内的视频数据按行读取至缓存数组(容量一行)进行彩色融合,随后将处理后的一行视频数据传输至输出缓冲区直至一帧图像处理完毕。

图 3 任务线程 Fig.3 Task thread
3 视场匹配和光轴校准

为了使不同距离场景的双波段视频图像完全配准,需要保证可见光和红外成像系统的视场匹配、光轴一致。鉴于透镜变焦过程可能引起光轴偏移,因此首先确定视场匹配时可见光成像系统的最佳变焦位置。然后,安装分光模块并借助反射式平行光管校准融合系统的光轴。

3.1 视场匹配

采用图 4所示的特制双波段靶标测定可见光系统的最佳变焦位置,靶标底层为黑色铁板,顶层为薄纸板并粘贴网格,图中黑色部分是将纸板按网格尺寸抠除后露出的下层铁板。

图 4 双波段靶标 Fig.4 Dual band target

首先采集热成像系统的靶标图像,将靶标置于系统正前方5 m处与成像系统镜头中心等高位置,加热靶标、手动对焦并微调系统支架使瞄准十字对准靶标中心,如图 5(a)所示,此时关闭十字并采集红外图像,如图 5(b)所示。

图 5 靶标的长波红外图像 Fig.5 Long wave infrared images of target

然后切换至可见光通道,平移靶标至可见光成像系统正前方5 m处,对可见光系统手动变焦,通过人眼观察靶标的可见光图像确定与热成像系统视场大致匹配的变焦范围,通过指令查询并记录该范围起止点的具体变焦位置(起点:0x2FA0,终点:0x3020),依照红外图像采集方法依次采集变焦范围内9个变焦位置(0x2FA0,0x2FB0,…,0x3020)的可见光图像,如图 6所示。

图 6 不同变焦位置处靶标的可见光图像 Fig.6 Visible images of target at different zoom positions

由于可见光和热成像系统的瞄准十字处于视场中心位置,故以图像中心为基点,不同变焦位置的可见光图像相对于红外图像存在水平和垂直缩放。采用基于最大互信息的图像配准算法[17],步骤如图 7所示,分别计算9个变焦位置的可见光图像的水平和垂直缩放率,结果如表 1,缩放精度为0.001×720 pixel=0.72 pixel。考虑到图像融合程序按行处理图像数据,结合表 1可知,当变焦位置为0x2FF0时,垂直方向无需缩放,水平方向的缩放率为1.067,故0x2FF0为可见光成像系统的最佳变焦位置。

图 7 缩放率计算流程 Fig.7 Flowchart of zoom rate calculation

表 1 可见光图像相对于红外图像的缩放率 Tab. 1 Zoom rate of visible images relative to the infrared image
3.2 光轴校准

安装分光模块,将融合系统置于二自由度云台上保持水平,如图 8(a)所示,首先切换至热成像通道并开启瞄准十字,调整云台支架高度并沿着与平行光管光轴垂直的方向移动云台,使瞄准十字对准红外靶板十字,如图 8(c)所示,此时热成像系统光轴与平行光管光轴重合。然后利用可见光光源照射靶板,将系统切换至可见光通道并开启瞄准十字,如图 8(d)所示。微调反射镜俯仰,使瞄准十字与靶板十字同高;微调反射镜偏转,使瞄准十字与靶板十字对准,如图 8(e)所示,此时可见光系统光轴与热成像系统光轴重合。

图 8 光轴校准实验 Fig.8 Optical axis calibration experiment
4 自然感彩色融合算法

根据视频图像的特点,采用基于CbCr查找表的自然感彩色融合算法[16],算法主要分为颜色查找表构建和实时彩色融合两步,融合原理如图 9所示。

图 9 彩色融合原理图 Fig.9 Block diagram of color fusion
4.1 构建CbCr颜色查找表

采集所处环境中的一个或几个具有代表性场景(包含环境中的典型对象)的红外和可见光灰度图像以及昼间彩色图像作为训练样本,按照不同波段图像中像素位置的对应关系,采用BP神经网络(MATLAB神经网络非线性拟合工具)对所选训练样本的二维灰度向量(YIRYVIS)和二维色度向量(CbCr)进行非线性拟合,确定最佳映射f(YIRYVIS)→(CbCr)。然后以YIRYVIS作为横、纵坐标,利用映射f和输入值(YIRYVIS)构建完整的二维颜色查找表TCLUT,(CbCr)=TCLUT(YIRYVIS)=f(YIRYVIS),其中YIRYVIS=0,1,…,255,共计256×256个(CbCr)索引值。

4.2 实时彩色融合

通过样本训练得到的CbCr查找表存储于系统内存中,图像融合时,对输入的双波段灰度图像的亮度(YIRYVIS)分别进行色彩映射和灰度融合得到彩色融合图像的三通道信息(YFCbCr)。

色彩映射通过查表的方式实现,如图 10所示,对于4:2:2的YCbCr数字图像,每一行偶数位置像素点共用相邻奇数位置像素点的Cb和Cr色度值,故每帧图像存储720×576个Y值、360×576个Cb值和360×576个Cr值。根据双波段传感器在同一行奇数像素位置处输出的灰度值组合(YIRYVIS)索引颜色查找表,索引值(CbCr)即为彩色融合图像对应位置像素点的Cb和Cr色度值。对所有位置像素索引后得到融合图像的Cb和Cr色度通道信息。

图 10 色彩映射原理图 Fig.10 Block diagram of color mapping

考虑到系统片上资源情况和算法实时性要求,采用加权平均融合作为灰度融合算法,如式(2)所示,设置ωIR=0.375,ωVIS=0.625,使灰度融合图像尽可能符合人眼观察习惯的同时借助红外图像提高整体亮度,并突出热目标显示。该算法原理简单,实时性极佳,能够在一定程度上提高图像的信噪比。

(2)
5 算法实现和融合实验 5.1 算法优化实现

彩色融合算法实现时,主要完成以下三步操作:

(1) 开设数组table[256][256][2]存放颜色查找表。开设缓存数组tempY[720]和tempY1[720],分别存放从两个输入缓冲区读入的1行长波红外图像和1行可见光图像。

(2) 对tempY1中存放的1行可见光图像,以行中心(坐标359.5)为原点水平放大1.067倍,并将结果存放于新开设的缓存数组tempY2[720]中。

(3) 利用数组tempY和tempY2对应奇数位置处的像素值索引颜色查找表,并将结果存放于新开设的缓存数组tempCb[360]和tempCr[360]中;对数组tempY和tempY2对应位置像素进行加权平均融合,并将结果存放于数组tempY1中。将数组tempY1、tempCb、tempCr中的数据拷贝至输出缓冲区。

为了达到实时性要求,从以下几方面对融合算法进行了优化:利用增强型直接存储器访问(EDMA)实现输入、输出缓冲区和缓存数组间的数据搬运;采用邻近差值算法将水平放大后的像素位置事先计算出来存储于表格tableZoom[720]中,程序运行时利用表格tableZoom间接寻址完成放大操作;将数组tempY、tempY1、tempY2、tempCb、tempCr、tableZoom设置为片内存储,加速数据处理速度;利用位操作和加法操作替代加权平均融合算法中的乘、除操作。

由于图像数据量较大,经上述优化后,借助仿真器,利用DSP片上定时器计时[18]得到的单帧图像融合时间为71.81 ms,仍未达到实时性要求。考虑到融合算法的主体是循环操作,故在编译时,采用O2优化等级,开启软件流水实现指令并行执行,最终使单帧图像融合时间降至9.18 ms,满足了25 frame/s的实时融合要求。

5.2 彩色融合实验

我们在校园环境中进行融合实验,通过观察发现,环境中的典型对象包括房屋、道路、植物等,因此采集图 11所示的同一场景的长波红外灰度图像、可见光灰度图像和昼间彩色图像作为训练样本,其中图 11(a)11(b)为融合系统在夜间拍摄,图 11(c)为相机在白天同一位置拍摄,并通过手动缩放、裁剪使其和融合系统拍摄的图像完全配准。采用该组图像样本(共计720×576=414 720组样本数据)按照4.1节步骤构建的CbCr查找表如图 12所示。将查找表数据拷贝至数组table[256][256][2]中,并重新烧写程序至DM642芯片。

图 11 训练样本 Fig.11 Training samples

图 12 由样本构建的CbCr查找表 Fig.12 CbCr look-up table constructed by samples

使用该查找表,彩色融合系统在夜间同一环境中的融合结果如图 13所示。从图中可知,融合图像呈现自然色彩,场景中的热目标易于辨识。图中部分景物的颜色出现偏差,但整体颜色映射基本正确,自然彩色融合图像更利于情景感知和目标识别。

图 13 彩色融合结果 Fig.13 Color fusion results
6 结论

文中针对侦查、监视等方面的需求,设计了基于TMS320DM642数字信号处理器和ATmega32单片机的共光轴彩色融合系统,采用基于CbCr查找表的双波段图像彩色融合算法,实现了长波红外灰度图像和可见光灰度图像的自然彩色融合。通过算法优化,最终得到720 pixel×576 pixel大小的单帧图像融合时间为9.18 ms,满足25 frame/s的实时融合要求。实验结果表明,融合图像兼具自然的色彩和良好的(热)目标特性,因而更利于情景感知和目标识别。文中因系统片上资源限制和算法实时性要求,采用了加权平均灰度融合算法,对此,下一步研究的重点是寻找实时性和融合效果更佳的灰度融合算法。

参考文献
[1]
MCDANIEL R V, SCRIBNER D A, WARREN P R.Image fusion for tactical applications[C].Infrared Technology and Applications ⅩⅩⅣ. International Society for Optics and Photonics, 1998: 685-695. https://www.researchgate.net/publication/2510884_Image_Fusion_for_Tactical_Applications
[2]
TOET A, WALRAVEN J. New false color mapping for image fusion[J]. Optical Engineering, 1996, 35(3): 650-658. DOI:10.1117/1.600657
[3]
WAXMAN A M, GOVE A N, FAY D A, et al. Color night vision:opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.
[4]
TOET A. Natural colour mapping for multiband nightvision imagery[J]. Information Fusion, 2003, 4(3): 155-166. DOI:10.1016/S1566-2535(03)00038-1
[5]
HOGERVORST M A, TOET A.Method for applying daytime colors to nighttime imagery in realtime[C].Multisensor, Multisource Information Fusion: Architectures, Algorithms, and Applications 2008. International Society for Optics and Photonics, 2008: 697403. https://www.researchgate.net/publication/224883232_Method_for_applying_daytime_colors_to_nighttime_imagery_in_realtime
[6]
朱进, 李力, 金伟其, 等. 低照度夜视成像的自然感彩色化及增强方法[J]. 光子学报, 2018, 47(4): 165-174.
ZHU J, LI L, JIN W Q, et al. Natural-appearance colorization and enhancement for the low-light-level night vision imaging[J]. Acta Photonica Sinica, 2018, 47(4): 165-174. (in Chinese)
[7]
HOGERVORST M A, TOET A. Improved color mapping methods for multiband nighttime image fusion[J]. Journal of Imaging, 2017, 3(36): 1-25.
[8]
刘佳妮, 金伟其, 李力, 等. 自适应参考图像的可见光与热红外彩色图像融合算法[J]. 光谱学与光谱分析, 2016, 36(12): 3907-3914.
LIU J N, JIN W Q, LI L, et al. Visible and infrared thermal image fusion algorithm based on self-adaptive reference image[J]. Spectroscopy and Spectral Analysis, 2016, 36(12): 3907-3914. (in Chinese)
[9]
李成立, 石俊生, 魏利, 等. 基于颜色传递和目标增强的夜视图像彩色融合[J]. 激光与红外, 2016, 46(5): 607-611.
LI CH L, SHI J SH, WEI L, et al. Color fusion of night vision image based on color transfer and target enhancement[J]. Laser & Infrared, 2016, 46(5): 607-611. DOI:10.3969/j.issn.1001-5078.2016.05.019 (in Chinese)
[10]
邓潺, 刘文, 黄彪, 等. 基于多核DSP的微光与红外图像彩色融合系统[J]. 红外与激光工程, 2014, 43(9): 3141-3145.
DENG C, LIU W, HUANG B, et al. Color fusion system of low-light level and infrared images based on multi-core DSP[J]. Infrared and Laser Engineering, 2014, 43(9): 3141-3145. DOI:10.3969/j.issn.1007-2276.2014.09.063 (in Chinese)
[11]
裴闯, 蒋晓瑜, 王加, 等. 自然彩色化双通道实时图像融合系统[J]. 光学 精密工程, 2013, 21(5): 1333-1339.
PEI CH, JIANG X Y, WANG J, et al. Dual-channel real-time image fusion system with nature color[J]. Opt. Precision Eng., 2013, 21(5): 1333-1339. (in Chinese)
[12]
王贵圆, 常本康, 富容国, 等. 分光轴式多源图像融合系统近距离配准方法研究[J]. 红外与激光工程, 2016, 45(11): 144-150.
WANG G Y, CHANG B K, FU R G, et al. Close range image registration of multi-source image fusion system with a separate optical axis structure[J]. Infrared and Laser Engineering, 2016, 45(11): 144-150. (in Chinese)
[13]
李英杰, 张俊举, 常本康, 等. 远距离多波段红外图像融合系统及配准方法[J]. 红外与激光工程, 2016, 45(5): 276-282.
LI Y J, ZHANG J J, CHANG B K, et al. Remote multiband infrared image fusion system and registration method[J]. Infrared and Laser Engineering, 2016, 45(5): 276-282. (in Chinese)
[14]
王晗, 魏明. 自适应特征点检测的可见-红外图像配准[J]. 中国图象图形学报, 2017, 22(2): 179-187.
WANG H, WEI M. CCD-IR image registration based on adaptive feature point detection[J]. Journal of Image and Graphics, 2017, 22(2): 179-187. (in Chinese)
[15]
徐军, 付天宇, 杨健, 等. 采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准[J]. 光学 精密工程, 2016, 24(11): 2830-2840.
XU J, FU T Y, YANG J, et al. Registration of infrared image and visible image based on saliency and EOH feature analysis[J]. Opt. Precision Eng., 2016, 24(11): 2830-2840. (in Chinese)
[16]
何炳阳, 张智诠, 李强, 等. 基于CbCr查找表的双波段图像彩色融合算法[J]. 光学学报, 2018, 38(1): 374-383.
HE B Y, ZHANG ZH Q, LI Q, et al. Color fusion algorithm of dual-band images based on CbCr look-up table[J]. Acta Optica Sinica, 2018, 38(1): 374-383. (in Chinese)
[17]
陈显毅. 图像配准技术及其MATLAB编程实现[M]. 北京: 电子工业出版社, 2009.
CHEN X Y. Image Registration Technology and Realization of MATLAB Programming[M]. Beijing: Publishing House of Electronics Industry, 2009. (in Chinese)
[18]
杨锋, 张俊举, 许辉, 等. 一种图像融合算法硬件实现[J]. 红外技术, 2013, 35(9): 541-545.
YANG F, ZHANG J J, XU H, et al. Hardware implementation of an image fusion method[J]. Infrared Technology, 2013, 35(9): 541-545. (in Chinese)