择及高频绝对值方差最大[ 11 ] (简记为Salience + Absvar) 、低频梯度能量最大及高频系数绝对值最大[3 ] (简记为Grad + Abs) 、低频邻域能量最大及高频系数绝对值最大[10 ] (简记为Nenergy + Abs) 、笔者提出的低频邻域能量方差决策值最大及高频邻域能量最大(简记为Nenergy &var + Nenergy) 等方法. 对于Rvar + Renergy 方法,考虑到图像大小和人眼视觉
特性,区域分块大小设置为4 ×4 ,对于Salience + Absvar 方法,依据文[ 11 ] ,阈值设为018. 图4 (a) ～ (f ) 分别给出了基于以上方法得到的时钟图像的融合结果图,图5 (a) ～ (f) 分别给出了基于以上方法得到的街道场景的融合结果图.
对于图4 中的多聚焦图像融合结果,笔者提出的方法及Grad + Abs 方法得到的融合图像具有更好的边缘保持效果. Salience + Absvar 、Nenergy + Abs 方法得到的融合图像整体偏亮,在图像的左边缘、钟表的边缘引入了轻微的虚亮线,且细化了钟表的数字边缘,数字内有轻微的亮影. Rvar + Renergy 方法得到的融合
图3 红外图像与可见光图像
图4 多聚焦时钟图像融合结果图
图像在右上方的钟表边界引入了轻微的虚影. Avg + Abs 方法得到的融合图像整体较暗,边缘也较为模糊.
对于图5 中的红外与可见光图像融合结果,笔者提出的方法、Nenergy + Abs 、Salience + Absvar 方法得到的融合图像均取得了较好的视觉效果. Grad + Abs、Rvar + Renergy 方法对噪声敏感,在图像的背景区引入了噪声. Avg + Abs 方法得到的融合图像整体亮度偏低,视觉效果偏差. 总体而言,笔者提出的方法在两种情况下均具有较好的边缘保持特性和亮度保持特性,适应性较好.
主观视觉感知给出直观对比,但容易受视觉心理因素的影响[ 4 ] ,特别是在融合结果相近的情况下,视觉上会难以判断. 此时,可以结合相关评价指标做定量分析,以准确评价融合结果. 边缘信息保持值Q[16 ] 能够反映融合得到的图像保留的边缘信息的多少. 信息熵
H[4 ] 衡量图像信息的整体丰富程度, 熵值的大小表示图像所包含的平均信息量的多少. 笔者采用边缘信息保持值Q 结合信息熵对融合算法的性能进行客观评价. 表1 和表2 分别
给出了多聚焦图像及红外与可见光图像在各种融合方法下得到的融合图像的评价指标值.
图5 红外与可见光图像融合结果图
Q值越大,边缘信息保持越好. 从表1 和表2 可以看出,笔者提出的方法得到的融合图像在两种情况下均具有最高的边缘信息保持值Q. 同时,也具有更好的熵值(对于红外与可见光图像融合的情况, Rvar +Renergy、Grad + Abs 方法因引入过多的噪声导致融合图像的熵值偏高) . Avg + Abs 方法由于同时损失了亮度及边缘信息,得到的融合图像通常具有最低的信息熵和边缘保持Q值.Salience + Absvar 及Nenergy +Abs 方法对于低亮度边缘保持较差. Rvar + Renergy 方法损失了亮度信息,且对噪声敏感,引入的人为噪声破坏了融合图像的边缘细节. Grad + Abs 方法在多聚焦图像融合时得到的图像边缘保持较好,但因为损失了亮度信息,整体信息量较低,且对噪声敏感,在红外与可见光图像融合时,引入了较多的人为噪声,破坏了图像的边缘细节. 定量分析的结果与视觉效果相一致,进一步说明了NSCT 算法的有效性.
4 总 结
通过仿真结果可以看出,采用NSCT 进行多传感器图像融合,考虑到融合因素相互作用的复杂性,改进了融合规则,可以进一步提高融合图像的主观效果和客观评价. 笔者提出的基于邻域特性的融合方法综合考虑了图像的亮度和边缘细节,且注意了系数选择的一致性,因此保留了更多的信息量和图像边缘信息,具有较好的视觉效果、客观评价及适应性. 当然,NSCT 还有许多问题有待进一步研究,特别是运算复杂性问题. 相信随着对NSCT 研究的不断深入,其会进一步显示在图像融合等图像处理领域的优势.
参考文献: [1 ] Hall D L , Linas J . An Int roduction to Multisensor Data Fusion [J ] . Proceedings of the IEEE , 1997 , 85 (10) : 6223.
[2 ] Toet A , Ruyven L V , Velaton J . Merging Thermal and Visual Images By a Cont rast Pyramid [J ] . Optical Engineering ,
1989 , 28 (7) : 7892792.
[3 ] 晁锐, 张科, 李言俊. 一种基于小波变换的图像融合算法[J ] . 电子学报, 2004 , 32 (5) : 7502753. Chao Rui , Zhang Ke , Li Yanjun. An Image Fusion Algorithm Using Wavelet Transform[J ] . Acta Elect ronica Sinica , 2004 , 32 (5) : 7502753.
[4 ] 杨晓慧, 金海燕, 焦李成. 基于DT2CWT 的红外与可见光图像自适应融合[J ] . 红外
与毫米波学报, 2007 , 26 (6) :
4192424.
Yang Xiaohui , J in Haiyan , Jiao Licheng. Adaptive Image Fusion Algorithm for Inf rared and Visible Light Images Based
on DT2CWT[J ] . J Inf rared Millim Waves , 2007 , 26 (6) : 4192424.
[5 ] 那彦, 杨万海, 史林. 基于成像机理的遥感图像融合[J ] . 西安电子科技大学学报, 2004 , 31 (4) : 6082610.
Na Yan , Yang Wanhai , Shi Lin. Remote Sensing Image Fusion Based on the Imaging Principle [J ] . Journal of Xidian University , 2004 , 31 (4) : 6082610.
[6 ] 焦李成, 谭山. 图像的多尺度几何分析回顾和展望[J ] . 电子学报, 2003 , 31 (12A) : 197521981.
J iao Licheng , Tan Shan. Development and Prospect of Image Multiscale Geomet ric Analysis[J ] . Acta Elect ronic Sinica ,
2003 , 31 (12A) : 197521981.
[7 ] Do M N , Vetterli M. The Coutourlet t ransform: an Efficient Directional Multiresolution Image Representation[J ] . IEEE
Trans on Image Processing , 2005 , 14 (12) : 209122106.
[8 ] 才溪, 赵巍. Contourlet 变换低通滤波器对图像融合算法影响的讨论[J ] . 自动化学报, 2009 , 35 (3) : 2582266.
Cai Xi , Zhao Wei. Discussion Upon Effect s of Contourlet Lowpass Filter on Contourlet2based Image Fusion Algorithms
[J ] . Acta Automatica Sinica , 2009 , 35 (3) : 2582266.
[9 ] 张强, 郭宝龙. 基于非采样Contourlet 变换多传感器图像融合算法[J ] . 自动化学报, 2008 , 34 (2) : 1352141.
Zhang Qiang , Guo Baolong. Fusion of Multi2sensor Images Based on the Nonsubsampled Contourlet Transform[J ] . Acta
Automatica Sinica , 2008 , 34 (2) : 1352141.
[10 ] 叶传奇, 苗启广, 王宝树. 基于非子采样Contourlet 变换的图像融合方法[J ] . 计算机辅助设计与图形学学报, 2007 , 19
(10) : 127421278.
Ye Chuanqi , Miao Qiguang , Wang Baoshu. Image Fusion Method Based on the Nonsubsampled Contourlet Transform
[J ] . Journal of Computer2Aided Design & Computer Graphics , 2007 , 19 (10) : 127421278.
[11 ] 叶传奇, 王宝树, 苗启广. 基于NSCT 变换的红外与可见光图像融合算法[J ] . 系统工程与电子技术, 2008 , 30 (4) :
5932596.
Ye Chuanqi , Wang Baoshu , Miao Qiguang. Fusion Algorithm of Inf rared and Visible Light Images Based on NSCT
Transform[J ] . Systems Engineering and Elect ronics , 2008 , 30 (4) : 5932596. [12 ] 张强, 郭宝龙. 一种基于Curvelet 变换多传感器图像融合算法[J ] . 光电子! 激光, 2006 , 17 (9) : 112321127.
Zhang Qiang , Guo Baolong. Fusion of Multisensor Images Based on the Curvelet
Transform [ J ] . Journal of
Optoelect ronics Laser , 2006 , 17 (9) : 112321127.
[13 ] 杨镠, 郭宝龙, 倪伟. 基于区域特性的Contourlet 域多聚焦图像融合算法[J ] . 西安交通大学学报, 2007 , 41 (4) : 4482452.
Yang Liu , Guo Baolong , Ni Wei. Multi2focus Image Fusion Algorithm Based on Region Statistics in Contourlet Domain
[J ] . Journal of Xipan Jiaotong University , 2007 , 41 (4) : 4482452.
[14 ] Burt P J , Kolczynski R J . Enhanced Image Capture through Fusion [ C]/ / Proceedings 4th International Conference on Computer Vision. Berlin : PICCV , 1993 : 1732182.
[ 15 ] Cunha A L , Zhou J , Do M N. The Nonsubsampled Contourlet Transform: Theory , Design , and Applications[J ] . IEEE
Trans on Image Processing , 2006 , 15 (10) : 308923101.
[16 ] Xydeas C S , Pet rovic V. Objective Image Fusion Performance Measure[J ] . Elect ronics Letters , 2000 , 36 (4) : 3082309.
相关推荐：
loading