王书朋，贺瑞，王瑜婧，赵瑶
（西安科技大学通信与信息工程学院，西安 710600）
由于现实场景和普通图像采集设备的动态范围不匹配，获取的图像不能准确地反映场景中的细节信息［1-2］，利用多曝光图像融合［3-4］能使一组包含不同程度细节信息的图像表现在一幅图像中。然而，实际场景大部分是动态的，所以摄像机捕获的多帧图像存在移动的物体，比如移动的行人、汽车等。融合图像出现透明的鬼影或产生模糊，严重影响了融合图像的质量并限制了许多融合算法的应用。
为解决动态场景下多曝光图像融合所产生鬼影的问题，GALLO等［5］利用随机样本一致性的异常点检测算法能够有效消除鬼影，但在融合图像中出现色彩失真和块效应的情况，LIU等［6］利用尺度不变特征变换进行多曝光图像融合，可以有效地保存输入图像的细节信息，但融合结果仍存在鬼影现象，PECE等［7］利用中值门限位图进行运动区域检测，随后HO等［8］提出了多级门限位图的运动区域检测算法，但是当图像含有大量的曝光像素时，采用中值门限位图或多级门限位图进行融合的结果存在鬼影、模糊和噪点现象。近年来，深度学习方法［4］被应用到HDR 图像去鬼影中，KALANTARI等［9］将CNN 合成引入多曝光图像融合中，在鬼影去除方面取得较好的效果，但是在光流法对齐的过程中容易引入伪影和畸变。WU等［10］提出一种ResNet 网络，可以将多幅LDR 图像转换为无鬼影HDR 图像。
为消除多曝光融合图像中因运动物体引入的鬼影现象，本文提出一种基于中值直方图均衡的动态场景多曝光图像融合算法。通过中值直方图均衡得到公共直方图，其对于两幅不同程度曝光的图像能够较好地调整亮度差异。对输入图像和参考图像进行中值直方图均衡处理能够得到亮度分布一致的图像对，通过对图像对做差分，根据差分图进行阈值分割和形态学优化得到运动权重图，以准确地检测运动区域。
在多个曝光图像序列中选取过曝光和欠曝光像素最少的图像作为参考图像Iref，以其他图像作为输入图像Ii(1 ≤i≤N-1)。为了检测多个曝光图像序列中的动态区域，需要比较输入图像与参考图像的差别。由于输入图像和参考图像的亮度显著不同，因此无法直接比较两者的内容是否相同。为解决上述问题，一种直观的方法是通过直方图匹配［11］调整输入图像的亮度分布，令其与参考图像的亮度分布大致相同。输入图像经过校正后，其亮度与参考图像相似，通过计算两者之间的差分图来检测运动区域。
表示经过直方图匹配后的输入图像，因此将直方图处理后的输入图像和参考图像相减得到差分图定义为：
中值图像均衡（MIE）运动区域检测流程如图1所示。
图1 直方图处理后的运动区域检测结果Fig.1 Motion region detection results after histogram processing
当输入图像存在大量的曝光像素时，直方图匹配后的输入图像和参考图像整体亮度差异较大，由差分图无法区分输入图像的运动区域与静态区域（见图1（c）和图1（f））。针对这一问题，本文提出了中值直方图均衡的图像运动区域检测算法。中值直方图均衡算法是DELON等［12］在2004 年提出的，该直方图处理算法可以描述为将两幅图像的直方图调整为其调和平均数，在保持图像原有灰度动态的前提下得到直方图分布相同的两幅图像。因此，通过中值直方图均衡算法处理输入图像与参考图像的直方图，得到曝光基本一致图像对，如图1（d）、图1（e）所示。通过计算中值直方图均衡处理后的图像对的差分图达到运动区域检测的目的，再将得到的差分图优化处理得到最终的运动目标。
MIE 运动区域检测流程如图2 所示。
图2 MIE 运动区域检测流程Fig.2 Procedure of MIE motion region detection
输入图像和参考图像中值直方图均衡的计算过程为：
其中：MMIE(·，·)表示中值直方图均衡处理过程；
和为处理后的输入图像和参考图像，如图1（d）、图1（e）所示。将每组曝光基本一致图像对做差分：
其中：⊙为腐蚀操作；
B1为3×3 的滤波器；
⊕为膨胀操作；
B2是9×9 的滤波器；
是优化后的运动权重图。图3（a）、图3（b）分别给出了直方图匹配和中值直方图均衡算法得到的运动权重图，可以看出后者检测到的运动区域更准确。
图3 运动权重图Fig.3 Motion weight map
为了得到亮度连续的静态输入图像，本文利用亮度映射函数处理参考图像。根据运动权重图将处理后的参考图像和输入图像进行加权求和，获得同参考图像运动内容相同的静态图像序列。生成静态多曝光图像流程如图4 所示。
图4 静态多曝光图像流程Fig.4 Procedure of static multi-exposure images
由于输入图像与参考图像亮度差异大，将输入图像的运动区域直接替换为参考图像对应的区域会出现图像亮度不连续的情况。为了得到一组自然的静态图像序列，引入IMF［14］处理参考图像，得到与参考图像内容一致且与其余输入图像亮度分布相同的图像序列
其中：IIMF(·)表示亮度映射函数；
Ii为输入图像；
Iref为参考图像。
将输入图像序列Ii与经过亮度映射函数处理的参考图像加权求和，便可得到结构与亮度一致的静态图像序列：
针对获得的静态图像序列融合，本文使用MA等［15］提出的一种结构块分解方法。首先利用滑动窗口技术在图像中获取大小相等的图像块，并将得到的图像块xk分解为信号强度ck、图像结构sk和平均亮度lk3 个独立分量［16］。
其中：表示强度分量的融合结果，图像结构分量表征了静态副本的细节信息。为保留源图像的细节信息，对比不同输入图像的图像块中细节信息的丰富程度，对于包含丰富细节信息的图像块给予较大的权值。图像结构分量的融合规则如式（10）、式（11）所示：
其中：为融合后的结构分量；
S(·)为结构分量的权重函数；
p≥0 代表一个指数参数，p越大，说明强度越强的图像块权值越大。平均亮度分量设计加权求和融合规则如式（12）、式（13）所示：
其中：^是融合后的亮度分量；
L(μk，lk)是二维高斯函数构建的亮度分量权重；
μk和lk分别表示全局和局部平均亮度；
σg和σl表示标准差。x^ 融合图像可由融合后3 个分量重构：
对同一场景下曝光程度不同的图像序列进行融合，将本文算法与DDHR［10］、FMMR［17］、DGF［18］、FMSD［19］、PMF［20］5 种算法进行对比分析。实验环境为Intel Core i5 处理器，3 GHz 主频，8 GB 内存，64 位Windows10 操作系统，Matlab2016a。
4.1 主观视觉分析
为了全面地评价融合结果，图5～图10 给出了7 种不同算法对3 组动态多曝光图像序列融合后的结果（彩图效果见《计算机工程》官网HTML 版）。由图5（b）、图7（b）和图9（b）可以看出，DDHR 算法融合图像能够消除鬼影现象，但是丢失了源图像的色彩信息，融合图像色彩饱和度低。从图6（b）、图6（c）、图8（b）、图8（c）和图10（b）、图10（c）可以看出，FMMR 算法和DGF 算法的融合结果中仍出现了明显的鬼影，说明这两种算法不能有效地解决运动物体对融合结果产生的影响。FMSD算法和PMF算法的融合结果在图10（d）和图10（e）中显示能够有效地去除鬼影，但是FMSD算法在Campus图像序列如图7（e）所示在天空云的边缘出现了不连续的现象。从3 组图像的局部放大图来看，FMSD 算法和PMF 算法在颜色内容保存方面不如本文算法。PMF 算法的融合图像在图8（e）的路人头部出现透明现象，在图10（e）中的天空中大面积出现了失真，丢失了源图像的细节信息，在局部细节信息保存方面不如本文算法。根据融合结果总体分析，本文提出的直方图匹配融合算法（Ours1）和中值直方图均衡融合算法（Ours2）的融合结果实现了动态多曝光融合图像鬼影消除，相比于其他5种算法具有一定优势。但是如图6（f）所示，Ours1在人“手腕”的部位出现了明显的不连续情况。因此，Ours2 方法能更大限度地保存源图像的颜色和细节信息，其运动区域更符合人眼视觉感知。
图5 YWFusion 图像序列中不同算法融合结果Fig.5 Fusion results of different algorithms for YWFusion image sequences
图6 YWFusion 图像序列中融合结果局部放大图Fig.6 Drawing of partial enlargement in of YWFusion image sequence fusion results
图7 Campus 图像序列中不同算法融合结果Fig.7 Fusion results of different algorithms for Campus image sequences
图8 Campus 图像序列融合结果的局部放大图Fig.8 Drawing of partial enlargement in of Campus image sequence fusion results
图9 Tate3 图像序列中不同算法融合结果Fig.9 Fusion results of different algorithms for Tate3 image sequences
图10 Tate3 图像序列融合结果的局部放大图Fig.10 Drawing of partial enlargement in of Tate3 image sequence fusion results
4.2 客观指标评价
为了客观地评估7 种算法的融合结果，本文选用标准差（SD）［21］、边缘强度（EI）［22］、相关系数（Corr）［23］和动态场景结构一致（SSIM-d）［24］作为客观评价指标，分别对不同动态场景下3 组多曝光图像序列的融合结果进行评价。表1～表4 是不同算法的3 组融合结果在4 个客观指标下的实验数据，表中加粗数据表示在同一张图像中取得的最优值。
表1 SD 指标对比Table 1 SD index comparison
表2 EI 指标对比Table 2 EI index comparison
表3 Coor 指标对比Table 3 Coor index comparison
表4 SSIM-d 指标对比Table 4 SSIM-d index comparison
由表1～表4 可以看出，本文提出的2 种算法在4 个客观评价指标下得到的大部分数据处于较高水平。SD 指标代表图像的对比度，DGF 算法、FMSD 算法和本文算法的融合结果相比其他算法处于较高的水平，说明DGF、FMSD 和本文算法融合结果的对比度较高。EI 指标表示图像边缘信息表达能力，Ours2 算法在YWFusion 和Campus两组图像中都取得了最优值，说明Ours2 算法相比于Ours1 算法能更精确地检测到运动区域，使得融合结果更多地保留亮区和暗区边缘信息，融合图像层次清晰。SSIM-d 是针对动态场景下多曝光融合图像而设计的结构相似性指标，本文的算法在Corr 和SSIM-d 2 个指标上相比于其他算法取值较优，说明本文的算法在包含源图像信息方面性能较好。结合主观和客观评价可知，本文基于直方图处理的动态多曝光融合图像去鬼影算法优于其他算法，能够准确地检测出动态多曝光源图像序列的运动区域并生成一幅自然且无鬼影的融合图像，具有更好的融合性能。
本文提出一种中值直方图均衡的动态场景多曝光图像融合算法。利用中值直方图均衡算法调整输入图像和参考图像的亮度差异，消除了因背景曝光不同而对运动区域检测产生的影响。根据差分法和阈值分割检测运动区域，采用形态学处理优化运动权重图提高源图像中运动区域检测的准确性。通过IMF 调整参考图像的亮度，从而生成一组自然的静态图像序列。实验结果表明，本文算法能够消除传统融合算法所产生的鬼影，得到一幅生动自然的融合图像。虽然本文算法能够产生无鬼影的融合图像，但是算法复杂度高，在运行速度方面不具备优势。下一步将降低算法复杂度，并将算法应用于实时图像和视频处理。
猜你喜欢 直方图亮度图像 用于遥感影像亮度均衡的亮度补偿方法航天返回与遥感(2022年4期)2022-09-03符合差分隐私的流数据统计直方图发布湘潭大学自然科学学报(2022年2期)2022-07-28远不止DCI色域，轻量级机身中更蕴含强悍的亮度表现 光峰(Appptronics)C800家庭影院技术(2021年6期)2021-07-28浅析p-V图像中的两个疑难问题中学生数理化(高中版.高考理化)(2021年5期)2021-07-16巧用图像中的点、线、面解题中学生数理化(高中版.高考理化)(2020年11期)2020-12-14基于FPGA的直方图均衡图像增强算法设计及实现安徽电子信息职业技术学院学报(2020年5期)2020-11-13有趣的图像诗作文小学中年级(2020年6期)2020-07-24亮度调色多面手摄影之友(影像视觉)(2019年3期)2019-03-30用直方图控制画面影调摄影之友(影像视觉)(2018年12期)2019-01-28亮度一样吗？小天使·六年级语数英综合(2017年5期)2017-05-27