图像梯度（精选七篇）
图像梯度 篇1
匀速直线运动模糊图像的先验知识其实指的就是模糊角度和模糊长度,它们决定了点扩展函数。而模糊角度的估计还可以作为模糊长度估计的重要参数,简化复原过程,因此对模糊角度的准确估计对于图像复原非常重要[2]。目前对运动模糊角度估计的最简单可行的方法是通过对运动模糊图像的频谱进行Radon变换,根据中央亮条纹平行于暗条纹的特点,估计频谱中央亮条纹的方向,从而得到运动模糊角度[3]。但由于图像中的低频分量较多,使得模糊图像频谱中的平行暗条纹并不是很明显,而对中央亮条纹的检测又会受到图像自身结构的影响。通过对梯度图像频谱的分析,提出了对运动模糊图像,通过梯度变换、二维傅里叶变换、反色、二值化以及Radon变换检测梯度图像频谱中的平行暗条纹的方向,来实现运动模糊角度估计的方法。
1 运动模糊数学模型
假设图像f(x,y)进行平面运动,x0(t)和y0(t)分别是在x和y方向上的位移分量。设T为曝光时间,在不考虑噪声的情况下,则由于运动造成的模糊图像g(x,y)为[4]
对式(1)进行2D-DFT为
改变积分顺序,式(2)变为
对式(3)中积分项函数f(x-x0(t),y-y0(t))利用DFT的位移性质进行替换,得
则可得
2 运动模糊角度估计
2.1 梯度图像
模糊图像g(x,y)在点(x,y)的梯度是一个矢量,设Gx,Gy分别表示沿x方向和y方向的梯度,那么这个梯度矢量可以表示为[5]:
梯度矢量的模为
对于数字图像而言,梯度可以近似为
式(8)可以用水平垂直差分法简化为
在图像中较平滑的部分,灰度值变化较小,一般有较小的梯度;在图像中的边缘部分,灰度值变换较大,一般有较大的梯度。图像沿梯度方向的灰度值变化率最大,有最大的梯度。图像处理中的梯度一般是指梯度的模,而梯度图像是由图像梯度构成的。
2.2 模糊角度估计算法
假设原始图像以x0(t)=at/T,y0(t)=bt/T做匀速直线运动,匀速直线运动模糊退化函数由式(5)变换为:
设图像尺寸为N×M,式(12)表示成离散形式为:
根据2D-DFT的移位性质,对式(11)进行二维离散傅里叶变换得
式(14)中u取值为0到M-1,v取值为0到N-1。由式(14)可以看出梯度图像频谱同样存在着对应于传递函数零点的平行暗条纹,由于梯度图像中高频分量比较多,所以频谱中的平行暗条纹的特征比较明显。
梯度图像频谱中的平行暗条纹的方向α为直线(n为非零整数)所对应的角度,用公式表示为
设运动模糊角度为θ,tanθ=b/a,联立式(15)可得
由式(16)可知,只要估计出梯度图像频谱中平行暗条纹的方向,就可以计算得到任意尺寸的图像的模糊角度。
2.3 算法实现
参考文献[7,8,9]中估计模糊角度的主要方法是:首先对运动模糊图像作FFT并中心化;然后作对数变换来压缩频谱的变化范围;再将频谱二值化;最后利用Radon变换检测模糊角度。对于一些本身具有一定结构的模糊图像来说,频谱中会有一些交叉的亮条纹,它们会影响检测的准确度。现对算法进行改进,主要步骤为:
(1)求水平一阶差分。对于模糊图像g(i,j),水平一阶差分可以表示为:Gr=g(i,j)-g(i-1,j),一般第一列的像素差分用第二列近似表示;
(2)求垂直一阶差分。对于模糊图像g(i,j),垂直一阶差分可以表示为:Gy=g(i,j)-g(i,j-1),一般第一行的像素差分用第二行近似表示;
(3)对水平和垂直一阶差分的和作二维FFT变换并中心化,得到梯度的频谱;
(4)将梯度频谱反色;
(5)对反色后的频谱图二值化;
(6)取频谱图中以原点为中心的一块区域作Radon变换。此时Radon变换得到的模糊角度的精确度会大大提高。
3 实验结果与分析
实验中用Lena256×256的标准图像和三幅300×300具有一定结构的交通标志图像验证算法。在不考虑噪声的情况下,对四幅图像进行20个像素和不同角度的退化,自动检测到的角度如表1～表4所示。图1～图4是四幅图像模糊长度为20,模糊角度为45度时,图像处理的实验结果图。
由表1可以看出,在模糊长度为20个像素时,对于256×256的Lena图像,本文方法得到的检测结果的平均绝对误差是0.118 3,而用文献方法得到的检测结果的平均绝对误差是1.766 7,本文的方法明显优于文献的方法。由表2～4可以看出,三幅图像用文献方法得到的检测结果的平均绝对误差分别为1.180、1.570、1.580;而用本文的方法三幅交通标志的检测结果的平均绝对误差分别为0.120、0.196、0.192,明显优于文献的方法。
由表1～表4可以看出,本文方法不仅对标准的模糊图像角度的估计有很高的精度,而且对具有一定自身结构的道路交通标志模糊图像也能准确的估计。
4 结论
通过对运动模糊图像的梯度频谱的分析,验证了梯度图像的频谱同样存在着对应于模糊角度的平行暗条纹。在不考虑噪声的情况下,对30幅道路交通标志图像进行了实验,实验结果表明本文方法对30幅图像模糊角度的检测都是有效的,并且其中28幅图像检测结果的绝对误差都小于1度。但当图像中有严重噪声存在时,此方法的估计准确度会下降,有待进一步研究。
摘要：通过对运动模糊梯度图像频谱的分析,提出了利用梯度变换、二维傅里叶变换、反色、二值化以及Radon变换检测梯度图像频谱中的平行暗条纹的方向,来实现运动模糊角度精确估计方法。实验结果表明,用该方法估计的模糊角度对于93%的检测图像绝对误差都小于1°,较之前提出的方法具有较高的精度,而且在一定程度上能够抑制图像自身结构对检测结果的影响。
关键词：运动模糊,梯度图像频谱,模糊角度,反色,Radon变换
参考文献
[1] Zhang Chaoyang,Liao Guangjun.On PSF for lined motion blurred image.Proceedings of the 27th Chinese Conference,2008:357-360
[2]郭永彩,丁小平,高潮.基于差分自相关的运动模糊图像尺度参数识别.光电工程,2011;38(6):134-140
[3]蒋岩峰,于起峰,梁永辉.基于频谱分析的匀速运动模糊图像模糊方向识别.光学与光电技术,2008;6(4):68-70
[4]范海菊,冯乃勤.短模糊尺度下运动模糊参数的频域识别方法.计算机工程与设计,2011:32(1):244-247
[5]刘冬梅,赵宇明.高动态范围图像梯度压缩算法.计算机工程, 2009,35(20):210-215
[6]李宇成,贾宝华,杨光明.运动模糊图像的参数估计与恢复.计算机工程与设计,2010;31(19):4247-4249
[7] Moghaddam M E,Jamzad M.Motion blur identification in noisy images using mathematical models and statistical measures.Pattern Recognition, 2007;40:1946-1957
[8]乐翔,程建,李民.一种改进的基于Radon变换的运动模糊图像参数估计方法.红外与激光工程,2011;40(5): 963-969
图像梯度 篇2
边缘是图像中目标与背景的分界线，灰度值变化最为显著。图像边缘是图像的最基本特征之一，包含了许多重要的信息，是图像识别、图像分割和图像理解的重要依据[1]。边缘检测就是将图像不同区域的边界进行确定并提取出来，其效果直接影响后续图像处理的精度和性能。由于数字图像在获取和传输过程中可能受到各种因素的影响而产生噪声，进而影响到图像边缘检测的效果，直接影响到图像的后续处理工作。因此，在检测图像边缘的同时如何有效地抑制噪声一直是图像处理领域研究的热点之一。传统的边缘检测算法如Roberts算子[2]、Sobel算子[3]、Prewitt算子[4]、LoG算子[5]、Canny算子[6]及Kirsch算子等，它们主要是基于图像强度的一阶或二阶导数的计算，算法简单，但对噪声比较敏感。近年来，一些基于新理论的算法被提了出来，如数学形态学算法[7]、小波算法[8]、神经网络算法[9]及遗传算法[10]等，这些边缘检测算法在噪声抑制性能上有了一定的提高，但也各自的存在着算法复杂、普适性差及实时性差等问题。本文借鉴传统边缘检测算法的梯度计算原理，提出了一种基于均值梯度的边缘检测算法，并采用改进的非极大值抑制方法对梯度图像进行细化，算法对不同程度污染的脉冲噪声干扰图像具有良好的抑噪性能，并能较好地检测出图像的边缘。
1 基于梯度的边缘检测原理
传统边缘检测算法都是基于梯度算子的，梯度算子就是一阶导数算子。图像的边缘具有方向和幅度两个基本属性，沿着边缘方向，像素灰度值变化平缓，而沿着垂直边缘的方向，像素灰度值变化剧烈，在此方向上，像素点的一阶导数具有最大值。当图像噪声污染较小时，梯度算子检测的图像边缘效果良好。设f(x,y）为连续数字图像函数，则其梯度可以表示为如下的一个矢量。
式中：Gx和Gy分别为x和y的一阶导数，表示点（x,y）水平和垂直方向的梯度，其梯度幅值和方向分别可以通过式（2）和式（3）来计算。
为了使计算简洁，常采用近似梯度幅值的计算方法，如式（4）所示。
式中fx′=f(x+1,y)-f(x,y),fy′=f(x,y+1)-f(x,y)。
一阶导数Gx和Gy需要针对图像中每个像素的位置计算，实际中经常采用小窗口具有权值的模板与图像进行卷积近似求得。Gx和Gy分别使用一个模板，它们的组合便是一个梯度算子。传统的梯度算子有Roberts算子、Sobel算子和Prewitt算子等，它们的大小和权值都不尽相同，如图1所示。
传统的基于梯度算子边缘检测算法利用算子模板与图像做卷积运算，将最大值输出得到梯度图像，然后再设定门限值TH，将大于等于TH的点视为图像边缘。梯度算子由于采用相邻像素灰度差计算梯度，对噪声较为敏感，当图像受噪声影响较为严重时，检测出的边缘图像包括许多的噪声边缘，使得后续处理无法进行。
2 本文算法
针对传统算法在边缘检测时对噪声敏感问题，提出了一种基于均值梯度的边缘检测算法，算法采用5×5检测窗口，将窗口按照水平方向和垂直方向分为4个区域，按照区域非噪声点的均值差计算窗口中心点的梯度，求得梯度图像，然后采用改进的非极大值抑制方法对梯度图像进行细化，实验证明，算法对脉冲噪声抑制能力较强，边缘细化效果较好，算法原理如下。
2.1 抑噪原理
图像受脉冲噪声干扰，主要表现为受污染点像素值发生突变，远大于或远小于周围正常像素点，使得其与边缘点一样具有较大的梯度值，因此采用梯度算子进行边缘检测，将会使噪声边缘同真实边缘一样被检测出来。本文算法在进行边缘检测时，针对脉冲噪声的特点，采用阈值法先将检测窗口中噪声点检测出来，判断噪声点按照式（5）方法进行。然后通过非噪声点计算图像梯度，不仅消除了噪声点的边缘，也消除了噪声对图像梯度计算的影响。
式（5）是对检测窗口对噪声点进行判断，由于脉冲噪声点像素值接近0或255，因此引用了调解因子δ，δ的范围可根据具体图像来调解。式（5）表明，如果检测窗口内像素点为脉冲噪声点，则将噪声点置为零，否则保持原值不变。
2.2 分区均值计算梯度
算法采用分区均值计算图像梯度，将5×5检测窗口按照水平方向和垂直方向分为4个区域，如图2所示。每个区域大小一样，均为长方形，分布在中心点边缘方向的上下或左右。
图2中的（a）是检测窗口沿中心点水平方向的上下两个区域，用来计算中心点对应像素的垂直方向梯度；（b）是检测窗口沿中心点垂直方向的左右两个区域，用来计算中心点对应像素的垂直方向梯度，（x,y）为窗口中心点坐标，各区域内的灰色圆圈表示落在窗口区域内图像的像素点。算法水平方向梯度和垂直方向梯度的计算如式（6）和式（7）所示。
式（6）表示采用中心点的上下两个区域内的非噪声像素平均值之差计算水平方向梯度，式（7）表示采用中心点的左右两个区域内的非噪声像素平均值之差计算垂直方向梯度，根据前面所述，区域内的噪声点像素值均被赋0值，在计算区域均值时，不参与计算。式中的β为衰减因子，主要是防止梯度值的溢出，算法中取值为10。由于区域均值的计算去除了脉冲噪声的干扰，采用区域均值充分利用了邻域相关性原理，如果方向区域为边缘方向，则该区域内的像素灰度值变化平缓，虽然缺少了一些像素点对区域均值的影响较小，利用均值差分可以较准确的表示边缘梯度。最后将两个方向梯度值的最大值作为输出，即得到梯度图像G，如式（8）所示。
2.3 梯度边缘细化及提取
图像边缘的细化是指在保持原图像边缘轮廓不变的情况下，尽可能地提取出单像素宽的骨架的过程。细化过程是数字图像处理中的一个重要处理步骤，其效果直接影响图像后续的相关处理。由于梯度图像是通过一阶微分或近似方法计算得出的，其边缘较粗，为了只保留边缘处梯度幅值局部变化最大的点，常采用非极大值抑制方法来细化边缘。所谓非极大值抑制过程，就是沿着图像边缘的梯度方向进行检测，将检测方向上不具备局部极大值的像素值置为0，否则保持原像素值。
经过非极大值抑制方法处理后的梯度图像，边缘得到了细化，但也会产生新的非边缘点或丢失一些边缘点，不适合后续处理的要求。本文采用改进的非极大值抑制算法，如式（9）所示。算法采用3×3窗口，从水平和垂直两个方向对梯度图像G进行非极大值处理，G′为处理后的梯度图像。
式中：γ为细化度调解因子，根据γ可以根据需要调解细化强度。γ值减小，将减少边缘点的丢失，γ值增大，额外的边缘点会减少，当然边缘点的丢失和额外边缘点的增加是一对矛盾，可根据需要适当调解。经过多次实验验证，γ值在0.98～1.02之间调整，可保证边缘宽度较细，且连续性较好。最后，选取合适阈值TH，将细化后的梯度图像G′进行二值化处理，得到边缘图像。
3 验证实验
将标准灰度图像cell作为实验对象，在Matlab实验平台下进行编程实验。第一次实验中，将cell图像就加入密度为5%的脉冲噪声，第二次将cell图像加入密度为50%的脉冲噪声，分别采用传统Sobel算法和本文算法对噪声图像进行边缘检测试验。实验结果如图3和图4所示。
从图3可以看出，在噪声密度较低时，传统Sobel算法虽然能够将真正的图像边缘检测出来，但图中同时含有许多噪声边缘，对于后续的工作将产生重大的误差。本文算法提取的边缘图像中不存在噪声边缘，图像轮廓清晰，连续性较好，而且边缘较细。从图4可以看出，在噪声密度达到50时，传统Sobel算法检测出的边缘图像受噪声影响严重，已经模糊不清，几乎用肉眼都无法识别出图像轮廓；而本文算法依然能够检测出清晰的图像边缘，存在非常少的噪声边缘，同时边缘较细，连续性较好。
4 结论
针对含噪图像提出一种基于均值梯度的边缘检测算法，算法采用分区域均值的方法计算图像梯度，在较好地检测出图像边缘的同时，对脉冲噪声起到了良好的抑制作用。采用改进的非极大值抑制方法使得检测出的图像边缘较细，而且连续性较好，具有良好的适应性和较高的应用价值。
参考文献
[1]邓彩霞,王贵彬,杨鑫蕊.改进的抗噪形态学边缘检测[J].数据采集与处理,2013,28(6):740-744.
[2]赵月云,王波.基于Roberts边缘检测的面向对象建筑物信息提取[J].城市勘测,2012(2):120-122.
[3]郑英娟,张有会,王志巍,等.基于八方向Sobel算子的边缘检测算法[J].计算机科学,2013,40(11):354-356.
[4]邹柏贤,张然,苗军.Prewitt图像边缘检测方法的改进[J].微电子学与计算机,2013,30(5):23-26.
[5]马娅丽,熊淑华,黑建业.一种改进的LOG边缘算法研究[J].计算机技术与发展,2013,23(9):6-9.
[6]许宏科,秦严严,陈会茹.一种基于改进Canny的边缘检测算法[J].红外技术,2014,36(3):210-214.
[7]师文,朱学芳,朱光.基于形态学的MRI图像自适应边缘检测算法术[J].仪器仪表学报,2013,34(2):408-413.
[8]韩慧妍,韩燮.基于方向小波变换的边缘检测算法[J].微电子学与计算机,2007,29(7):55-57.
[9]李玉荣.基于改进BP神经网络的彩色图像边缘检测[J].煤炭技术,2011,30(10):154-156.
图像梯度 篇3
随着多媒体技术的迅速发展, 图像数据库也急剧膨胀起来, 如何高效、快速地从图像资源中获取有用的图像成了信息检索技术研究的热点。而作为解决该问题的关键技术, 基于内容的图像检索CBIR (Content Based Image Retrieval) 技术已成为国内外广泛关注的焦点, 并在许多领域都有应用[1]。该技术主要利用图像的颜色、纹理、形状、对象的空间关系等特征进行检索, 而颜色特征是CBIR中最为常用的图像特征, 且在大的图像库中的有效性已经得到了证实。
Swain和Ballard[2]提出了一种简单而有效的颜色索引算法, 采用颜色直方图作为大型的物体模型数据库中彩色物体的索引, 取得了不错的效果。然而颜色并不是一个稳定量, 它不仅取决于图像所捕获的物体表面特征, 还取决于场景光照、成像几何特征以及成像设备的特性等捕获条件, 因此当光照条件不尽相同时, Swain的算法的性能会显著下降。另外, 直方图特征并不包含颜色之间的空间相关信息, 在含有较大的位置移动、尺度和视角等变化图像的大型数据库中性能会显著下滑, 且其较大的特征矢量尺寸就存储空间的占用而言也是一个不容忽视的缺点。
为增强图像索引对各种成像条件 (如光照、阴影、相互反射等) 的鲁棒性, 各种颜色不变量的直方图特征被提取作为光照不变的图像特征[3]。比如Funt和Finlayson[4]提出的颜色恒定颜色索引算法CCCI (Color Constant Color Indexing) , 通过求取图像邻域像素点的颜色比 (Color Ratio) 获得光照无关的特征描述符。然而该算法假定邻域像素点具有相同的曲面法向, 当物体的表面取向 (即物体的几何形状) 存在剧烈变化时, 算法的有效性将受到不利影响。随后Finlayson等又提出了综合色图像归一化算法CCIN (Comprehensive Color Image Normalization) [5]和光照不变的直方图均衡化算法HE (Histogram Equalization) [6], 并验证了它们的优良性能。Gevers和Smeulders[7]提出了新的颜色恒定颜色比m1m2m3, 又称光照不变导算法。该算法克服了CCCI算法的对物体几何形状变化敏感的缺陷, 且由于m1m2m3颜色比是基于邻域像素点的局部的计算, 因此对于物体的遮蔽和场景的凌乱具有一定的鲁棒性, 但是颜色直方图在该算法中的应用并没有完全展示出这种优越性, 其在图像索引应用中的表现远不如Finlayson的CCIN和HE算法[8]。
颜色相关图是Huang Jing等[9]提出的颜色特征提取算法, 它能够反映图像颜色之间的空间相关信息, 且对于场景的平移、尺度和视角等变化具有很好的鲁棒性, 多种图像检索应用表明其性能优于颜色直方图特征[10,11]。本文对各种常用颜色不变量相应于场景变动的鲁棒性进行分析, 在m1m2m3颜色比的基础上, 使用相关图算法提取图像的光照不变特征———梯度相关图。该算法综合了m1m2m3颜色比和相关图算法的优点, 实验对比表明本文提出的算法很好地改善了原有基于直方图的m1m2m3颜色比算法的性能, 对于场景的平移、尺度、视角等变化具有很好的鲁棒性, 且特征矢量尺寸更小, 适用性较以往算法更为广泛。
1 彩色图像的颜色不变量
1.1 光照不变导
之前提出的各种基于图像临近像素点的光照无关颜色比[4,12]是基于平坦物体表面的假定, 因此很容易受到物体形状变化的不利影响。Gevers和Smeulders对CCCI算法加以延伸提出了新的颜色比m1m2m3, 它克服了CCCI算法的对物体形状变化敏感的缺陷[7]。
这种新的颜色比定义为:
表示的是图像中两个临近像素位置之间的颜色比, 其中Ci, Cj∈{C1, C2, …, CN}, 表示的是由中心波长为i、j的窄带滤波器度量到的图像传感响应值。
对于标准的RGB彩色照相机, 则有:
该颜色比可以去除光照颜色、视角变化以及物体的几何形状的影响。
对m1的表达式 (2) 两端取自然对数得到:
因此, 该颜色比可视为在对数图像域ln (R/G) 中两个临近像素位置处的值的差分, 即:
也就是说ln (R/G) 的导数具有和ln (m1) 同样的光照不变性质, 同理, 对m2和m3也可得出类似的结论, 即ln (R/B) 和ln (G/B) 的导数具有和ln (m2) , ln (m3) 同样的光照不变性质, 这些导数被称为光照不变导。
1.2 综合色图像归一化CCIN
该算法基于两种常用的去光照处理归一化方法, 即能去除图像对照明几何 (如光源强度、方向等) 的依赖的色度变换 (式 (7) ) , 以及能去除对光照颜色的依赖的“灰度世界”归一化 (式 (8) ) 算法。通过递归重复地运用这两种归一化方法, 得到一种既能够克服照明几何又能克服光照颜色影响的综合色图像归一化算法CCIN[5]。
Finlayson同时证明了该递归算法的收敛性以及在不同光照下收敛图像的唯一性, 并指出实际中该算法的快速收敛能力, 仅需4到5次递归运算。
1.3 光照不变直方图均衡化
该算法基于已有的灰度级图像增强技术———直方图均衡化HE (Histogram Equalization) , Finlayson等证明了只要图像传感器的响应排序在成像条件 (光照、或设备) 发生变化时得到保持, 对彩色图像的各个通道简单地进行直方图均衡化处理 (式 (9) 、式 (10) 、式 (11) ) 就能获得对这些条件的不变性[6]。
其中, P (Co≤Cio) , (C∈{R, G, B}) 表示的是在光照O下图像中值小于或等于Cio的像素数, Npix表示图像的像素总数, Cmax是图像传感器所能度量到的最大值, 经过直方图均衡化, 将输入图像Io (Ro, Go, Bo) 变换为光照无关的图像Iinv (Rinv, Ginv, Binv) 。
1.4 颜色不变量的鲁棒性分析
Finlayson在提出CCIN和HE颜色不变量时, 并未对其在场景变动 (平移、尺度、视角等) 下的光照不变性进行分析, 仅对无场景变动下的光照影响进行考察, 并将其应用于目标识别, 取得了很好的效果[5,6,8]。然而, 在图像索引的实际应用中, 场景的变动是随处可见的, 颜色不变量在这种变动下的去光照效果可能会受到影响, 因此本文对各种常用光照不变算法在场景变动时的鲁棒性进行分析, 试图找到一种对场景变动鲁棒性高、且索引性能优越的光照不变图像特征提取算法。
首先, 对于CCIN颜色不变量, 由于其使用了基于全局图像的“灰度世界”归一化算法 (式 (8) ) , 因此当图像场景存在变动时 (如平移、尺度、视角等) , 该算法的去光照性能将会受到不利影响。其次, 对于光照不变的直方图均衡算法HE, 由于它对图像传感器的响应排序变化很敏感, 而场景的平移、尺度和视角等变化则会影响到这种排序, 所以其在场景变动下的去光照效果也会下降。图1显示的是场景变化对这两种算法的干扰情况。
图1中第一行显示的是同一衣服在两种光照下的场景, 其中 (a) 和 (b) 场景光照不同, 但衣服位置固定, 而 (b) 和 (c) 场景光照相同, 但衣服位置发生变动。图中第二行、第三行是分别使用CCIN和HE算法对第一行的图像去光照后的结果。正如图中 (a) 、 (b) 、 (d) 、 (e) 所显示的, 当场景位置固定, 仅存在光照变化时, 对 (a) 、 (b) 作CCIN归一化处理之后得到了色彩近乎一致的图像 (d) 和 (e) ;当场景位置发生变动 (如 (a) 、 (c) 所示) , 此时作CCIN归一化处理之后的图像在色彩上仍然存在很大差异, 如 (d) 、 (f) 所示。同样的结果, 对于 (a) 、 (b) , 由于场景位置固定, 仅存在光照变化, 此时传感器的响应排序可以得到保持, 对其作直方图均衡处理之后得到了去光照效果很好的图像 (g) 和 (h) ;当场景位置发生变动, 传感器的响应排序发生了改变, 对 (a) 、 (c) 作直方图均衡处理之后的图像在色彩上存在很大差异 (如 (g) 、 (i) 所示) , 去光照效果受到影响。
不同于CCIN和HE颜色不变量, 由于m1m2m3颜色比是基于邻域像素点的局部的计算, 因此其对于物体的遮蔽和场景的凌乱具有一定的容忍度, 能够适应场景的一定变化, 鲁棒性较CCIN和HE颜色不变量更好, 本文在实验部分将对此予以验证。
2 特征提取与匹配
2.1 特征提取
Gevers和Smeulders提出使用Canny边缘检测算法求取图像ln (R/G) 、ln (R/B) 和ln (G/B) 的梯度值, 并进行标准的非极大值抑制处理, 得到局部最大的边缘梯度值, 从而获得光照不变导梯度图像。特征提取时, Gevers采用的是直方图算法, 统计的是梯度图像中某种特定强度的梯度边缘长度, 考虑到噪声对光照不变导的影响, 颜色靠近黑色 (R=G=B=0) 的像素点并不在直方图的统计范围内。但直方图算法的应用并没有使光照不变导获得优异的性能, 在图像索引应用中Gevers的算法性能远不如Finlayson的CCIN和HE算法[8]。
本文使用相关图算法提取光照不变导梯度图像的梯度相关特征, 称为梯度相关图, 结合相关图算法本身的对于场景变化的鲁棒性, 可以清楚地体现出光照不变导的优越性。
提取梯度相关图特征的步骤如下:
(1) 求取输入图像I (R, G, B) 的ln (R/G) 、ln (R/B) 和ln (G/B) 三幅子图像;
(2) 对 (1) 所得到的图像使用Canny边缘检测算法获取光照不变导梯度图像Ω1, Ω2和Ω3, 并将原图像I中R+G+B<30的像素位置处对应的Ω1, Ω2和Ω3置0以增强噪声鲁棒性;
(3) 将梯度图像Ω1, Ω2和Ω3的幅度分别非均匀量化为4个等级得到Ω'1, Ω'2和Ω'3;
(4) 将 (Ω'1, Ω'2, Ω'3) 看作是一幅彩色图像Ω', 使用颜色相关图算法提取Ω'在距离d=1, 3, 5, 7下的颜色自相关特征并求平均值, 得到一条1×64的特征矢量作为本文的梯度相关图特征来对图像进行索引。
2.2 算法的Matlab实现
给定像素距离为d时, 输入彩色图像f的光照不变梯度相关图特征提取算法的Matlab实现如下:
该算法基于共生矩阵来求解图像的相关图特征[9], 函数offset根据给定的距离d给出共生矩阵计算函数graycomatrix的输入参数“Offset”, quantopt函数用于完成彩色图像f光照不变导梯度图像的计算和量化。函数offset的实现如下:
函数mag Grad用以实现光照不变导梯度图像的计算, 使用Canny边缘检测算法获得, 其Matlab实现如下:
2.3 特征匹配
特征匹配用以度量两幅图像特征矢量之间的相似性, 也称相似性度量。令Q (k) 和D (k) , k=1, 2, …, 64, 分别表示问询图像Q和数据库图像D的梯度相关图特征矢量, 则Q (k) 和D (k) 之间的d1距离度量[9]如下:
3 检索性能度量
本文使用平均归一化修正检索等级ANMRR (Average Normalized Modified Retrieval Rank) [13]作为各种算法检索性能的度量标准。ANMRR被用于所有的MPEG-7颜色核心实验中, 它不仅考虑到了查全率查准率方面的信息, 同样考虑到了检索到的图像的排序等级信息。ANMRR在MPEG-7中的定义如下:
其中:
NG (q) 是图像库中相应于问询图像q的真正相关图像数目, Rank (k) 是检索算法对这些真正相关图像的排序等级, NQ则是总的问询图像数目, 而K (q) 指定了每个问询图像的“有效排序等级”, 其定义为:
式中GTM是对所有问询图像的NG (q) 的最大值, 即GTM=max{NG (q) }。需要说明的是, ANMRR的值越小, 代表检索算法的性能越好。
4 实验结果及分析
本实验的系统测试环境为:Intel Core i5-3210M CPU, 2.5GHz, 2GB RAM, Windows 7操作系统;程序开发工具为Matlab。实验所采用的测试图像选自Barnard图像库[14] (http://www.cs.sfu.ca/~colour/data/index.html) 中的物体图像, 图像分辨率为637×468。
实验中共构建了两个测试图像库, 用以对各种算法的检索性能及其对场景变动的鲁棒性进行检测。图像库1中包含318幅测试图像, 采自30种不同物体在不同颜色光照下的场景, 每种物体的图像数从7幅到11幅不等, 每次捕获时, 物体的姿势并未发生变动 (尺度、平移、旋转、视角等) 。图像库2中共包含220幅测试图像, 采自20种不同物体在11种不同颜色光照下的场景, 每种物体因此共有11幅相关图像, 但每次捕获时, 物体的姿势都会发生变动。取自两个图像库中的两种物体的示例图片如图2所示 (每种物体仅选取5幅图片作为代表) 。
实验中获得颜色不变量的方法分别为光照不变导m1m2m3、综合色图像归一化CCIN以及光照不变的直方图均衡化HE, 使用的特征提取算法为直方图算法HA (Histogram Algorithm) 和相关图算法CA (Correlogram Algorithm) , 因此共形成了6种算法组合, 分别为m1m2m3+HA、m1m2m3+CA、CCIN+HA、CCIN+CA、HE+HA及HE+CA。直方图算法中对各个通道的量化等级为16级[6], 采用的相似性度量为直方图相交法[2], 而相关图算法中得到的特征矢量尺寸为1×64, 相似性度量准则为d1距离度量。表1显示的是各种算法的特征矢量尺寸。
实验首先在图像库1中进行, 用以对各种光照不变图像检索算法在物体姿势未发生变化下的性能进行检测, 库中的每幅图像都作为问询图像并使用表1中的6种算法检索其余与它相关的图像, 6种算法对所有问询图像的ANMRR性能度量结果如图3所示。
由图3可见, 在物体姿势没有发生变化时, 本文提出的梯度相关图特征索引算法m1m2m3+CA获得了最佳的性能, 而Gevers的以梯度直方图为特征的索引算法m1m2m3+HA则表现了最差的性能, 其表现远不如其他算法。另外, 直方图算法在HE和CCIN颜色不变量中的应用也取得了优异的性能, 这符合Finlayson已证实的实验结论[8], 而相关图算法对HE和CCIN颜色不变量的作用则不如对m1m2m3颜色不变量的作用明显。
图像库2中进行同样过程的实验, 以检测物体姿势发生变化时对各种光照不变图像检索算法性能的影响, 实验得到6种算法对所有问询图像的ANMRR性能度量结果如图4所示。
通过对比图3和图4中相同算法的ANMRR值, 即可观察出场景改变 (平移、尺度、视角等) 对各种光照不变图像检索算法的影响。正如图3、图4所示, 即使物体在不同光照下的姿势发生了改变, 本文提出的梯度相关图特征索引算法m1m2m3+CA的ANMRR在图像库2中 (ANMRR值为0.1500) 相对于图像库1 (ANMRR值为0.0933) 仅上升了0.0567, 性能稍微下降, 但是仍然获得了最优异的检索性能, 而除了m1m2m3+HA外, 其他算法的ANMRR均出现了显著的上升, 性能明显降低。这直接验证了m1m2m3颜色不变量的优越性, 即它对于物体的遮蔽和场景的凌乱具有一定的鲁棒性, 而HE和CCIN颜色不变量对于场景变动的鲁棒性显然不如m1m2m3颜色不变量, 因为其在图像库2中的检索性能较图像库1中出现了显著的下降。因此, 本文提出的梯度相关图特征索引算法对场景变动更具有鲁棒性, 且具有优异的光照不变图像索引性能。
表2给出的是将各种光照不变特征提取算法应用于对图像库2中的物体进行分类时所获得的分类准确率, 实验中采用的分类方法为最近邻分类法, 即选取特征空间中距离待分类图像最相近的图像的类别作为该待分类图像所属的类。实验中认为具有同种物体的场景图像属于同一类别。
由表2可见, 本文提出的梯度相关图特征索引算法m1m2m3+CA在含有光照和场景变动的物体分类应用中取得了最好的结果, 分类准确率达到了95%, 远高于其他的光照不变图像特征索引算法, 再次验证了梯度相关图特征索引算法优异的光照不变图像索引性能。
5 结语
图像梯度 篇4
在大型物体三维面形测量中, 通常使用标记点进行三维不同视角点云的拼接。三维扫描中单幅扫描精度现已可达0.02mm, 而拼接的精度成为了三维扫描设备的关键。在基于标记点的多视点云拼接中标记点的三维坐标精度与数量对拼接精度影响巨大, 标记点数量越多, 精度越高, 拼接的精度则越高。在测量过程中常常会因为被测物体的材料和成像角度的不同导致图像上一部分曝光过度, 一部分曝光不足, 影响标记点检测。各种常用的图像增强算法不能适应检测的需要, 在机器视觉中常用的工业相机镜头大多是定焦镜头, 光源固定, 为了获取一幅对比度高、动态范围大的图像一般采用多次曝光的技术来实现图像增强。
1 多曝光图像融合方法
图像融合[1]是将多幅图像的内容融成一个新图像, 从而使融合的图像可信度更高, 模糊较少, 可理解性更好, 更适合人的视觉及计算机检测、分类、识别、理解等处理。多幅图像可以是不同焦距成像的、不同拍摄角度成像、不同波长、不同曝光时间、不同光照等等不同因素形成的多幅照片。图像融合的处理层次通常可分为三级[2]:像素级、特征级、决策级, 目前大多数研究集中在像素级。像素级图像融合方法大致分为四类: (1) 基于彩色空间的方法, 如基于神经视觉生理学的彩色图像融合方法[3]等; (2) 基于数学/统计学的方法, 如比值运算、加法和乘法、主分量分析 (PCA) 、HPF高通滤波、贝叶斯估计、期望最大值方法、非负矩阵分解方法等; (3) 基于多分辨率分析的方法[4], 如金字塔方法、小波变换等;智能图像融合方法, 如基于神经网络、模糊理论的融合等。
采用多曝光图像融合可以扩展图像的动态范围, 使融合后的图像同时包括高曝光下暗场细节和低曝光下的亮场细节。该想法最早由Burt等人提出, 之后涌现出许多成果。Kartalov等人出于实时处理的目的, 提出一种简单的在HSV色彩空间对两张图片进行加权融合的方法。这一方法尽管运算量小, 在两张图片曝光度接近时, 融合效果较好, 但是当亮度差异很大时, 融合效果恶化十分严重。Goshtasb等人对图像分块后, 使用有理高斯函数 (Ra G) 计算权值, 对不同曝光度下同一位置信息量最大的矩形块进行加权, 消除块与块之间的亮度突变。分割的矩形块可能包含物体边缘, 因此处理结果不够理想, 同时由于迭代的使用, 运算时间长。Shen等人提出基于广义随机游走的多曝光融合算法, 通过计算局部对比度和颜色恒常性两个质量的全局最优解, 使用概率的方法实现融合的效果。由于颜色恒常性的引入, 这种算法融合的图像颜色表现真实自然, 但细节效果一般。Mertens等提出在曝光融合时引入多分辨率融合的方法。在RGB空间采用对比度、饱和度和适当曝光度三个测度作为融合指标生成权值图, 采用拉普拉斯金字塔将源图像及权值图分解后, 在每一层利用权值图引导系数融合, 重建完成图像的多曝光融合。Raman等利用双边滤波器指导融合, 他将源图与双边滤波结果相减, 所得的差值用来保留图像中的细节, 同时作为融合权值。在Lab空间, 仅对L通道处理, 完成多曝光融合。
2 基于梯度域和最大类间差法的灰度图像融合
2.1 基于梯度域的融合方法
人的视觉系统对绝对亮度不敏感, 而对局部的亮度变化响应很快。基于梯度域的图像融合正是采用了该原理, 保留不同曝光时间图像上的细节, 与直接在灰度域对图像进行操作相比, 在梯度域的操作具有设计简单、直观明了等优点。基于梯度域的基础算法如下。
(1) for每张输入图片Iido
计算图片梯度Gi=▽Ii
根据‖Gi‖, 计算权值wi
End for
(2) for每个像素 (x, y) do
计算合成梯度场
(3) 从梯度场G重建图像I′.
梯度域的方法就是求解满足G=ΔI′的图像。从梯度场重建图像是一个近似可逆的过程, 梯度域矢量G可能是不可积的, 但一般可求出其最小二乘意义下梯度与其最接近的图像。若G可积, 隐函数的梯度必须是一个守恒场, 也就是梯度ΔI= (坠I/坠x, 坠I/坠y) 必须满足以下条件:
最后得到, 定义div G为矢量场G的散度, 图像重建的过程就归于一个典型的泊松方程的求解。选择解该泊松方程的边界条件为Neuman边界, 把泊松方程离散差分化后得到如下线性方程组:
div G≈Gx (x, y) -Gx (x-1, y) +Gy (x, y) -Gy (x, y-1) 其中G (x, y) 为合成的梯度场。求解泊松方程就变成求解线性方程组为:
系数矩阵为系数矩阵:
2.2 梯度权值的确定
在梯度场G的合成中权值w的确定是非常关键的一步, 不同的融合目的, 选择权值的方法不同。本文针对项目中相机采集的图像均是8位单通道的灰度图像, 故不考虑多通道彩色图像的颜色失真等影响, 只求保值不同曝光时间图像上的显著结构和细节信息。图像的局部3*3领域的梯度大小反映了图像局部显著结构和细节。Kartalov、Goshtasb等等的算法更多的是针对多通道的彩色图像, 为了便于将软件集成到FPGA的硬件系统中, 本文采用最大类间差法 (OTSU) 和分段函数计算合成梯度阈值, 其算法流程如下:
(1) 输入图像计算x方向和y方向的前向差分Ix, Iy, 并计算梯度模长m (x, y) 。
(2) 用最大类间差法计算图像模长m (x, y) 的阈值thresh。
(3) 计算模长m (x, y) 的最大值max与最小值min
(4) 根据公式分段计算权值
3 实验效果
该实验采用vc 6.0与opencv在windows平台下实现, 图1为下载的测试实验图像, 图像尺寸为1536*2048。若直接求解泊松方程线性方程数据量庞大, 实验时使用多重网格法来迭代计算求解。图2 (a) 是采用Fattal融合算法的效果图, 图2 (b) 是采用本文的算法的效果图, 从图2 (b) 中可以既保留了低曝光时间的窗户部分的细节, 又有高曝光时间的墙体细节结构。但与Fattal融合算法相比在亮的地方比Fattal融合算法亮, 在暗的地方比Fattal融合算法暗, 图像动态范围比Fattal融合算法大。因此, 在原算法基础之上, 添加了抑制较大亮度值和缩放, 记点 (x, y) 处的梯度阈值G (x, y) 阈值大小为, 记当前高斯金字塔图像块的梯度阈值G (x, y) 的平均值, 则抑制和缩放后的梯度权值计算公式为:
改善后的融合效果如图3所示, 比保留的暗场和亮场的细节比没有做该操作的图2 (b) 要多, 比Fattal算法保留的细节更多, 能够达到图像边缘检测和特征提取的需要。
项目实验中所用图片如图5所示, 为大恒工业相机采集, 分辨率为1280*1024, 曝光时间分别为1/200秒和1/60秒, 采用改善后的融合效果如图5所示。
4 结语
针对曝光时间不同的多幅图像, 采用了从梯度域重构融合图像方法, 在梯度权重因子的配合下重构出一幅能同时含有各种曝光时间下的图像细节, 得到了动态范围更宽、细节更多的图像。该方法求泊松方程时运算量较大, 采用多重网格法, 计算各层网格上解松弛和平滑的方法对融合的效果影响较大。该方法对暗流引起噪声能起到抑制作用, 特别是不同曝光时间越多越能很好的抑制, 在项目的适应性上做了巨大贡献。
参考文献
[1]敬忠良, 肖刚, 李振华.图像融合:理论与应用[M].高等教育出版社, 2007.
[2]杨斌.像素级多传感器图像融合新方法研究[D].湖南大学, 2010.
[3]Waxman A M, Fay D A, Gove A N, et al.Color night vision:fusion of intensified visible and thermal IR imagery[J].Synthetic Vision for Vehicle Guidance and Control, 1995, 2463:58-68.
图像梯度 篇5
图像插值是一个从低分辨率图像获得高分辨率图像的过程,广泛应用于数字图像处理领域,如视频通信、卫星遥感以及目标识别等。图像插值的主要目的是恢复图像边缘和纹理,尽可能抑制模糊。传统的线性图像插值方法由于实现简单而得到广泛应用,比如双线性插值和双三次插值。但是,线性插值方法在插值过程中会产生严重的图像细节模糊和边缘锯齿现象,影响插值图像质量。为了更好地保持图像的边缘细节及纹理信息,近年来出现了一系列插值算法[1,2,3,4,5,6]。文献[1]和文献[2]分别应用多分辨塔式分解和图像的频率特征对图像插值并进行分辨率增强。文献[3]提出了一种以边缘为导向的插值算法。首先从低分辨率图像中估计局部协方差系数,然后根据低分辨率协方差与高分辨率协方差之间的几何对偶关系,进行自适应高分辨率图像插值。文献[6]提出了一种结合方向滤波和数据融合的非线性插值算法。首先对待插值点建立两个正交方向上的观测集合,每个集合都会产生待插值点的一个估计值,然后利用线性最小均方误差准则融合两个估计值,从而得到更为稳健的插值结果。这些方法只能进行2倍或2n倍图像插值,而传统的线性插值方法可以对图像进行任意倍插值。为了提高插值精度,有学者提出了利用图像局部特征改进线性插值的方法。文献[7]利用图像局部像素的不对称特征来修正传统线性插值算法中的局部空间距离,并与传统的双线性、双三次插值算法相结合,提出了Warp Distance插值算法(WaDi-Bilinear,WaDi-Bicubic)。文献[4]利用图像局部梯度特征来优化线性插值算法中的插值权值,提出了基于图像局部梯度特征的自适应插值算法(A-Bilinear,A-Bicubic)。文献[5]将上述两种方法融合,提出了基于图像梯度特征的改进WaDi(Pro-Bilinear,Pro-Bicubic)插值算法。
上述算法均改善了图像插值效果,但都存在一定的不足。文献[1]~[3]、文献[6]不能进行任意倍数图像插值,而文献[4]、[5]、[7]对图像斜边缘的插值效果不理想。为此,本文提出一种改进的图像自适应逆梯度插值算法(IG-Bilinear,IG-Bicubic),图像细节及斜边缘的插值效果明显提高,在性能评价准则上也优于传统插值算法。
1 基于Warp Distance的插值
理想带限信号的精确插值函数是sinc函数,因为其在实际中无法实现,从而产生了许多近似空域不变的线性表示,如双线性算子、双三次算子和立方样条算子。这些算子计算复杂度较低且插值效果相对较好,因此在众多商业软件中得到应用。但是由于算子本身的低通滤波特性,它们都无法精确重建图像细节。为了得到更准确的细节插值结果,文献[7]中提出了基于图像局部数据不对称性的Warp Distance插值方法。Warp Distance插值方法是对传统空间线性插值的改进,通过对传统线性插值中的空间距离进行非线性修正,再代入线性插值公式得到比较好的插值结果。传统的一维线性插值公式:
而Warp Distance插值算法修正后的空间距离s′为:
式(2)中,A为信号的局部不对称性,定义为,
其中L为图像灰度最大值,8位图像取256,A取值[-1,1]。参数k控制弯曲强度,一般取k=1或k=2。如图1所示,将初始空间距离s利用式(2)计算得到修正空间距离s′,代入传统的线性插值公式中,得到一维WaDi插值公式。WaDi插值方法也可以推广到二维图像插值中。以双线性插值为例,通过式(2)方法得到一维水平方向距离S′x1、S′x2和一维垂直方向距离S′y1、S′y2,然后代入式(4)得到修正的二维水平、垂直空间距离S′x和S′y,将其代入到原始双线性插值公式中,可得到二维WaDi插值公式。
WaDi-bilnear修正的空间距离为:
其中S′x1=Sx-kAx1Sx(Sx-1),S′x2=SxkAx2Sx(Sx-1),S′y1=Sy-kAy1Sy(Sy-1),S′y2=SykAy2Sy(Sy-1),而Ax1、Ax2、Ay1、Ay2表示图像的局部不对称性,定义为:
2 基于图像局部梯度特征的自适应图像插值
由于传统的线性插值算法在进行插值时,每一个输入像素的权值仅仅是距离s的函数,忽略了图像的局部信息,从而产生插值图像模糊。文献[4]指出,除了空间距离外,权值也依赖于图像的局部特征,并提出了一种基于局部逆梯度的插值算法,用于改善图像插值的视觉效果。算法中定义了对应于4个逆梯度权值Hl、Hr、Vu、Vl的模板,权值Hl由水平左模板产生,它包括4个相邻像素fi-1,j、fi,j、fi-1,j和fi,j+1。4个逆梯度权值定义为:
式(6)中,α是锐化常数,用于控制图像边缘的锐化程度,取值范围为[0,1]。当α取0时,所有的逆梯度权值都为1,就是传统的线性插值。随着α增加,插值后图像就越锐化。利用上述逆梯度权值,自适应双线性插值函数定义为:
其中
3 改进的自适应逆梯度插值方法
数字图像一般包含丰富的方向不同的边缘和纹理,文献[4]中的算法改善了边缘纹理的插值效果,但算法在同一模块内使用唯一的梯度权值,不能准确反映图像局部梯度特征。以垂直模板Vu为例,只有当|fi,j-fi,j-1|=|fi+1,j-fi+1,j-1|时,Vu才可以准确反映模板内垂直方向的局部梯度特征。而在实际图像中,|fi,j-fi,j-1|和|fi+1,j-fi+1,j-1|往往不相等,而且插值点越是靠近左边像素,一维梯度|fi,j-fi,j-1|越能反映插值点沿垂直方向上的梯度特征。基于这一点,本文对文献[4]中的4个逆梯度权值公式进行修正,对于每个权值公式内的两对一维梯度进行自适应加权处理,实现动态改变权值,完成对文献[4]的改进,然后将改进的算法与WaDi算法融合,得到性能更好的插值算法。
文献[4]定义对应于逆梯度权值Hl、Hr、Vu、Vl的模板只包含水平和垂直两个方向。在计算每个逆梯度权值时,模板内的两个一维梯度对于权值的贡献相等。只有在插值像素处于水平边缘和垂直边缘时,这样的处理才能准确反映局部梯度变化信息,最终结果也能较好保持边缘信息。但是对于斜边缘,由于模板内的局部梯度不均匀变化,上述处理显然是不合适的。如图4所示,黑色表示像素强度很小,白色表示像素强度很大,灰色表示像素强度居中。f(x,y)为斜边缘上待插值像素,A、C点沿水平方向的梯度更能反映f(x,y)沿水平方向的梯度特征,而B、D点沿垂直方向的梯度则更能反映f(x,y)沿垂直方向的梯度特征。以A、C点为例,当t越小时,A、C点的梯度就越接近Hlu和Hru,反之越接近Hll和Hrl。为此,本文对公式(6)中的Hl和Hr作如下修正:
式(8)中,Hlu=abs(fi,j-fi-1,j),Hll=abs(fi,j+1-fi-1,j+1),Hru=abs(fi+1,j-fi+2,j),Hrl=abs(fi+1,j+1-fi+2,j+1)。当插值点t=0时,插值点位于f(i,j)和f(i+1,j)之间,修正后的H′l完全由Hlu决定,H′r完全由Hru决定,相比文献[4]中的权值公式,修正后的公式更能反映局部梯度特征。将修正后的逆梯度权值代入到文献[4]中的插值函数,得到文献[4]的改进算法。为了充分利用图像的局部不对称性和改进的局部梯度特性,进一步改善插值图像效果,在使用文献[4]的改进算法前,利用WaDi算法修正空间距离。算法具体步骤如下:①按照WaDi算法,利用图像的局部不对称性对空间距离进行初步修正,得到水平、垂直方向上的修正距离S′x和S′y;②用S′x和S′y分别替代式(8)中的t和s,得到改进的逆梯度权值,然后代入式(6)和式(7),得到最终插值结果。
4 实验结果
本实验分别在双线性插值、双三次插值下,对IG-算法、文献[4]的A-算法、文献[5]的Pro-、文献[7]的WaDi插值方法进行比较。文献[4]、[5]、[7]中的算法都采用原文中的默认参数,测试图像大小为Lena(512*512)、pepper(512*512)图像。首先利用Matlab函数imresize对图像进行低通滤波并下采样至256*256,然后通过插值算法恢复到原始图像大小,通过性能评价准则进行差值效果评估。本实验使用峰值信噪比作为评价准则,这种用于图像插值算法分析的方法已经被普遍应用[8]。将算法按照传统插值类型(Bilinear和Bicubic)分两次进行对比分析。为了更清楚地显示对比结果,图5和图6中只显示局部插值结果,其对应算法的峰值信噪比如表1和表2所示。
由表1可知,本文IG-Bilinear算法的峰值信噪比明显优于传统的Bilinear插值算法,高出1.08dB,相比WaDi-Bilinear提高了0.54dB,相比A-Bilinear提高了0.42dB,相比Pro-Bil inear算法提高了0.15dB。从表2可以看出,本文IG-Bicubic算法也明显优于传统的Bicubic插值算法,其峰值信噪比传统Bicubic高出0.70dB,相比WaDi-Bicubic算法提高了0.54dB,相比A-Bicubic算法提高了0.40dB,相比Pro-Bicubic算法提高了0.35dB.
此外,在视觉效果上,本文算法在保持边缘及纹理清晰以及减少锯齿现象上都明显优于传统算法。
为了方便比较,选择Lena图像中细节特征较为显著的帽檐部分,如图5、图6所示。整体上看,传统双线性插值和双三次插值的边缘都比较模糊,这与传统线性插值算法的低通特性相符。WaDi插值算法利用图像局部不对称性,插值结果有所改善,但仍存在边缘模糊和边缘锯齿。而自适应逆梯度插值算法(A-Bilinear和A-Bicubic)和文献[5]的改进算法(Pro-Bilinear和Pro-Bicubic)都利用图像的局部梯度特征来对图像边缘纹理加强,这使得边缘纹理都比较清晰,但仍存在明显的斜边缘锯齿现象。本文算法则解决了边缘模糊,改善了斜边缘的锯齿问题,整体效果优于其它算法。
5 结语
本文提出了一种改进的自适应图像梯度插值算法,通过分析已有基于图像局部逆梯度的自适应插值算法不足之处,对逆梯度权值中的两个一维逆梯度进行自适应加权处理,使得改进的逆梯度能更准确地反映图像各个方向边缘的局部梯度特征。实验结果表明,本文算法不仅在PSNR上优于其它算法,而且很好地解决了图像边缘模糊问题,使斜边缘锯齿问题得到改善。
摘要：为了改善传统线性插值算法产生的图像模糊和边缘锯齿化现象,提出了一种改进的自适应逆梯度插值算法。该算法根据图像局部梯度特征,对已有的基于逆梯度插值算法中的逆梯度权值进行自适应加权,然后与经典的WaDi插值算法融合,得到改进的插值算法。实验结果表明,改进算法插值图像视觉效果和客观评价准则(峰值信噪比上)都有明显提高。
关键词：图像插值,局部逆梯度,自适应算法
参考文献
[1]W K CAREY.Regularity-preserving image interpolation[J].IEEE Trans.on Image Processing,1999,8(9):1293-1297.
[2]H GREENSPAN.Image enhancement by nonlinear extrapolation in frequency space[J].IEEE Trans.on Image Processing,2000,9(6):1035-1048.
[3]X LI,M T ORCHARD.New edge-directed interpolation[J].IEEE Trans.Image Processing,2001(10):1521-1527.
[4]HWANG,J W,LEE,H S.Adaptive image interpolation based on local gradient features[J].IEEE Signal Processing Letters,2004,11(3):359-362.
[5]SHUAI YUAN.High accuracy wadi image interpolation with local gradient features[C].In:Proceedings of 2005International Symposium on Intelligent Signal Processing and Communication Systems,Hong Kong,China,2005:85-88.
[6]LEI ZHANG,XIAOLIN WU.An edge-guided image interpolation algorithm via directional filtering[J].IEEE Trans.Image Processing,2006,15(8):245-250.
[7]G.RAMPONI.Warped distance for spacevaria nt linear image interpolation[J].IEEE Trans.On Image Processing,1999,8(3):629-639.
一种基于梯度保真项的图像去噪法 篇6
图像去噪一直是图像处理邻域中研究的热点问题。近年来, 文献[1]提出的各向异性扩散模型 (简称P-M模型) 以其良好的特性受到人们的广泛关注, 被迅速应用到图像处理的各个邻域中[2], 但随着研究的深入, P-M方法的诸多问题也逐渐显露。其中P-M方法处理所得的图像受 “阶梯”效应干扰 (如图1 所示) , 视觉效果差[3,4]。
为此本文提出了一种利用梯度保真项来消除其不足的方法, 即在扩散方程中引入对图像梯度约束保真项的模型。利用该模型能使得结果图像上的灰度变化和原噪声图像保持一致, 从而防止“阶梯”效应的产生。而且由于该去噪模型保持了低阶的非线性扩散方程的形式, 相对于高阶偏微分方程去噪模型具有数值求解简单、稳定的优点。
1基于梯度保真项的“阶梯”效应处理方法
1.1梯度保真约束模型
假定uT是一个一维的光滑的信号, 如图2所示。
我们在该信号上取两个相邻的点uT (x) 和uT (x+h) , h→0。由于uT是光滑的, uT∈C1, 通过台劳展开式有以下关系:
uT (x+h) =uT (x) +uTx (x) ·h+o (h) (1)
由于在式 (1) 中uTx反映了相邻两个像素之间的变化关系, 如果要在去噪过程中防止“阶梯”效应在此位置发生, 那么我们需要在该位置保持这种变化关系。
假定信号u是从噪声信号u0中重建出来的, 我们希望信号u和真实的信号uT一样光滑:
u (x+h) =u (x) +ux (x) ·h+o (h) (2)
要让两个信号u和uT能够在位置 (x+h) 处保持相似性。这包括两个方面的相似性, 信号的强度和信号的变化信息。因此, 提出了如下的泛函来描述两者之间的关系:
E (u) =∫Ω[α· (u-uT) 2+β· (‖ᐁu-ᐁuT‖) 2]dxdy (3)
式 (3) 中u:Ω→R+表示信号, ᐁ表示梯度算子, 参数α、β等控制每一项的权重, α>0, β>0。上式中 (u-uT) 2描述了两个信号在强度上的相似性, (‖ᐁu-ᐁuT‖) 2描述了两个信号在变化上的相似性。
以上模型虽然是合理的, 但是存在一个问题, 就是在实际的去噪过程中, 真实信号uT是未知的。我们只能从噪声估计出关于uT的一些信息。两个信号在强度上的相似性可以通过关系∫Ω (u-u0) 2dxdy=σ2来估计得到, 但从原噪声图像中估计梯度是一个病态问题[5], 所以在计算梯度时要先对图像进行正则化。本文采用了高斯函数先对图像进行正则化, 然后计算噪声图像的梯度ᐁ (Gσ×u0) 。
通过考虑以上两个方面的内容, 我们得到了以下度量两个信号间相似性的泛函:
E (u) =∫Ω[α· (u-u0) 2+β· (‖ᐁu-ᐁ (Gσ×u0) ‖) 2]dxdy (4)
梯度保真项 (‖ᐁu-ᐁ (Gδ×u0) ‖) 2使得结果图像的梯度变化和ᐁ (Gσ×u0) 尽量一致, 这样就能够保持去噪结果的光滑性, 从而消除“阶梯”效应。如果去噪结果是分段常量的, 由于在分段常量的区域上|ᐁu|≈0, 而从噪声图像上估计得到的梯度信息是‖ᐁ (Gσ×u0) ‖>0, 这会使得正则化项 (‖ᐁu-ᐁ (Gσ×u0) ‖) 2变大, 此时正则化项就会反作用于分段常量的结果, 迫使得到的结果分段光滑。
1.2模型的扩展与讨论
如果将图像看成是一个二维定义域上的曲面, 那么本文引入的梯度保真项本质上是对图像拓扑结构连续性的一种约束。在方程迭代过程中, 梯度保真项使得到的去噪结果的拓扑曲面应和原有噪声图像的曲面尽可能的相似, 这个属性使本文的结果是分段连续的, 克服了已有低阶扩散方法去噪产生分段常量结果的不足。泛函式 (4) 对应的偏微分方程为:
由于式 (5) 是从对约束条件式 (4) 推导出来的, 该约束项也可以和其他的二阶的去噪模型相结合, 如P-M模型等, 使得原有模型能够得到光滑的结果图像:
系数α、β控制模型中各项的权重。这些常量参数、控制函数的选取可以根据文献[6]合理地设置。本文提出的新方法式 (6) 保持了二次偏微分方程的形式, 因此相对于高阶的去噪模型数值稳定性更好。同时实验结果表明, 新引入的约束项 (Δu-Gσ×Δu0) 能够使原有方程克服产生分段常量结果的不足, 结果的视觉效果更好。
2实验结果及分析
下面的实验在Intel centrino 1.73G、512MB内存微机上Windows XP环境用Matlab6.5实现。
由于本文去噪结果得到的是分段光滑的图像。为了更好地比较本文方法和P-M去噪模型、高阶去噪模型的优劣, 本章主要采用了分段光滑区域较多的图像, 如人物肖像图像。所以分别将本文模型与P-M去噪模型和高阶去噪模型进行比较、验证。
图3给出了本文方法和经典的P-M (h=1, △t=0.105, 迭代50次) 方法的实验比较。图3 (a) 是lena原图 ( 512×512, 8bits /pixel) , 图中的白线框区域为下面放大的部分。图3 (b) 为加入高斯白噪声N (0, 0.02) 的图像, 图3 (c) 是P-M方法的结果图, 图3 (d) 是本文方法的效果图, 图3 (e) 是图3 (c) 中放大的细节图, 图3 (f) 放大的用本文方法处理的效果图。从中可以发现利用本文去噪模型方法式 (6) 结果面部比较光滑, 灰度变化缓慢, 而P-M方法结果中存在较多的分段常量区域, 比如在左眼下方和鼻梁等位置。这说明利用梯度保真项能够改善原有P-M方法的不足。
本文采用信噪比来度量以上方法的性能, 图3 (c) 的SNR=11.2423, 图3 (d) 的SNR=12.3554。数据表明, 本文方法处理结果在信噪比方面优于P-M方法, 说明本文引入的梯度保真项是有效的。
第二个实验将本文去噪模型的方法式 (6) 与四阶非线性偏微分去噪模型[7]进行纹理图像去噪的比较, 结果如图4所示。图4 (a) 是含噪图像, 图中的白线框区域为下面放大的部分。图4 (b) 是4.3 (a) 中放大的细节图, 图4 (c) 是高阶去噪模型的结果图, 图4 (d) 是4 (c) 中放大的细节图, 图4 (e) 是本文方法的效果图, 图4 (f) 是放大的用本文方法处理的效果图。实验表明本文的去噪模型式 (6) 通过添加保真项能够较大地缓解在去噪过程中对纹理成分的破坏, 在细节图像上可以清楚地得到这个结论。
下面进一步分析真实图像和去噪结果的图像差的L2模。图像差的L2模能够较好地反映去噪过程中重要图像结构信息的保持效果, 这个量越大说明边缘、纹理等信息丢失严重, 或者产生了严重的“阶梯”效应。
从表1的数据可以发现本文方法能够较好地保持图像中的重要结构信息, 而其他两种方法要么由于“阶梯”效应的产生, 要么由于图像中的结构信息被破坏, 在这个参数上表现较差。
3小结
本文通过考虑去噪前后图像之间在灰度强度和灰度变化信息的相似度, 提出了梯度保真约束模型。它能够更好地保持图像中的边缘信息。同时, 梯度保真约束项导出的Euler方程可以很好地和P-M模型相结合, 改进了原有模型产生分段常量结果的不足。通过新模型得到的图像是分段光滑的, 视觉效果更自然。
本文的方法相对于高阶非线性扩散去噪方法, 具有较低阶的偏导数, 使得数值求解更加稳定、计算效率更高。同时, 本文的方法也克服了高阶非线性扩散去噪方法的导致边界模糊、对高频信息敏感的不足。实验结果表明, 本文的方法是有效的, 能够克服已有方法的不足, 得到更加理想的结果。
摘要：为了解决P-M模型的“阶梯”效应, 在原有的扩散方程中引入梯度保真约束项, 提出了一种基于梯度保真项的非线性扩散图像去噪方法。利用该方法能得到分段光滑的结果, 视觉效果更自然。
关键词：P-M模型,阶梯效应,梯度保真项,图像去噪
参考文献
[1]Perona P, Malik J.Scale-space and edge detection using anisotropic dif-fusion[J].IEEEtrans.on Patt.Anal.and Mach.Intell., 1990, 12 (7) :629-639.
[2]蒋先刚, 罗文俊.基于各向异性扩散的图像平滑与分割技术研究[J].微计算机信息, 2007 (5-3) :313-314.
[3]Whitaker R, Pizer S.A mufti-scale approach to nonuniform diffusion.Computer Vision, Graphics, and Image Processing[J].Image Under-standing, 1993, 57 (1) :99-110.
[4]You Y L, Xu W, Tannenbaum A, et al.Behavioral analysis of anisotrop-ic diffusion in image processing[J].IEEE Transactions on Image Pro-cessing.1996, 5 (11) :1539-1553.
[5]Weickert J.A Review of Nonlinear Diffusion Filtering[J].Proceedingsof the First International Conference on Scale-Space Theory in Comput-er Vision, 1997, 1252:3-28.
[6]Rudin L, Osher S, Fatemi E.Nonlinear Total Variation based noise re-moval algorithms[J].Physica D, 1992 (60) :259-268.
图像梯度 篇7
PCNN是由Eckhorn[4]等根据猫等哺乳动物的视觉原理, 提出来的一种简化神经网络模型, 其处理信号的原理更加符合人类视觉神经系统的生理特性, 并被广泛的应用于图像处理。Broussard[5]等利用PCNN模型来提高目标识别的精确度, 证实了该模型运用于图像融合的可行性。
文献[6]针对融合图像产生的伪吉布斯和偏暗或偏亮现象, 提出了复合型PCNN的NSCT域多聚焦图像融合方法。文献[7]提出的基于NSCT与PCNN的自适应图像融合, 较好的消除伪吉布斯现象和保留源图像信息。文献[8]算法的融合图像在边缘等细节上得到了较好的视觉效果。因此, 本文结合NSCT和PCNN处理图像的优点, 针对传统图像融合在保留源图像信息、提取细节不足, 清晰度等方面, 提出了一种基于NSCT和PCNN的改进梯度图像融合算法。
1 非采样Contourlet变换
非采样Contourlet变换[9]由非采样金字塔 (Nonsubsampled pyramid filter, NSP) 和非采样方向滤波器组 (Nonsubsampled directional filter bank, NSDFB) 组成, 将多尺度分解和多方向分解分开进行。如图1所示, 图像首先采用非采样金字塔滤波器进行多尺度分解, 然后对分解得到的各尺度子带图像, 进行非采样方向滤波器组方向分解, 得到不同尺度和不同方向的带通方向子带图像。由于NSCT没有采用上采样和下采样, 所以分解得到的子带图像和原图像的尺度相同, 即具有平移不变性。
2 PCNN模型
PCNN由若干个PCNN的神经元相互连接而成, 是一个单层的二维横向连接的反馈型网络。单个神经元模型由接收域、调制域和脉冲产生域三部分组成。
本文采用改进的PCNN模型[1], 单个神经元模型如图2, 对应的数学表达式如式 (1) 。
3 基于NSCT和PCNN的图像融合
假定源图像已经过几何配准处理, 图像融合的流程图如图3, 具体融合步骤如下:
(3) 对融合后的系数NSCT反变换, 得到融合图像F。
3.1 低频融合规则
图像的低频部分反映了图像的主要能量和近似轮廓特性, 目前常用低频平均的方法选取系数, 没有考虑到边缘特性, 影响图像的融合质量和视觉效果。本文低频采用文献[1 0]的基于空间频率 (Spatial frequency, SF) 的方法, 有效的提取图像的边缘特征信息。
对图像矩阵MN的空间频率, 定义如下:
其中, RF和CF分别表示空间行频率和列频率。
低频子带系数选取步骤如下:
(1) 通过3×3滑动窗口测量低频子带系数的SF;
(2) 将SF作为PCNN的输入激励, 并根据式 (1) ~ (2) 来产生PCNN点火脉冲, 计算点火次数;
(4) 根据式 (6) 选取低频融合系数。
3.2 高频融合规则
高频部分主要反映图像的边缘和细节信息, 人眼对此最为敏感。为了更好的保留高频的边缘和细节信息, 本文采用八方向Sobel算子模板检测[11]高频子带系数的改进梯度, 作为PCNN的输入激励, 通过神经元的点火次数和一致性检测, 选取高频融合系数。
Sobel八方向模板能检测0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°八个方向的边缘梯度, 可有效提取边缘细节信息, 模板如图4。
通过Sobel算子八方向模板Si (i=1, 2, …8) , 对图像的每个像素点进行邻域卷积, 提取图像的边缘成分, 即:
则图像像素点的梯度值为:
图像的细节信息越丰富, 则表现在频域内高频分量越多, 空间域内邻域像素的特征值变化越大, 图像的梯度值越大。因此, 本文提出图像MN邻域内改进的梯度, 如式 (9) 。图像的边缘细节越丰富, 越能更好的反映图像的边缘信息。
高频子带系数选取步骤如下:
(1) 利用八方向Sobel算子模板求取高频子带系数的边缘梯度值g (i, j) ;
(2) 求MN (本文用3×3) 邻域内边缘梯度值g (i, j) 的改进梯度G, 并作为PCNN脉冲输入激励, 并根据式 (1) 和 (2) 来产生PCNN点火脉冲, 计算点火次数Tij;
(3) 如果图像A和B的高频子带点火次数, 即TAijn大于或等于TBijn, 则判决值Dk, l (7) i, j (8) (28) 1, 否则为Dk, l (7) i, j (8) (28) 0。
为了保证判决值的准确性, 运用一致性检测进行修正, 即如果Dk, l (7) i, j (8) 的3×3邻域内至少有5个值为1 (或为0) , 则Dk, l (7) i, j (8) 取1 (或0) 。
(4) 根据式 (10) 选取高频融合系数。
4 仿真实验
本文采用matlab2011作为仿真工具, 选取两组实验验证提出算法的优越性, 实验一用多聚焦图像融合, 实验二用医学图像融合。同小波变换 (方法一) 、基于NSCT的方法 (方法二) 和NSCT-SF-PCNN[10] (方法三) 的融合方法相比较。前两种方法均采用低频平均、高频取模值最大的融合规则。方法一中小波基采用“db1”进行一级分解。方法二、三和本文方法, NSCT尺度分解和方向分解滤波器分别采用“9-7”和“pavk”滤波器, 分解层数均为4层。
PCNN最大迭代次数150, 参数设置[1,10]如下:
客观评价[1,12]采用空间频率SF、标准差SD、信息熵H和加权边缘信息保留值QAB/F等指标, 对上述四种方法进行评价。SF反映图像空间域的整体活跃度, SD反映图像像素的分布, H表示图像包含的信息量, 三者的值越大, 图像的融合质量越好。QAB/F表示源图像的边缘信息在融合图像中的保留程度, 其值越大, 保留源图像的边缘信息越好。
多聚焦源图像及融合结果如图 (5) ~ (10) 所示。从视觉效果上看, 本文方法比方法一、二图像清晰, 边缘一致性好, 细节突出, 具有良好的融合结果, 与方法三比较融合图像基本一致。从客观的评价指标看, 实验结果如表1, 本文方法的四种指标都高于其他三种方法, 与视觉效果保持一致, 表明本文的方法优于其他三种方法。
实验二采用CT/MRI医学图像融合, 源图像及融合结果如图 (11) ~ (16) , 评价指标如表2。从视觉效果和评价指标, 可以得出与多聚焦图像融合相一致的结论, 证实了本文方法的优势。
5 结语
本文提出了一种基于NSCT和PCNN的改进梯度图像融合算法, 该方法的特点是将低频的空间频率, 高频采用提出的一种新的改进梯度, 作为PCNN输入激励, 根据点火映射图选取低频和高频融合系数。最后通过实验, 对本文提出的算法进行主客观的分析。无论从主观视觉, 还是客观指标的评价, 本文算法优于常用的算法, 取得了较好的效果。融合图像保留更多的源图像信息, 边缘一致性好, 清晰度高。
摘要：针对传统图像融合提取细节和边缘信息的不足, 提出了一种基于非采样轮廓波变换 (NSCT) 和脉冲耦合神经网络 (PCNN) 的改进梯度图像融合算法。首先源图像经过NSCT分解, 得到低频和高频子带系数;其次将低频子带系数的空间频率, 高频子带系数采用八方向Sobel算子检测的改进梯度, 作为PCNN的脉冲输入激励, 根据不同的点火映射图选择低频和高频的融合系数;最后通过NSCT反变换得到融合图像。实验结果表明, 本文算法比小波方法、传统NSCT方法和NSCT-SF-PCNN方法图像融合效果好。融合图像的信息丰富, 清晰度高, 保留更多的边缘细节信息。
关键词：图像融合,非采样轮廓波变换,脉冲耦合神经网络,改进梯度
参考文献
[1]闫敬文.数字图像处理 (MATLAB版) [M].北京:国防工业出版社, 2011:193-197, 235-244.
[2]Do M N, Vetterli M.Contourlets:a directional multiresolution image representation[C].IEEE International Conference Image Processing, 2002, 1:357-360.
[3]Do M N, Vetterli M.The contourlet transform:an efficientdirectional multiresolution image representation[J].IEEE Transactions on Image Processing, 2005, 14 (12) :2091-2106.
[4]Eckhorn R, Reitboeck H J, Arndt M, et al.Feature linking via synchronization among distributed assemblies:Simulations of results from cat visual cortex[J].Neural Computation (S0899-7667) , 1990, 2 (3) :293-307.
[5]Roussard R P, Rogers S K, Oxley M E, et al.Physiologically motivated image fusion for object detection using a pulse couple neural network[J].IEEE Transactions on Neural Networks, 1999, 10 (3) :554-563.
[6]张宝华, 吕晓琪.一种复合型PCNN的NSCT域多聚焦图像融合方法[J].小型微型计算机系统, 2014, 35 (2) :393-396.
[7]纪峰, 吴仰玉, 常霞, 等.基于NSCT与PCNN的自适应图像融合[J].宁夏大学学报 (自然科学版) , 2013, 34 (2) :168-172.
[8]任风华, 符强, 纪元法.基于NSCT与自适应PCNN的多聚焦图像融合方法[J].计算机测量与控制, 2013, 21 (8) :2206-2208, 2237.
[9]Chuna A L, Zhou J, Do M N.The nonsubsampled contourlet transform:theory, design and applications[J].IEEE Transactions on Image Processing, 2006, 15 (10) :3089-3101.
[10]QU Xiao-bo, YAN Jing-wen, XIAO Hong-zhi, et al.Image fsion algorithm based on spatial fequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Acta Automatica Sinica, 2008, 34 (12) :1508-1514.
[11]刘俊定, 范新南, 丁朋华, 等.基于改进Sobel算子的多仪表图像边缘检测算法[J].科学技术与工程, 2012, 12 (19) :4691-4696.
