关键词： 图像
全景图像（精选七篇）
全景图像 篇1
近年来, 以图像绘制为基础的全景图虚拟实景技术成为计算机图形图像人员研究的热点。全景图虚拟现实技术的核心有两个。一是全景图像的拼接。即通过照片如何合成确定格式的全景图像。二是全景图的显示。拼接好的全景图像都有很大的变形, 不能直接观看, 要通过合适的程序处理和显示, 才能看到与现实一致的图像。其中全景图像的拼接是基础, 拼接的算法将对开发出来的软件的使用方法和易用性有直接的影响。
目前全景图技术可分为柱形全景、方形全景、球形全景。对于柱形全景的拼接, 有基于仿射变换[1]和基于透视变换[2]的两种算法, 柱形的算法较球形和方形的简单, 但缺点是最终得到的场景信息不完整。对于全方位的全景 (球形和方形) , 目前大多数全景制作软件所用的图像拼接方法为light field方法[3]、lumigraph方法[4]或者同心圆拼图法[5]。其中light field方法是由M.Levoy 和P.Hanrahan 提出的, lumigraph方法由S.Goertler 提出, 这两种方法把场景限制在立方体中, 表示比较复杂, 通过对自由空间进行密集采样来表示全景信息, 这一表示可以支持任意角度的观察, 但是需要巨大的数据量, 而且方法也复杂。而Heung-Yeung Shum 提出的同心圆拼图方法, 和light field、lumigraph 相比, 同心圆拼图法生成的文件较小。同心圆拼图法可以不用恢复几何和照片空间的模型, 用户可以在圆的范围内自由的移动。而这些方法需要的参数 (或条件) 非常多, 所以实现起来只能是半自动化, 一般制作过程中需要用户输入镜头参数, 并且要进行繁琐的对应点寻找的工作, 而这些工作使得非专业人士难以胜任, 使得全景图的制作成本不能降低。而本文将提出球面自寻匹配的拼接算法, 所有拼接的参数都由程序自动计算, 程序可以完全自动化地工作。
1 球面自寻匹配算法
球面自寻匹配拼接算法的计算过程是把多幅图像映射到一个合适的球面上, 自动调整每幅图像的插入点, 使得重合位置的差值图像灰度累积平均值最小, 然后球面的图像反映射成平面形式, 最终得到拼合图像。
先考察照片与球面像素的映射方式。如图1所示, 一幅拼接好的全景图像按经纬度映射到一个矩形纹理图像上的点, 经度映射成矩形的水平坐标, 纬度映射成垂直坐标。这样, 球面极坐标可以直接使用矩形纹理图像的水平垂直坐标。在这个纹理图像中, 最明显的变形就是水平方向的拉伸变形,
在赤道上几乎没有拉伸变形, 越接近南北极点, 变形就越厉害。
而右边的长宽比为2:1的经纬映射图像就是我们要拼接制作的结果, 它是由照片经过处理变形而成的。考虑鱼眼镜头得到的水平和垂直视角都超过180度的超广角照片 (如图2) 。
图2为一张视角为183度角的鱼眼照片。角鱼眼图像可以通过如下方式投影到一球面上, 可取得与前述经纬映射一样的效果:把图像按图3方式建立坐标系, 把图像中心像素定位在球面一点 (如与x轴正方向相交点) 作为纹理中心点, 取一个合适的距离r, 以r为半径的一圈像素对应球面上与纹理中心点向量垂直的圆的一圈像素, 如, 若取x轴正向交点为纹理中心点, r圆像素将对应球与YOZ平面交线圆的像素。而其他的点, 以角度与半径成正比的方法变换至球面上, 如图像上的P点, 半径为rp, 与U轴夹角为α, 则在球面上的位置如图4所示。
由于照片中赤道的位置几乎不变形, 所以图3中的r值可以按如下方法估算:从两幅图像中赤道的位置取出行数为3-5行, 然后按图5的方法叠合:图像2从左向右移动, 在重合带处计算颜色灰度值的差值图像, 从左至右进行不同位置的比较, 取得一个重合带差值图像像素灰度值总和最小的位置, 然后按同样方法在图像2的右端叠合图像1。当右端重合带的差值图像灰度总和最小时, 右端的图像1位置也确定下来, 此时, 计算两个图像1的中心位置的像素距离, 此距离为4r0。由于照片拍摄时相机的位置有位移误差, 所以此方法估算的r值不会绝对准确, 但会接近准确值。根据笔者的经验, 拼合计算时可取:
0.8r0<r<1.2r0 (1)
进行扫描计算。即在 (1) 式范围内每隔一个Δr (如取Δr=0.01r0) , 按照下文的式 (2) (3) (5) (6) 计算, 最后记录和比较计算结果, 取结果为最小值时的参数条件。
如果为两幅鱼眼图像, 可以x轴的正负方向的两个交点作为纹理中心点, 把鱼眼图像向球面映射, 如果两幅鱼眼图像拍摄的时候光学中心相同, 方向相差180度, 而且曝光锁定, 则两图像在球面上重合处的像素的颜色正好相同。如果光学中心相同, 方向有误差, 则可调整其中一幅图像的纹理中心点的位置。如图6所示, 纹理中心点经过如下方法变化到Q点:赤道圆绕x轴旋转ξ角, 纹理中心点在此圆上再旋转η角。会存在一个合适的ξ、η角, 使两图像在重合处颜色灰度值相同。若相机除了纯旋转运动, 还有位移偏差, 则有可能无法找到一个新的纹理中心点使图像重合处完全相同, 这时, 可取图像相差最微小的位置。用一个重合位置的差值图像灰度累积平均值描述, 当其值为最小时图像的位置合适:
其中N代表重合带的平均灰度差。ΔDr、ΔDg、ΔDb为重合处像素的红、绿、蓝灰度差。λ为取值0或1的系数, 在重合位置取1, 非重合位置取0。θ、Φ见图1 (b) , 代表球体的经纬度。t为球面像素的高度与半径之比, 可根据经纬图像中像素所处的行数方便地计算,
再考察当纹理映射改为以Q为纹理中心点时, 经纬度为θΦ的点 (如图7) 在图6中对应纹理点的位置。纹理中心点移到Q后, 相当于把原坐标系旋转, 使新x轴与球交于Q点, 则A点在新坐标系中的坐标为:
其中R (ξ, η) 为旋转矩阵[6]:
其中ξ, η的取值范围为0<ξ<2π, η可限定为0<η<10°。
对照图3的纹理映射方式, 可由A′的坐标求得纹理极坐标:
综上所述, 全景图像的拼接过程为:先根据图5的方法估算r0值, 根据式 (1) 中r值的取值范围和式 (4) 中ξ、η的取值范围, 对每幅照片搜索寻找出合适的r、ξ, η。搜索寻找的计算过程为:对照片的每个可能的纹理中心点 (每对ξ, η值) , 都以低精度绘出一幅经纬映射图, 对于经纬映射图的每个像素 (每对θ、Φ) , 以式 (3) 转换坐标系, 然后以式 (5) (6) 寻找出照片中的对应像素, 复制填入。经纬映射图绘出后, 根据式 (2) 计算重合带的平均灰度差N。比较不同的条件下 (不同的r、ξ、η) 的平均灰度差值, N值最小的条件为所求, 以该条件再以高精度绘画一次经纬映射图, 该经纬映射图就是拼接好的全景图像。以上讨论的方法适用于球形全景, 对于柱形全景, 调整一些参数后也能适用。
以上理论在广州凌景数码科技有限公司的全景图软件LimnPano中得到了应用。LimnPano利用该算法拼接和运行的效果请参见文献[7]。
2 结 论
本文针对全景图制作的自动化, 提出球面自寻匹配的拼接算法。该算法中, 除读入照片本身外, 所有拼接的参数都由程序自动计算, 不需要用户输入任何参数或做其他复杂的工作, 只需读入原始图像, 程序就可以完全自动化地工作, 实现工作流程的傻瓜化, 从而使制作成本得以降低。该方法已在商业软件产品中得到应用和验证。
参考文献
[1]Richard Szeliski.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications, 1996, 16 (2) :22-30.
[2]Szeliski R, Kang S B.Direct Methods for Visual Scene Reconstruction[C].IEEE Workshop on Representation of Visual Scenes, Cambridge, MA, 1995:26-33.
[3]Levoy M Hanrahan P.Light field rendering.SIGGRAPH’96Proceed-ings, 1996:31-42.
[4]Gortler S J, et al.The Lumigrph[A].Computer graphics[C].Annual Conference Series ACM1996:43-54.
[5]Shum HY, He L W.Rendering with concentric mosaics[C].Computer Graphics, ACMSigraph’991999:299-306.
[6]DONALD HEARN, PAULINE BAKER M.计算机图形学[M].第二版.蔡士杰, 等译.北京:电子工业出版社, 2002, 5:332-333.
光纤面板透光图像暗影缺陷全景检测 篇2
关键词： 光纤面板； 图像拼接； 暗影缺陷； 全景图
中图分类号： TN 247文献标志码： Adoi： 10.3969/j.issn.10055630.2014.05.002
引言
光学纤维面板[1]，简称光纤面板，是近些年提出的一个重要的光子元件。由于其具有很高的分辨率和集光能力等特点，已成为光电成像器件及系统不可缺少的重要组成部分。然而由于在光纤面板的制造过程中受各种不可控因素的影响，使得光纤面板存在各种缺陷[2]，由此严重影响传像质量，因此对这些缺陷的检测就具有很高的现实意义。本文利用先进的图像处理技术，实现了对光纤面板的暗影缺陷的全检测。
1图像采集
利用数字图像处理技术[3]实现对光纤面板（OFP）透光图像暗影全景检测的流程，如图1所示。
the transparent image图像采集是通过光纤面板透光图像采集系统[4]采集多张具有共有部分的图片作为预拼接图像。图像采集时，按镜头垂直光纤面板面并平行移动的方法进行取图，取图方式如图2所示。在移动过程中，若移动距离过大会导致图像间重叠区域过少而无法进行准确的匹配；而移动距离过小则重叠区域过大，匹配特征点过多，计算量过大。经多次实验，相对于实验型号为Φ35.56 mm×9.8 mm的台阶式纤维面板，最理想的平移距离是9 mm左右。
2图像预处理
图像去噪在整个图像预处理中占据重要的位置，是图像处理的初始步骤，有效提高了图像的质量，使得高层处理更加准确，决定了图像配准和图像融合的可行性和准确性。本文利用线性滤波[5]处理方法对CCD噪声和光源不均匀产生的干扰进行了去噪处理。在完成降噪之后，再对取出图像进行灰度化、背景扣除[6]等预处理，经过上述处理后有效地校正了光纤面板透光图像的灰度失真和几何失真，如图3所示。
3特征匹配
本研究匹配步骤需要实现在不同时刻、同视觉角度下拍摄的图片进行空间上的对齐与灰度上的融合。由图像获取方式的特殊性，即对单筒显微镜在计算机视觉中的成像结果进行匹配，算法特点需要容忍图像灰度变化对配准造成的影响，所以选取了适用性强的基于特征点的图像匹配算法。
3.1利用Harris[7]算子提取特征点
Harris是一种对Morvaec算法改进的算子，它利用一阶偏导函数来描述亮度的变化。Harris角检测的主体思想是利用自相关函数来寻找图像信息发生二维变化的位置：M=exp-x2+y222
3.2将特征点匹配
对两幅光纤面板透光图像提取了特征点及其指向方向后，接着便要对其进行匹配，即寻找相互对应的特征点对。为了去除无效的特征点，本文采用了双向最大相关系数法和相邻特征点之间的空间关系相结合的匹配方式。该方法可以去除无效特征点并能准确地提取出相匹配的特征对。采用相关窗的办法匹配特征点，设P1i=M1i（xi，yi）是第一幅图像M1的第i个兴趣点，其主方向为α1；P2j=M2j（xj，yj）是第二幅图像M2的第j个兴趣点，其主方向为α2；α=α1-
6结论
从暗影检测结果可见，本文在光纤面板缺陷检测中应用了图像拼接技术，能够准确、有效地检测出光纤面板中所存在的全部暗影，且检测结果更具有代表性，更具备实用价值。但因受图像拼接时的边缘特征影响，拼接完成后的全景图产生了一定的形变，对暗影缺陷的精度有一定的影响，系统自动化程度有待提高。
参考文献：
[1]TOKANAI F，SAKURAI H，GUNJI S，et al.Characteristics of optical imaging capillary plate gas detector with fiber optic plate[J].Nuclear Instruments & Methods in Physics Research Section A，2007，571（12）：289293.
[2]顾肇业，林树范，朱瑞明，等.GB 11447-89光纤面板测试方法[S].北京：机械电子工业部，1989.
[3]李志伟，苏志勋.图像拼接技术中若干问题的研究[D].大连：大连理工大学，2005.
[4]王明吉，吴云，付东华.基于小波域维纳滤波的光纤面板暗影检测[J].光学仪器，2011，33（5）：59.
[5]徐美芳，韩焱，董剑龙.数字射线图像降噪中的线性滤波方法[J].无损检测，2005，36（4）：3235.
[6]胡耀垓，赵正予，王刚.基于小波的光谱信号基线校正和背景扣除[J].华中科技大学学报，2011，88（6）：3640.
[7]黄帅，吴克伟，苏菱.基于Harris尺度不变特征的图像匹配方法[J].合肥工业大学学报，2011，34（3）：6568.
智能手机全景图像拼接算法研究 篇3
关键词：图像拼接,智能手机,全景图像,图像配准
0 引言
随着科学技术的发展以及生活水平的提高,人们对手机的要求已经不仅仅是接打电话和收发短信,消费者对手机的选择依据也从颜色、大小等外观样式,慢慢转变为内存、核心数、电池容量等性能参数。但有一项功能自问世以来便一直是人们关注的焦点,即手机的拍照功能。
较少有人知道,夏普公司于2000年推出了世界上第一款配置内置摄像头的手机,与现在动辄几百万像素的摄像头相比,当时的摄像头仅为10万像素,但即便在当时,该款手机也并未引起巨大反响。国内消费者真正接触拍照手机是在2002年,第一代拍照手机登陆包括中国在内的世界范围市场,当时推出的诺基亚7650手机拥有30万像素的摄像头,是中国市场中第一款拍照手机。
现在,不仅手机摄像头的像素在不断增加,手机拍照功能也在不断丰富。 以苹果公司2015 年9 月推出的iPhone 6s为例,该款手机在硬件方面拥有1 200万像素的摄像头,软件功能上也拥有光学防抖、延时摄影、慢动作视频以及全景照片拍摄等功能。由于手机摄像头拍摄视角相对较小,用户难以将看到的场景完全拍摄下来,而手机全景照片的拍摄功能则能很好地解决该问题。
1 全景图像拼接算法
1.1 全景图像拼接过程
全景图像拼接技术是图像处理、计算机图形学和虚拟现实等领域的重要研究课题,同时在医学、旅游、空间探测和军事等领域等都有着广泛应用[1]。全景图像拼接指将一系列有重叠边界的普通图像进行无缝拼接而得到全景图像的过程[2]。全景图像拼接主要分为图像预处理、图像配准以及图像融合几个步骤,其中图像配准算法与图像融合算法是图像拼接算法的关键。图像配准算法是根据一定匹配方法,找到匹配图像与参考图像中的对应关系。其通常有着较大的计算量,而图像拼接算法的发展又较依赖于图像配准算法。通常人们使用点匹配方法进行图像配准,其不足之处在于准确度低、速度慢,又常常需要人工选择初始匹配点[3]。不同的图像拼接算法可能会有部分步骤上的差异,但整体过程大致相同。
1.2 图像配准算法
在图像拼接算法中,图像配准步骤是较为关键的一环,其中尤以基于特征的图像配准算法为典型代表。国内外对于图像配准的相关算法都有大量研究。基于特征点的图像匹配算法始于1977年Moravec[4]提出的角点检测概念,但Moravec算子对于噪声较为敏感,且不具备旋转不变性;Harris和Stephens[5]于1988年提出Harris算子,其与Moravec算子相比具有旋转和灰度不变性,且有着更高的检测率和重复率;1997 年,Smith和Brady[6]提出了SU-SAN(Smallest Univalue Segment Assimilating Nu-cleus)局部检测算子,该算子对局部噪声不敏感,抗干扰能力强;在基于特征的图像配准算法中,最具影响力的当属Lowe[7]在1999 年提出的SIFT(Scale Invariant Feature Transform)算法,其本人在2004年[8]对算法进行了进一步总结与完善,使SIFT特征描述符具有对图像灰度变化、旋转、缩放甚至仿射变换等保持不变性的优点;Bay[9]于2008年提出了SURF(Speeded Up Robust Features)局部算子,引入了积分图像,并以二阶标准高斯函数作为滤波器来提高配准速度。
2 全景图像拼接技术
根据图像拍摄过程中摄像头是否固定,可以将全景图像拼接技术分为静态全景图像拼接与动态全景图像拼接两类。
2.1 静态全景图像拼接
静态全景图像拼接指拍摄过程中摄像头暂时固定,先按照顺序分别拍摄几个分镜头,之后通过全景图像拼接算法将分镜照片拼接融合为一张全景照片的过程。其过程无需手机传感器的参与,仅根据图像本身进行拼接。IOS系统的全景图像拼接软件Panorama将3幅照片进行拼接的过程如图1所示。首先打开软件进入拍摄界面,为了保证图像的拼接效果,拍摄第1幅图像后该软件会自动将上一幅单镜照片的最右侧以投影方式呈现在屏幕左侧,将第2幅单镜照片左侧与上幅照片右侧对齐后,继续拍摄下一幅照片。合成效果如图2所示。
2.2 动态全景图像拼接
动态全景图像拼接指在拍摄过程中摄像头按照一定速度转动或平行移动,画面根据镜头移动而动态地将画面像卷轴似的扩展过程。IOS系统自带的全景照片拍摄过程如图3所示。首先打开相机,选择“全景”功能,点击屏幕上的快门按钮,根据提示持续移动手机,并将箭头保留在中心线上。拍摄完成后,按下停止键,全景图像效果如图4所示。
2.3 技术分析
从上述过程可以看出,静态全景图像拼接在单幅照片拍摄时镜头是静止的,通过辅助手段(文章示例中利用上幅图片的阴影图像)对照片进行对齐与配准工作,并在合成过程中利用图像拼接算法将单幅图像合成为全景图像。其优势在于可以对单独拍摄的照片进行拼接,拼接过程不需要传感器参与,对设备要求较低。但相对动态全景图像拼接而言,其拼接效果较为一般,拼接处理过程花费时间较长,在实际使用手机时会有“卡顿”现象。
动态全景图像拼接利用智能手机中的三维传感器,通过人为控制,将图像的拍摄尽可能保持在水平轴不变,动态地将图像投影到轴线上并完成图像的拼接过程。其优势在于利用了手机中的三维传感器,使拼接效果较为出色,而且拼接过程较快,但拍摄者必须持续移动手机拍摄,过程较为不便。
3 结语
经过十几年的发展,手机的拍照功能已融入到人们日常生活的方方面面。本文对全景图像拼接算法进行了讨论,并对手机全景图像拼接技术进行分类,分析了各自的优势与不足,并对静态全景图像拼接与动态全景图像拼接技术进行了比较分析。图像拼接算法是数字图像处理中的研究热点,全景图像拼接算法的优劣直接影响手机用户的体验。未来智能手机全景图像拼接算法应在提高算法拼接精度、运算速度以及针对手机硬件的优化等方面进行深入研究。
参考文献
[1] 李晓娟.图像拼接技术研究[D].西安:西安电子科技大学,2007.
[2] 王仲训,丁挺,丁晓丹,等.一种全景图像拼接算法的实现[J].工程图学学报,2006(2):112-116.
[3] 王娟,师军,吴宪祥.图像拼接技术综述[J].计算机应用研究,2008,25(7):1940-1943.
[4] MORAVEC H P.Towards automatic visual obstacle avoidance[C].Proceedings of 5th International Joint Conference on Artificial Intelligence,MA,USA,IFCAI,1977(2):584-584.
[5] HARRIS C,STEPHENS M.A combined corner and edge detection[C].Proceedings of 4th Alvey Vision Conference,Manchester,UK:AVC,1988:147-151.
[6] SMITH S M,BRADY J M.SUSAN:a new approach to low level image processing[J].International Journal of Computer Vision,1997,23(1):45-78.
[7] LOWE D G.Object recognition from local scale-invariant features[C].Proceedings of the 7th International Conference on Computer Vision,Corfu,Greece:ICCV,1999:1150-1157.
[8] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
全景图像 篇4
常用的目标检测方法主要有帧间差分法[1]、背景减除法和光流法。在固定摄像机的背景模型下, 背景减除法是一种应用广泛且有效的目标检测方法。它把当前图像与已经建立好的背景图像进行相减得到原始差分图像, 然后进行二值化和形态学变换得到前景图像。全景图像包含了水平与垂直度的视角信息, 背景相对复杂, 增加了背景易受到背景光照变化、摄像机抖动和反复运动的背景干扰, 经常导致运动目标误检测建模的难度。同时因为其较高的分辨率, 导致在背景建模的过程中需要较高的运算量, 影响运动目标跟踪的实时性。当前常用的背景建模方法主要有混合高斯模型法[8]和非参数模型法[2]。混合高斯模型需要事先设定模型及参数优化方法, 不适应背景复杂的全景运动目标检测要求。基于非参数模型的核密度估计算法, 其使用不需要事先给出具体的背景分布模型, 也不需要进行参数估计就可以进行背景建模。但此方法运算量大, 实时性不高。本文提出一种核密度背景估计法与混合差分法相结合的运动目标检测算法。其弥补了核密度估计背景模型的运算量大实时性不高的缺点, 具有很好的效果。
一、混合模型的目标检测
1.1系统介绍。
基于非参数模型与帧差法混合模型的运动目标检测的基本思想:首先根据设定的样本容量提取样本, 并对样本进行处理。然后对输入的图像进行高斯低通滤波以平滑图像, 对输入的图像序列再提取连续四帧, 用混合帧差法及自适应阀值更新算法初步检测出目标区域, 同时根据初步检测结果更新样本, 最后用核密度估计方法提取运动目标并进行样本更新[3]。流程图如图1所示:
1.2非参数模型。
非参数背景模型利用核函数密度估计算法从样本中估计出一个背景模型, 通过此背景模型与当前帧进行比较即可分割出前景图像, 核函数估计出的样本值理论上收敛于背景值。
本文选择高斯函数作为核函数, 高斯函数与其它核函数相比, 虽然计算相对复杂, 但其更能准确的估计出前景图像, 更加适用于背景复杂的全景图像的运动目标检测。根据文献[6], 假设 (i, j) 位置的灰度像素值的局部分布为N (μ, h) , 则 (x (i, j) -xk (i, j) ) 服从N (0, 2h2) 。则估计值的概率密度分布为:
窗宽h的计算方法如下:
根据高斯分布及中位数的定义, 样本的绝对差中位数m满足
查标准高斯分布侧分位数表, 得, 则:
所以窗宽可以由样本估计得到:
1.3混合帧差法获得目标区域
1.3.1获取前景运动区域。
混合帧差法的基本思想是, 提取连续4帧图像作为最初帧差法的样本。将此样本中的第一帧与最后一帧做差分, 获取这段区域的范围。然后用后三帧图像做连续差分, 将所有的差分图像相与[4]。使用阀值分割, 获得二值图像, 再用形态学变换与滤波处理, 最后获得前景区域。这时获得的前景区域可能包含多个误检测, 这样做与正常的差分法相比, 主要是为了获得比运动目标尺寸更大的前景区域, 以防止在接下来使用核密度估计方法时检测出的运动目标不完整。
1.3.2自适应阀值分割。
根据高斯背景模型理论, 对于每一个背景像素点近似服从高斯分布, 设高斯分布的均值为μ, 方差为, 则如果样本足够大的值会大量分布在0的周围, 也就是说的值落在区间的概率比较大, 这里为了调节区间大小给公式增加一个系数a, 即。满足这个公式, 我们则认为是前景像素。于是我们可得阀值分割公式为:
其中为第k帧的前景图像, μ为样本均值, 为样本方差, 其计算公式如下:
其中x (i, j) 为当前帧 (i, j) 位置的像素值, xk (i, j) 为 (i, j) 位置样本值。
将3幅帧差图像使用自适应阀值分割并二值化得:
其中, , , 为k, k-1, k-2时刻的二值图。将所有二值图像相加, 经过滤波与形态学变换可得前景图像,
如图2所示。
1.3.3样本更新。
对当前帧全景图像进行检索, 如果被检索的像素点属于二值图的子块 (对应二值图像中白色区域) , 则把该像素点最早的样本值删掉, 将当前像素点的值添加为新的样本, 并记录更新次数用于下次更新时确定最早样本点, 完成第一次样本更新, 公式如下。
样本集合中, 其中为样本中最早的像素值, 为当前帧像素值。
1.4 核函数估计算法检测运动目标[5]。
用核密度估计算法对当前帧全景图像进行检索, 如果该像素点属于二值图的子块, 则利用核密度估计方法计算出该像素点的估计值, 并与阀值T相比较。如果概率值小于T, 则判定为前景。如果概率值大于T, 则判定为背景。公式如下:
至此就提取出了背景图像和前景图像。
二、实验结果及分析
经过多次测试, 公式9的系数取a=1.51, 核密度函数估计的阀值取T=0.005.。
在Matlab 2010b环境下实现提出的算法, 对视频3.avi进行仿真实验。视频每帧图像大小为240*320的彩色图像, 共含540帧, 试验结果如图4所示。
由图4可以看出, 由混合高斯模型获得的前景图像受光照变化和全景设备遮挡、反光等影响出现了多个误检测区域。本文算法不仅可以保证实时性的要求, 而且可以有效消除阴影、反光和场景亮度变化的影响[7]。
三、结束语
本文提出了一种利用混合帧差法与核密度估计方法相结合的运动目标检测方法, 通过混合帧差法与自适应阀值分割获取前景运动区域, 然后应用核密度估计算法检测前景图像。此算法可有效的减少单纯利用核密度估计算法的运算量, 并且可有效地克服单纯利用帧差法难以克服背景扰动的难题。经过大量的视频检测试验证明了算法的有效性。
参考文献
[1]甄景蕾.基于全景视觉的运动目标检测与跟踪算法研究[D].哈尔滨工程大学, 2008.
[2]魏星, 蒋建国, 等.智能视频监控系统中运动目标检测与跟踪技术的研究及其DSP实现[D].2005, 15 (5) .
[3]曹朋, 张鹏.一种新的混合模型运动检测算法[J].计算机工程与应用, 2012, 48 (31) :171-175.
[4]张正华, 许华.等.基于背景差分与混合差分的运动目标检测[J].信号与信息处理, 2012, 14 (5) :45-50.
[5]毛艳芬, 施鹏飞.一种运动目标检测的多模态非参数背景模型[J].上海交通大学报, 2005, 26 (9) :134-137.
[6]ElgammalA, HarwoodD, DavisL.Non2parametric, model, for, backgroundsubtraction, [A].The, 6thEu-ropeanConferenceonComputerVision[C].Dublin:Ireland, 2000:751-767.
[7]张忠民, 李颖晶, 等.一种基于全景视觉的运动目标检测方法[J].电子科技, 2012, 25 (6) :6-9.
全景图像 篇5
关键词：鱼眼镜头,全景监控,畸变校正,高清传感器
鱼眼镜头全景摄像机有四大关键技术,即鱼眼镜头、高像素传感器、处理软件和虚拟PTZ。上述四大技术中,高像素传感器和虚拟PTZ技术基于近年高清传感器以及数字技术的迅猛发展已逐渐成熟,而鱼眼镜头及其处理软件还存在一些问题。虽然多路视频全景摄像机可以避免鱼眼镜头图像失真,但或多或少也会存在融合边缘效果不真实、角度有偏差、分割融合后有“附加感”的问题。
1 全景摄像机技术
全景摄像机作为一种特殊形态的产品,其有专用的应用领域和特色。该技术不被某些特殊性和专用性束缚,表现出常规型摄像机应具有的功能,且环境适用性更强。全景摄像机的优点在于能以最少的装机量实现最有效率的监控效果,即能减少护罩、布线与人员的施工费用,还能降低监控工程成本。但其并未成熟,有不可忽视的缺陷,比如摄像机的单价偏高,监控距离较短,图像存储、还原等存在问题,急需调整和改进。
2 鱼眼图像失真分析
鱼眼镜头全景摄像机的鱼眼镜头是一种超广角的特殊镜头,这种镜头的前镜片呈抛物状向镜头前部凸出,是一种焦距在6~16 mm的短焦距镜头。根据光学成像原理,短焦距镜头能呈现出大视场的监控效果,其三维视角可达到全景视角。但其是以牺牲监控画面的真实感为前提的,且带来了被称之为“桶形畸变”的视觉上的严重变形。这种畸变会随着视场角的增大而越来越严重,进而导致图像严重失真。
一般而言,鱼眼图像失真可分为3种,即径向失真、非正交失真和中心偏移。径向失真是由于鱼眼镜头径向曲率的不规则而引起的,非正交失真是由于鱼眼光轴与传感器平面未完全正交所引起的,中心偏移是由于鱼眼镜头光轴未穿过传感器的中心而产生的。失真使人难以辨别图像,不符合人类的视觉习惯,因此,校正技术显得尤为重要。但不同的鱼眼镜头的畸变还是有着较大差异的,因此,全景摄像机鱼眼镜头的选择非常重要,其会直接影响摄像机图像源的效果。
3 鱼眼图像校正算法分析
图像校正技术的思路并不复杂,一般是从原始饼图中拉出一个单独的扇形,再根据比例和透视等原理进行一定变形和校正处理,拼合这些分别处理好的扇形图像便可得到符合监控需求的图像。对于需求较低的场景,可直接对圆形饼图进行简单的四角拉伸,也能取得适合人眼观看的图像效果。
虽然具体到每一个厂家的核心算法必然会有所不同,但图像校正技术的中心思想都是采用一定算法将边缘畸变严重的图形拉伸整合为适合观看的比例正常的图像。其中,所用算法的合理性、编程水平和最终系统资源的占用率共同决定了此算法的质量。虚拟PTZ是在图像内部进行像素抓取的,从而实现放大和旋转等功能。对于校正算法,其主要存在的问题不是如何取得更加优秀的图片效果,而是如何更好地将图片整合到前端固件和后端软件上,实现对事实与事后录像的双向虚拟控制。
4 鱼眼图像校正方式
鱼眼图像校正有2种处理方式:(1)采用前端摄像机内置软件处理;(2)采用后端PC机软件处理。这2种方式都是对图像边缘的像素进行校正的,图像校正的关键在于图像边缘像素的还原完整度。第一种方法节省了后端的网络资源,避免了对带宽和存储造成压力,即在前端便可完成对图像的校正和压缩,最终将一个水平展开的图像传输到后端平台,使用者可根据需求选择全景画面或四画面显示,图像具有实时性;第二种方法在后端PC机上进行图像校正,其优势是借助PC硬件快速的处理能力和软件的完备性,完美地实现全景图像的展开和四画面的显示。从处理能力上看,后端PC机能力较强,图像的效果更要好,但不具有实时性。目前,鱼眼摄像机图像校正技术虽也会有像素遗失的情况发生,但总体上都可以保证图像的有效像素,从而满足正常的监控需求。
对于多镜头全景摄像机而言,虽然不存在鱼眼图像变形校正的问题,但应努力保证多镜头拍摄画面的拼接实现以及镜头的无死角、无盲点、自然连贯。多镜头全景摄像机一般由摄像机内置的专用处理软件校正,再将图像整合成视频流传到监控后端。现有的技术已经能较好地满足全景和四画面的显示需求。
5 结束语
综上所述,不可盲目地追崇全景摄像机,其目前不能完全取代传统摄像机的作用和功能。因此,如何搭配全景摄像机与常规型摄像机共同使用,使二者相互取长补短,从而实现监控效果最大化,是现阶段除技术突破之外相关工作人员最应考虑的问题。
参考文献
[1]胡学敏,郑宏,郭林.利用鱼眼相机对密集人群进行智能监控[J].武汉大学学报(信息科学报),2014,39(10).
[2]马力,张茂军,徐玮.采用视频拼图方法构建高分辨率全景视频监控系统[J].中国图象图形学报,2008(12).
[3]谭秀峰.基于全景视频的监控系统[J].现代计算机,2016,24(03).
全景图像 篇6
三维全景虚拟现实技术是基于全景图像的真实场景虚拟现实技术,即利用照相机拍摄多张实景图像通过拼接获得完整的全景图像,再通过合适的空间模型把多幅全景图像组合渲染成虚拟实景空间,并实现全方位互动式观看的真实场景还原展示技术。只对其中全景图像的制作从图像采集技术和拼接处理方法两方面进行阐述。
2 图像采集技术
(1)搭建相机云台。采集相片之前,安装云台、三脚架和相机时,在三者同地面保持水平的同时一定要把云台和相机的节点调整好,这样会大大减少后期对照片的处理工作量。节点是指照相机的光学中心,穿过此点的光线不会发生折射。因此,云台的作用很重要,云台安装于三脚架上,它保证了相机转动时,镜头的节点正好位于转动轴上。在拍摄鱼眼照片时,相机通过云台绕着节点转动,才能保证全景拼合的成功。不采用云台或节点选择错误,图像将会产生偏移,导致图像无法正确拼接。如图1所示
(2)设置好相机参数。可照表1里的参数进行设置,或根据实际情况可选择采用光圈优先模式,光圈优先模式的优点是便于控制景深,因为景深跟光圈大小有着密切关系。拍摄实景时,需要每个细节都要清晰,这样后期场景效果将更好。在实际拍摄过程中要掌握好光圈大小、快门速度和感光度ISO三者之间的关系,即在光圈不变的情况下,ISO越高,快门速度就越快;ISO越低,快门速度就越慢。
(3)完成全景拍摄。拍摄过程中设置好的参数都是不变的,若用鱼眼镜头,要将焦距上调成无穷远,闪光灯一般都关闭,不要移动三脚架,围绕节点,水平方向一圈拍摄6张(即每60度角一张)即可,如图2所示。
3 图像拼接处理方法
利用软件编辑处理,如运用Photo Shop图象处理软件进行全景图拼接,步骤如下:
(1)用Photo Shop打开需要拼接的照片。
(2)选择“文件”→“自动”→“Photomerge”,进入“自动拼接”。
(3)选择已打开的图片。
(4)在拼接方式中选择“自动”。
(5)等待软件自动合成,如图3所示,一张全景图就拼接完成了。
(6)在进行完上述过程后,最好能进行一些优化的工作,这样对一些细节部分进行融合处理。
4 结语
重点阐述了全景图像素材的采集与拼接技法,目的在于提供一种思路和参考,帮助相关技术人员和学习者解决问题。
参考文献
[1]蔡剑楠,汪茂正,李博伦,刘昱煜,顾振宇.基于普通相机拍摄的360°校园虚拟实境漫游实践[J].计算机光盘软件与应用,2012,(19).
全景图像 篇7
1 系统总体设计
图像采集的全景平台由曲面镜和CCD相机组成。系统的硬件电路由核心板和外设板构成:核心板是由Altera公司Cyclone III系列的FPGA芯片EP3C80F780C6N及外围电路组成FPGA小系统;外设板由以太网接口电路、电源电路、Camera Link接口电路组成。系统总体框图如图1所示。
图1所示,核心板以FPGA芯片为核心控制器,板上搭载4片SDRAM芯片和一片Altera公司FPGA的专用配置芯片EPCS16。EPCS16用于存储设计的配置程序,SDRAM存储采集到的视频图像数据,在高速采集接口与数据存储的速度匹配上利用片上双口RAM完成数据传递。AS、JTAG分别为FPGA芯片的两种不同配置接口。网络传输硬件上采用Marvell公司的千兆以太网PHY 88E1111芯片,数据传输时采用片上FIFO完成数据存储到数据封装与控制单元之间的数据传递。CCD相机输出的LVDS信号需要经过串并转换,这里采用美国国家半导体公司的DS90CR2881A芯片,转换后的单端TTL信号输入到FPGA引脚。网络芯片控制器、采集与存储控制模块用Verilog HDL语言编写,Flash控制器采用Altera公司提供的IP核。外设板在FPGA的控制下完成图像数据采集与网络传输任务。
2 Camera Link接口协议
Camera Link标准实现工业相机和图像采集卡之间的数据传输,是一种视频通信应用接口,此标准还指定了标准接口器件使信号线标准化。Camera Link技术的传输方案需要较少的传输线,5对传输线最大可以传输28 bit数据,减小了连接器的尺寸,也使相机的尺寸变得更小。Camera Link由一个收发器对构成,在信号发送端先对要发送的28位的数据进行并串转换,转化后的数据流为4位LVDS信号,另外时钟信号也同时以LVDS信号传输。在接收端通过固定芯片再对这5对LVDS信号数据进行解串,转换后的数据为一个时钟信号和28位有效数据,28位有效数据位包括一位保留位、24位数据位及帧有效信号和行有效信号各1位[1]。
Camera Link一共有8个端口,端口A~H[2]。在初级配置中,A、B和C被分配到一起,连接到同一个驱动器/接收器对上;在中级配置中,A、B和C分为一组,连接到一个驱动器/接收器上,D、E和F分配到一组,连接到另一个驱动器上;在高级配置中A、B、C、D、E、F的分配与初中级配置相同,不同的是G、H被分配到第3个收发器对上[3]。端口分配如表1所示。
3 视频采集与处理
3.1 视频采集与处理整体设计
数据采集前端为CCD相机,连接器采用Camera Link协议手册指定的3 M公司的MDR26。视频采集与处理硬件设计的总体框图如图2所示。
CCD相机配置成中级配置方式,所以需要两个连接器MDR26与两片DS90CR288A芯片来接收图像数据。图像数据经两片DS90CR288A后转化成32位并行数据、行有效信号、帧有效信号、数据有效信号、时钟信号输入到FPGA。数据采集与存储控制模块负责把高速图像数据先缓存到片上RAM中然后再存储到片外SDRAM中。采集与存储控制模块的时钟由相机输出的时钟经过DS90CR288转化成的单端时钟信号提供,由于相机的时钟与系统时钟频率与相位不同,出现一个跨时钟域的问题,设计采用PLL倍频输出500 MHz的时钟对相机时钟进行采样,采样时钟作为采集存储控制模块的时钟源。
3.2 采集与存储控制器逻辑设计
系统的图像前端采集设备为CSC12M25BMP19型相机,CSC12M25BMP19有多中工作模式,中等配置模式下输出有效的125 800 00 像素点,帧频为25 fit·s-1,设计采用中级配置模式。图3为相机的行信号输出时序。
在采集与存储控制模块中输入信号Camera_fval、Camera_lval、Camera_dval分别对应相机信号FVAL、LVAL、DVAL,采集控制模块通过判断这些信号是否有效来控制数据的存储。当Camera_dval有效时WrEN有效同时送出写地址,数据开始写入过渡存储器RAM内,当Camera_dval无效时WrEN无效,RAM停止写数据同时读有效。当Camera_lval有效时送出SDRAM的写地址,一行数据输出结束后,Camera_lval变为低电平,经过一个时钟周期后向SDRAM发出写指令,将存储在RAM中的数据转存到SDRAM中。Camera_data[0..31]、WrData[0..31]分别为采集和存储图像数据,wr_SAddr[0..23]、WrAddr[0..9]分别为SDRAM和RAM的地址数据。Signal Tap信号分析仪抓取的采集控制模块的波形如图4所示。
4 网络传输设计
4.1 以太网接口硬件设计
图像数据用以太网接口来传输,采用Marvell公司的以太网物理层网络芯片88E1111。88E1111是千兆网物理层应用器件,支持10BASE-T、100BASE_TX、1000BASE-T应用;支持GMII(Gigabit Media Independent Interface)、RGMII(Reduced GMII)、SGMII(Serial Gigabit Media Independent Interface)等多种接口连接方式;自动检测光纤或铜线模式并支持IEEE 802.3u标准自动协商模式,能够实现两个网络间通信速度的自动协商;能够自动检测电缆脱落、短路和阻抗不配的情况[4]。FPGA与PHY芯片的连接方式为GMII/MII,采用RJ45实现电缆与PHY芯片的数据传输,图像数据经过88E1111解析后由RJ45接口接入网络[5]。网络接口硬件电路如图5所示。
管脚功能描述如下:GTX_CLK:在GMII模式下由外部提供125 MHz时钟源,这里由FPGA内部PLL提供;TX_EN:传输使能信号;TX_ER:传输错误;TXD[7∶0]:发送到网络接口的数据;MDC:配置数据时钟;MDIO:配置数据接口;RX_ER:接收数据出错;RX_DV:接收数据使能;RX_CLK:接收数据时钟;RXD[7∶0]:接收网络的数据接口;MDI[3∶0]:PHY与RJ45接口。
4.2 物理层芯片控制器设计
在数据传输部分,为了传输的实时性与数据流的连续性,先将待发送的数据存储到FIFO中,封装控制单元控制从FIFO中读出数据,存储单元是用Quartus的MegaWizard Plug-In生成的2 048字的双口RAM核和位宽为32位、深度为1 024的FIFO核。当进行数据传输时,控制单元向FIFO发出读指令从FIFO读出数据进行校验和的计算,与此同时向RAM发出写指令,把读出的数据依次存储到RAM指定空间里。当读的数据长度与待发送的数据长度相等时FIFO读指令置为无效,此时校验和也计算完毕,把计算出的校验和插入到数据包头的适当位置,即RAM的指定地址里,一包数据打包完毕,控制单元向RAM发出写指令将打包好的数据上传。网络芯片控制器程序流程图如图6所示。
传输的数据需要打包成符合网络传输协议标准,在包头处理方面,在生成RAM核时,将包头文件初始化到RAM中,给校验和留出16位的空间,计算完毕后再存储到指定地址中。UDP报封装过程依次为:伪首部加到UDP报上、校验和字段填0、所有位划分为16位字段、所有16位字反码相加再取反、极端结果插入到校验和字段、去伪首部[6]。图7初始化文件中的前7 Byte为同步码,第8 Byte为SFD。数据封转初始化文件如图7所示。
在上位机显示时,7 Byte的同步码和1 Byte的SFD不在显示之列,如图8所示,数据起始位以前为数据报头,数据起始位以后为接收到的图像数据,报头依次为:6 Byte的目的地址、6 Byte的源地址、2 Byte的IP报文、4位IP版本号、4位IP头长度(20 Byte)、1 Byte的DS码、2 Byte的IP报长、报文标识2 Byte、标志位3位、分片偏移量13位、生存时间1 Byte、CRC校验和2 Byte、源IP地址6 Byte、目的IP地址6 Byte、源端口号2 Byte、目的端口号2 Byte、校验和2 Byte。发送的数据报为1 282 Byte加UDP报头8 Byte共1 290 Byte,与UDP报长(05 0a)1 290 Byte相等。UDP报长加上IP头长度(04)为1 310 Byte,与IP报长(05 1e)相等,证明了发送数据得到了正确的接收,从而证明了底层驱动程序的正确性。上位机数据报接收示意图如图8所示。
4.3 系统性能指标
系统的工作时钟为50 MHz,CCD相机在中级配置模式下输出整个12 580 000有效像素点,帧频为25 fit·s-1。支持GMII/MII接口方式的网络传输。上位机接收到的全景图像如图9所示。
5 结束语
给出了全景图像的采集与网络传输的一种设计和实现方法,只用一台摄像机即可完成全景图像的采集。与其它图像采集接口相比,Camera Link接口具有传输速率高、高带宽、抗干扰、开放性好、不需要复杂的通信协议、结构简单易于实现等诸多优点,它可以满足图像
的实时采集和传输要求。同时图像数据可以通过千兆以太网接口远程传输,提高了数据的传输速率与可靠性。下一步的研究工作是实现系统对网络数据的接收功能并通过VGA接口显示。
摘要：结合国内外视频采集传输的技术特点,介绍了一种基于FPGA的全景图像高速采集与网络传输系统的实现方法。设计的全景图像平台由曲面镜和CSC12M25BMP19型CCD相机构成。图像采集接口选择Camera Link接口,MDR26作为连接器,用解串芯片DS90CR288A实现图像数据的串并转换,FPGA芯片控制经过转换后的并行图像数据的采集。FPGA芯片作为核心控制器控制高帧频图像数据的采集、缓存、数据打包及网络传输,网络芯片88E1111将打包图像数据传输到服务器。在Quartus II开发环境下,编写了图像采集控制单元模块、网络控制器底层驱动模块,说明了数据采集单元、网络传输单元的设计流程。测试结果表明,该系统能够实现全景图像的高速采集与网络传输功能,并具有良好的图像传输质量。
关键词：全景图像,FPGA,以太网,图像采集,远程传输
参考文献
[1]迟航.基于Camera Link接口的图像采集系统[J].科技创新导报,2011(3):31.
[2]罗辉舞,洪海丽,基于Camera Link接口的图像采集控制器的设计与实现[J].电子测量技术,2010,33(7):23-26.
[3]National Semiconductor.Specifications of the Camera Link Interface Standard for Digital Cameras and Frame Grabbers[M].American:National Semiconductor,2000.
[4]Marvel1.88E1111data sheet integrated10/100/1000ultra gigabit ethernet transceiver[M].American:Marvell,2004.
[5]朱晴,吴宁,顾薛平.基于FPGA的千兆网络数据采集系统设计与实现[J].微型机与应用,2011,30(21):53-55.
