关键词： 图像
全景图拼接（精选六篇）
全景图拼接 篇1
1 全景图拼接技术
全景图的拼接一般有以下几个步骤:
(1)先将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面中,空间面有立方体、圆柱体和球体表面等,这样这组照片就具有统一的参数空间坐标。
(2)在这个统一的空间面对相邻图像进行比较,以确定可匹配的区域位置。
(3)将图像重叠区域进行融合处理,拼接成全景图。
在全景图的构建中,相邻图像重叠范围的确定即图像整合是最为关键的一步,一般的方法都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现,一般有直接方法和基于特征方法等。
因全景数字视频是由多帧静态图像组成的,所以本文对全景数字视频的研究,可以归结为对全景数字图像拼接技术的研究。
2 配准算法
全景数字视频拼接常用的配准算法主要有基于空域面积(流、区域)的方法、基于图像特征的方法、基于网格的方法、利用傅立叶变换通过互功率谱直接计算出两幅图像间的平移矢量的基于频域的方法(相位相关度法)以及以两幅图像重叠部分所对应在RGB或CMY颜色系统中的基于灰度级相似的方法等。
这些算法在收敛速度、精度、计算量方面各有优缺点,但因为各种因素的影响,相邻视频图像间的重叠部分的误匹率仍然比较高。
将基于兴趣点匹配的特征线段比值的配准算法应用于教育类全景数字视频制作实例中。实验证明收敛速度、精度、图像绘制工作量均有较好效果,证明所用方法具有参考价值。
3 图像拼接方法
3.1 算法流程
基于兴趣点匹配的图像拼接方法,是将兴趣点作为图像特征点来进行配准,因此算法首先通过HarriS角检测器提取图像的兴趣点,然后进行比较最大值法特征点匹配,通过特征匹配对进行图像配准,从而实现图像的拼接,图1是兴趣点匹配算法的流程图。
3.2 算法基本原理
3.2.1 特征点的自动提取
特征点的提取可以通过Harris角检测器实现,确定信号发生二维变化的位置是关键,具体函数如下:
其中
这里,I(x,y),分别表示图像的灰度值和I在点(x,y)处的梯度,分别表示对I进行高斯平滑滤波和卷积运算。
3.2.2 比较最大值法特征匹配
去除通过Harris角检测器提取的特征点中的冗余点,以避免这些冗余的特征点导致匹配参数的误差甚至导致匹配失败。比较最大值的方法可以去除冗余的特征点,同时能准确地提取出正确的匹配特征对。
首先,在每幅图像中以每个特征点为中心取一个(ZN+l)x(ZN+1)大小的相关窗,然后以第一幅图像中的每个特征点为参考点在第二幅图像寻找对应匹配点,匹配的依据是计算特征点相关窗之间的相关系数,公式如下:
式中,W是相关窗的大小,I1,I2分别是第一幅与第二幅图像中特征点相关窗内像素的灰度值。
3.2.3 图像融合
将两幅图像配准之后,接下来就可以进行融合了。图像融合就是指将配准后的图像序列在空间进行叠加,从而增加图像信息量的过程。一般情况下两幅图像由于采样时间和采样角度等因素的不同而使重叠部分呈现出明暗强度及变形程度的差异,为了能够使融合后的图像具有视觉一致性而且没有明显的接缝,可以采用一种加权平均的融合方法进行图像平滑过渡。
图2是图像融合示意图。从图2中可以看出,在重叠区域中如何由f1慢慢平滑过渡到f2是关键。
4 制作实例
对基于兴趣点匹配的视频图像配准算法进行实验验证,使用VC++6.0和OpenGL编程实现配准算法。经以上各步骤的处理后,全景数字视频图像部分配准结果如图3所示。
5 结语
实验结果表明,通过该算法实现的全景图拼接具有收敛快、计算量少,抗干扰强等特点。
参考文献
[1]侯舒维.图像拼接技术研究[D].西安:西安电子科技大学,2005:1-44.
[2]张洁玉.图像拼接及柱面全景图生成算法研究[D].大连:大连理工大学,2005:1-58.
[3]祝乃庆.全景图自动拼接算法研究及系统实现[D].南京:南京理工大学,2004:1-51.
[4]钟力,胡晓峰.重叠图像拼接算法[J].中国图像图形学报,1998,3(5):367-369.
全景图拼接 篇2
【关键词】全景；数码相机；拍摄；PTGui；图像拼接
一、原始照片的获取
原始照片的获取是项目进行的第一步。需要用到数码单反相机，鱼眼镜头，全景云台和三脚架。
数码单反（DSLR）相机，是一种专业性的摄影工具。相对于普通的数码相机，数码单反相机可以配备各种专业的镜头，拍摄出质量更高，细节更丰富的照片。丰富的细节将有利于照片的后期拼接和处理。
具有超广角的鱼眼镜头在全画幅相机上水平和垂直视角都能够达到180度，利用它才可以拍出可供后期处理的图片。
全景云台是一种区别于普通相机云台的高端拍摄设备。它具备两大功能：①可以调节相机节点在一个纵轴线上转动；②可以让相机在水平面上进行水平转动拍摄，从而达到使相机拍摄节点在三维空间中的一个固定位置进行拍摄，以保证其拍出的照片可以进行三维全景拼接。
拍摄照片时，先将三角架调整至水平。三角架上装全景云台。将相机竖直固定在全景云台上。对云台进行调整，使得云台旋转时相机也围绕自身中心旋转。
根据相机镜头和所要拍摄的场景的不同选择合适的拍摄张数，一般要求相邻照片有一定的重合区域，该区域不宜过大也不宜过小，建议在25%～50%之间。本项目中，每个场景拍摄四张照片。
拍摄前需要对相机进行必要的设置，关闭自动白平衡，手动设置白平衡，关闭镜头自动对焦，手动设置对焦。试拍并设置合适的光圈大小和快门时间以及感光度，以使拍摄画面清晰，明亮，细节丰富。在拍摄过程中，相机的参数不能改变，以使同一组照片色调和明暗保持一致。
由于地面三角架底部区域照片无法覆盖，因此如果地面纹理较为复杂，如为复杂几何图形或图画。则应对地面进行补拍，以备后期处理。如地面纹理较为简单，如为平整的沥青路面，也可以不进行补拍。拍摄效果图如图1所示：
二、全景图的拼接
全景图的拼接的主要任务是将拍摄的原始图片拼接成为一张水平360度视角，垂直180度视角，长宽比为2∶1的全景图片。这个过程通常依赖于专业的拼接软件。
目前较为流行的图片拼接软件大多基于开源的PanoTool类库。常用的图像拼接软件PTGui、Hugin等都是在这个开源类库的基础上开发的具有图形界面的功能完善的图像拼接软件。
本项目采用的是PTGui图片拼接软件。其工作过程可分为几个步骤：图片载入，特征点（控制点）定位，图片配准，融合，生成图片。
全景图生成后可以使用本地观察工具如FSPViewer或PTView等进行观察，主要观察物体有无几何形变，直线有没有弯曲变形等。图像的扭曲变形主要是由于手动添加的控制点误差较大导致误差积累后图片的校正过度造成，可重新在程序中运行提供的删除较差控制点功能并重新添加控制点来校正。最后再重新生成全景图即可。图2为拼合后的图片。
如果在两幅图片的重合区域有运动物体，例如在一张照片中有行走的人，而另一张照片中人物已经走出视野，则在两张照片配准并混合（融合）之后可能会出现只有一半人物的现象。此时可在图片参数中设置两张照片的混合优先级，调低该数值可使某一图片在混合时占有较少的比例。调整该数值可以使混合后图片中有完整人物或没有人物。
由于拍摄误差等一些原因，拼接软件不可能将图片拼合的十分完美。如没有过于严重的错位就可以将拼接好的图片输出了。由于拍摄时地面没有被覆盖，天空也可能没有完全被覆盖，因此生成的图片顶部和底部是黑色，待后期处理。
三、全景图的后期处理
通过以上拼接生成的图片会有局部微小的错位和畸变，相机无法覆盖的地面和天空部分有可能会出现黑色区域，所以后期处理主要完成两个任务。一是地面和天空的修补，二是错位的修正。
由于全景图是将球面映射到平面上，本身就具有一定的形变，尤其是天空和地面变形较大。因此，不能直接在Photoshop中直接对地面和天空进行修补。需要使用工具将一张2∶1的球面映射全景图转化为六张1∶1立方体映射，这六张图片刚好是立方体的六个面。由于这六张图片不存在形变问题，可将其载入Photoshop进行修补。
Krpanotools是一个专门进行球面全景图与立方体全景图互相转换的工具包。将球面映射转化为立方体映射的工具为SPHERE to CUBE (JPEG) droplet.bat。这是一个DOS下的批处理程序。只需要将球面全景图文件拖动到这个批处理程序上即可。生成的六张立方体全景图与原来的球面全景图位于同一文件夹下。
图片转换后，可以將有问题的图片载入Photoshop进行修补，地面进行修补时如果地面是图案规则的地砖或水泥路面则可以直接挪用周围地面进行修补。如果地面纹理较复杂，则使用拍摄时补拍的地面照片进行修补。
图片修补完成后，还需要将六张立方体映射图再次转换为球面映射。将立方体映射为球体的工具为：CUBE to SPHERE (TIFF) droplet.bat。这也是一个DOS下的批处理程序。选中六张立方体全景图，将它们拖动到这个批处理程序上即可。转换后的图片为tif格式，体积较大，可以将其转换为jpeg格式以减少体积。
参考文献：
[1]姜丽凤.全景图拼接关键技术的研究（2）[J].山东理工大学,2008 .
球形全景图像的自动拼接 篇3
近年来, 以图像绘制为基础的全景图虚拟实景技术成为计算机图形图像人员研究的热点。全景图虚拟现实技术的核心有两个。一是全景图像的拼接。即通过照片如何合成确定格式的全景图像。二是全景图的显示。拼接好的全景图像都有很大的变形, 不能直接观看, 要通过合适的程序处理和显示, 才能看到与现实一致的图像。其中全景图像的拼接是基础, 拼接的算法将对开发出来的软件的使用方法和易用性有直接的影响。
目前全景图技术可分为柱形全景、方形全景、球形全景。对于柱形全景的拼接, 有基于仿射变换[1]和基于透视变换[2]的两种算法, 柱形的算法较球形和方形的简单, 但缺点是最终得到的场景信息不完整。对于全方位的全景 (球形和方形) , 目前大多数全景制作软件所用的图像拼接方法为light field方法[3]、lumigraph方法[4]或者同心圆拼图法[5]。其中light field方法是由M.Levoy 和P.Hanrahan 提出的, lumigraph方法由S.Goertler 提出, 这两种方法把场景限制在立方体中, 表示比较复杂, 通过对自由空间进行密集采样来表示全景信息, 这一表示可以支持任意角度的观察, 但是需要巨大的数据量, 而且方法也复杂。而Heung-Yeung Shum 提出的同心圆拼图方法, 和light field、lumigraph 相比, 同心圆拼图法生成的文件较小。同心圆拼图法可以不用恢复几何和照片空间的模型, 用户可以在圆的范围内自由的移动。而这些方法需要的参数 (或条件) 非常多, 所以实现起来只能是半自动化, 一般制作过程中需要用户输入镜头参数, 并且要进行繁琐的对应点寻找的工作, 而这些工作使得非专业人士难以胜任, 使得全景图的制作成本不能降低。而本文将提出球面自寻匹配的拼接算法, 所有拼接的参数都由程序自动计算, 程序可以完全自动化地工作。
1 球面自寻匹配算法
球面自寻匹配拼接算法的计算过程是把多幅图像映射到一个合适的球面上, 自动调整每幅图像的插入点, 使得重合位置的差值图像灰度累积平均值最小, 然后球面的图像反映射成平面形式, 最终得到拼合图像。
先考察照片与球面像素的映射方式。如图1所示, 一幅拼接好的全景图像按经纬度映射到一个矩形纹理图像上的点, 经度映射成矩形的水平坐标, 纬度映射成垂直坐标。这样, 球面极坐标可以直接使用矩形纹理图像的水平垂直坐标。在这个纹理图像中, 最明显的变形就是水平方向的拉伸变形,
在赤道上几乎没有拉伸变形, 越接近南北极点, 变形就越厉害。
而右边的长宽比为2:1的经纬映射图像就是我们要拼接制作的结果, 它是由照片经过处理变形而成的。考虑鱼眼镜头得到的水平和垂直视角都超过180度的超广角照片 (如图2) 。
图2为一张视角为183度角的鱼眼照片。角鱼眼图像可以通过如下方式投影到一球面上, 可取得与前述经纬映射一样的效果:把图像按图3方式建立坐标系, 把图像中心像素定位在球面一点 (如与x轴正方向相交点) 作为纹理中心点, 取一个合适的距离r, 以r为半径的一圈像素对应球面上与纹理中心点向量垂直的圆的一圈像素, 如, 若取x轴正向交点为纹理中心点, r圆像素将对应球与YOZ平面交线圆的像素。而其他的点, 以角度与半径成正比的方法变换至球面上, 如图像上的P点, 半径为rp, 与U轴夹角为α, 则在球面上的位置如图4所示。
由于照片中赤道的位置几乎不变形, 所以图3中的r值可以按如下方法估算:从两幅图像中赤道的位置取出行数为3-5行, 然后按图5的方法叠合:图像2从左向右移动, 在重合带处计算颜色灰度值的差值图像, 从左至右进行不同位置的比较, 取得一个重合带差值图像像素灰度值总和最小的位置, 然后按同样方法在图像2的右端叠合图像1。当右端重合带的差值图像灰度总和最小时, 右端的图像1位置也确定下来, 此时, 计算两个图像1的中心位置的像素距离, 此距离为4r0。由于照片拍摄时相机的位置有位移误差, 所以此方法估算的r值不会绝对准确, 但会接近准确值。根据笔者的经验, 拼合计算时可取:
0.8r0<r<1.2r0 (1)
进行扫描计算。即在 (1) 式范围内每隔一个Δr (如取Δr=0.01r0) , 按照下文的式 (2) (3) (5) (6) 计算, 最后记录和比较计算结果, 取结果为最小值时的参数条件。
如果为两幅鱼眼图像, 可以x轴的正负方向的两个交点作为纹理中心点, 把鱼眼图像向球面映射, 如果两幅鱼眼图像拍摄的时候光学中心相同, 方向相差180度, 而且曝光锁定, 则两图像在球面上重合处的像素的颜色正好相同。如果光学中心相同, 方向有误差, 则可调整其中一幅图像的纹理中心点的位置。如图6所示, 纹理中心点经过如下方法变化到Q点:赤道圆绕x轴旋转ξ角, 纹理中心点在此圆上再旋转η角。会存在一个合适的ξ、η角, 使两图像在重合处颜色灰度值相同。若相机除了纯旋转运动, 还有位移偏差, 则有可能无法找到一个新的纹理中心点使图像重合处完全相同, 这时, 可取图像相差最微小的位置。用一个重合位置的差值图像灰度累积平均值描述, 当其值为最小时图像的位置合适:
其中N代表重合带的平均灰度差。ΔDr、ΔDg、ΔDb为重合处像素的红、绿、蓝灰度差。λ为取值0或1的系数, 在重合位置取1, 非重合位置取0。θ、Φ见图1 (b) , 代表球体的经纬度。t为球面像素的高度与半径之比, 可根据经纬图像中像素所处的行数方便地计算,
再考察当纹理映射改为以Q为纹理中心点时, 经纬度为θΦ的点 (如图7) 在图6中对应纹理点的位置。纹理中心点移到Q后, 相当于把原坐标系旋转, 使新x轴与球交于Q点, 则A点在新坐标系中的坐标为:
其中R (ξ, η) 为旋转矩阵[6]:
其中ξ, η的取值范围为0<ξ<2π, η可限定为0<η<10°。
对照图3的纹理映射方式, 可由A′的坐标求得纹理极坐标:
综上所述, 全景图像的拼接过程为:先根据图5的方法估算r0值, 根据式 (1) 中r值的取值范围和式 (4) 中ξ、η的取值范围, 对每幅照片搜索寻找出合适的r、ξ, η。搜索寻找的计算过程为:对照片的每个可能的纹理中心点 (每对ξ, η值) , 都以低精度绘出一幅经纬映射图, 对于经纬映射图的每个像素 (每对θ、Φ) , 以式 (3) 转换坐标系, 然后以式 (5) (6) 寻找出照片中的对应像素, 复制填入。经纬映射图绘出后, 根据式 (2) 计算重合带的平均灰度差N。比较不同的条件下 (不同的r、ξ、η) 的平均灰度差值, N值最小的条件为所求, 以该条件再以高精度绘画一次经纬映射图, 该经纬映射图就是拼接好的全景图像。以上讨论的方法适用于球形全景, 对于柱形全景, 调整一些参数后也能适用。
以上理论在广州凌景数码科技有限公司的全景图软件LimnPano中得到了应用。LimnPano利用该算法拼接和运行的效果请参见文献[7]。
2 结 论
本文针对全景图制作的自动化, 提出球面自寻匹配的拼接算法。该算法中, 除读入照片本身外, 所有拼接的参数都由程序自动计算, 不需要用户输入任何参数或做其他复杂的工作, 只需读入原始图像, 程序就可以完全自动化地工作, 实现工作流程的傻瓜化, 从而使制作成本得以降低。该方法已在商业软件产品中得到应用和验证。
参考文献
[1]Richard Szeliski.Video mosaics for virtual environments[J].IEEE Computer Graphics and Applications, 1996, 16 (2) :22-30.
[2]Szeliski R, Kang S B.Direct Methods for Visual Scene Reconstruction[C].IEEE Workshop on Representation of Visual Scenes, Cambridge, MA, 1995:26-33.
[3]Levoy M Hanrahan P.Light field rendering.SIGGRAPH’96Proceed-ings, 1996:31-42.
[4]Gortler S J, et al.The Lumigrph[A].Computer graphics[C].Annual Conference Series ACM1996:43-54.
[5]Shum HY, He L W.Rendering with concentric mosaics[C].Computer Graphics, ACMSigraph’991999:299-306.
[6]DONALD HEARN, PAULINE BAKER M.计算机图形学[M].第二版.蔡士杰, 等译.北京:电子工业出版社, 2002, 5:332-333.
旋转拼接全景成像技术的应用研究 篇4
旋转拼接全景自动成像技术是当代多学科交叉的一项新技术,操作简单、检查时间短,可在数十秒内完成影像检查,其在临床诊疗、术前方案的制订以及术后评估等方面有广泛的应用前景。2014年3月起我科采用GE Discovery XR656的“IMAGE_PAST-ING”技术,其X线球管在预设的垂直方向上下自动偏转角度,2~4次曝光即可实现双下肢的成像,为临床诊疗等方面提供了可靠的客观依据,深受我院临床科室的青睐。本研究采用双盲法回顾性分析1组病例的图像质量,通过Kappa检验评价不同观察者的一致性,对比统计不同曝光次数的曝光量和曝光时间。
1 材料与方法
1.1 一般资料
回顾性分析2015年3—5月在我院行负重位双下肢检查的临床病例,随机抽取155例,其中男性80例、女性75例,年龄15~89岁,平均年龄54岁,术前检查72例、术后评价83例。
1.2 设备
美国GE公司的GE Discovery XR656数字X线摄影系统,该系统主要由高压发生器系统、可实现旋转和垂直方向同步的运动系统、自动定位及数字图像自动处理系统等组成;立位人体拼接架(带X线显影100 cm标尺)、瑞珂6850自动打印相机。
1.3 操作方法
1.3.1 摄影方法
患者均取标准解剖学姿势站立在拼接床上,两手放于扶手架上,两下肢尽量靠拢,足尖向前,足跟尽量贴紧拼接床;检查范围上缘超过髂骨上棘,下缘包括踝关节。登录患者信息,选择旋转拼接协议菜单(IMAGE_PASTING),焦片距为180 cm。进入图像采集界面,选择患者体型,采用自动曝光控制模式,根据拼接床侧边标尺输入兴趣中心值,即被查体中心到探测器的距离,此值越精确,拼接效果越好,计算机根据选定范围确定曝光次数。确认后探测器及球管自动移动到头侧,按下手动开关并保持不动,球管自动上下角度旋转、探测器自动上下移动,曝光过程中观察患者有无移动,如果发生不自主运动,松开手动开关,重新上述步骤直至完成检查,曝光完成后自动拼接全长图像。
1.3.2 曝光条件
依据患者的身高和体质量,常规中等身材成人采用双下肢正位:80 k V、320 m A,自动曝光控制(automatic exposure control,AEC)技术,焦片距均为180 cm。
1.4 图像评估方法
1.4.1 主观指标
经验丰富的主治医师及主管技师各1名,采用双盲法评价图像。图像评价分级按图像是否有异物(金属植入物除外)及移动性伪影;图像有无放大失真;各部位整体解剖结构的显示;图像是否完整、连续以及拼接线的显示情况,分为甲、乙、差3级。图像评价分级标准:图像清晰、锐利度及对比度良好,无任何伪影,拼接线无显示,完全满足诊断要求为甲级片;甲级片中有一项不符合标准,能满足诊断需求为乙级片;整体解剖结构显示不全和(或)对比度较差,但仍能满足诊断的影像为差片。
1.4.2 客观指标
通过调取原始图像,2名技师先后统计155例患者的曝光次数、曝光量以及曝光时间。将每位患者原始图像上的曝光量相加即为该患者此次检查的曝光量。最后的原始图像上显示的时间减去起始图像上显示的时间即为曝光时间。
1.5 统计学方法
应用SPSS 17软件包进行数据处理,采用Kappa检验分析观察者间对图像质量评价的一致性。采用独立样本t检验比较不同曝光次数的曝光量和曝光时间,P<0.05为差异有统计学意义。
2 结果
2.1 Kappa统计结果
共490段摄影图像自动拼接成155幅全景图,图像过渡自然、无接缝线显示,图像质量满意。主治医师(A)及主管技师(B)图像评价结果分析见表1,Kappa值=0.784,在α=0.05的检验标准上,2名观察者对全景图像质量的评价具有一致性,依据评价原则,一致性极好。
例
2.2 曝光量和曝光时间的比较
曝光3次(甲组)与曝光4次(乙组)相比,曝光量明显降低了约25%,同时曝光时间明显缩短了约20%(见表2)。
注:甲组为曝光3次,乙组为曝光4次;*表示与乙组比较,P<0.05
3 讨论
3.1 旋转拼接全景成像术
常规X线摄影检查由于平板探测器或影像板(imaging plate,IP)尺寸的限制,而不能在1张图像上完整显示长骨的解剖结构,从而无法进行相关角度以及力线的准确测量[1]。Yaniv等[2]于2004年提出X线图像拼接技术理论,通过对多幅图像局部重叠区域的图像配准,从而为临床医生重构出人体脊柱及长骨的全景图像。此后,各种全景成像技术相继出现:计算机X线摄影(computed radiography,CR)、数字化X线摄影(digital radiography,DR)全景成像术、窄束X线部分重叠扫描(slot scan)以及狭缝式线扫描数字X线摄影全景成像技术[3]。当前,全景图像的原始采集方式有线性拼接(linear stitching)、旋转拼接(rotational stitching)和广角拼接(wide stitching)[4]3种。我院采用的是第2种成像方式,即球管在垂直方向上下偏转角度,而平板探测器通过自动跟踪实现图像采集。摄影时,球管固定于全脊柱/长骨的中心平面,分次、连续、部分重叠地曝光,曝光时球管在垂直方向偏转投影形成仰射线及俯射线对全脊柱/长骨投照摄影,由于探测器能自动跟踪球管,探测器就随球管偏转而自动向下移动接收透过人体的X线,连续、部分重叠地采集图像。同时,计算机根据设定的人体长度计算曝光次数。图像采集完之后计算机根据纵向的标尺及横向的骨性标志立即自动拼接成一幅完整的、连续性好的全景图像。本研究中155例患者均一次性拼接成功,优片率达85%,良片率以上达95%,最短曝光时间8 s,最长曝光时间16 s,平均曝光时间10.85 s,接近Sarah等[3]报道的旋转拼接检查可在20 s内完成。此外,相对乙组,甲组的曝光量和曝光时间均降低了1/5。笔者在研究中发现,部分病例的检查范围选择过长,如果选择合适的检查范围,完全有可能减少患者的检查时间和曝光量,这对术后患者尤为重要。
3.2 旋转拼接全景成像特点
3.2.1 扫描时间短
一次连续数十秒(平均时间约11 s)曝光即可获得全脊柱/双下肢图像,大大缩短了患者等待和检查时间。这样既提高了检查工作效率,又避免了患者因不能保持同一姿势而造成的拼接误差,提高了图像拼接效率。
3.2.2 2种运动方式
GE Discovery XR656 X线系统采用其特有的锥形定位投照技术[5],全景摄影时,球管可在±20°内自动旋转2~4次,同时平板探测器自动跟踪旋转球管在水平垂直方向上下运动。尽管X线球管的旋转运动与平板探测器的水平运动方式不同,但二者可达到同步移动,使重叠图像部分完全吻合,解决接缝部位的图像失真问题,达到自动、实时、无缝拼接,保证全景像无拼接线影。
3.2.3 图像质量优秀
操作过程及相关环节简化,并且可自动处理拼接,拼接后影像图像清晰、无拼接伪影,防止拼接过程中的人为因素,同时配以先进的数字化碘化铯平板技术,确保图像质量。本研究中图像的优片率达85%左右,良片率以上达95%,这可能与术后病例较多,金属物的植入影响观察者的分析有关;也可能与样本例数少有关,未来的研究工作中笔者将进一步加大样本量。
3.2.4 图像后处理功能丰富
通过图像采集工作站的图像工具栏,除可对图像进行锐利度、对比度调节等常规后处理,更便于长骨骨骼生物学力线、对称结构平衡线以及角度等精确测量,还可以通过“Repaste”键对自动拼接图像进行重新拼接校准,使图像更加准确可靠。
3.2.5 立位负重全景成像
全脊柱MR成像技术、下肢全长CT扫描及多层螺旋CT三维重建技术虽然在检查病灶上有较大的优势[6,7,8],但均不能解决患者术前的精确测量,如负重位长骨骨骼生物学力线及对称结构平衡线等[9],无法满足术前的病情评估,而且患者体内置入的金属材料会干扰MRI成像或造成CT扫描的伪影[10,11],这也不利于术后患者的随诊复查。
综上所述,GE Discovery XR656 X线系统特有的旋转拼接全景成像技术可快速准确地完成拼接双下肢检查。此外,利用浏览工具栏可对图像进行后处理,便于进行负重骨骼客观指标的测量,可用于常规双下肢X线检查。
摘要：目的:探讨一种新的全景成像技术在双下肢检查中的应用价值。方法:回顾性分析155例旋转拼接技术的双下肢全景图,采用双盲法评价图像并进行Kappa统计分析,对比不同曝光次数的曝光量及曝光时间差异。结果:观察者间具有很好的诊断一致性,其Kappa值为0.784,全景图像满足临床诊疗及测量要求;曝光次数为3次和4次的曝光量分别为(52.90±24.39)和(79.81±43.27)m As,曝光时间分别为(10.42±1.81)和(13.08±1.63)s,差异均具有统计学意义(P<0.05)。结论:旋转拼接全景成像技术可在一张图像上完整、无缝地显示全景像,在临床工作中须慎重确定检查范围。
关键词：旋转拼接,全景图像,双下肢,曝光剂量
参考文献
[1]张旭峰,严壮志,WANIGASEKARA N R,等.基于拼接技术的医学X光片全景成像[J].航天医学与医学工程,2005,18(5):360-364.
[2]YANIV Z,JOSKOWICS L.Long bone panoramas from fluoroscopic X-ray images[J].IEEE Trans Medical Imaging,2004,23(1):26-36.
[3]SARAH B,STEFANO B,CIRO R,et al.First test on three stitching methods with digital detectors used in radiography[J].Radiol Phys Technol,2013,6(1):187-196.
[4]金瑞,曾勇明.数字X线全景成像技术进展及临床应用[J].重庆医学,2015,44(4):553-555.
[5]刘伟宾,张燕,吴新淮,等.GE Discovery XR650X线系统在儿童双下肢不等长中的临床应用价值[J].医疗卫生装备,2013,34(8):69-70.
[6]甘伟,马坚.CT扫描和DR拼接获取下肢全长图像的对比研究[J].中国医学工程,2013,21(7):29-30.
[7]王亚峰,王中领,顾军.磁共振全景脊柱成像技术的临床应用[J].实用医技杂志,2013,20(6):626-627.
[8]简昊,肖云龙,万林.CT三维重建在骨折内固定术后评估中的应用价值[J].江西医药,2012,47(7):588-590.
[9]LAZENNEC J Y,ROUSSEAU M A,RANGEL A,et al.Pelvis and total hip arthroplasty acetabular component orientations in sitting and standing positions:measurements reproducibility with EOS imaging system versus conventional radiographies[J].Orthop Traumatol Surg Res,2011,97(4):373-380.
[10]程乐,舒欣,张雪斌.150例脊柱侧弯畸形患者的MRI和X线平片对照研究[J].医学综述,2012,18(12):1 945-1 947.
全景图拼接 篇5
全景成像（Panoramic Image,PI）[1]是利用特殊成像仪器拍摄而成，所得图像的半球视场在水平方向和垂直方向上都不小于180°或者得到的视场为360°的，能够得到被拍摄对象的全部信息，这样得到得图像利于后期的图像处理。视觉研究领域的一个重要问题是如何能得到目标图像尽量大的视场并从中提取信息，而全景成像能较好的解决这个问题。全景成像技术已经在机器视觉领域及机器人领域得到了广泛应用。全景成像技术的优势明显，应用前景良好，该技术逐渐成为三维图像研究领域的焦点，吸引了众多科技工作者和相关公司的目光。随着微透镜制造工艺和各种光学设备的成熟、还有很多科技工作者的理论研究不断发展，全景成像技术的应用会更多地呈现在我们的生活、工作中。全景图像与传统的二维图像相比，有着独特的成像特点和数据格式，这种技术从它的出现、研究、发展、应用再到普及，都将给立体显示和图像领域带来巨大的影响。由此可见，全景成像技术及其系统的研究和开发具有极其重要的意义。
2 全景图像获取
能够得到全景图像的方法比较多，如可以使用单摄像机旋转系统、多摄像机系统、单摄像机或多摄像机加光能收集系统等等。单摄像机旋转系统获得的图像具有无畸变、高分辨率的优势，但是所成图像需要拼接，需要伺服机构，一般来说实时性不太高。多摄像机系统的优点和单摄像机系统类似，实时性大为改善，也无需伺服机构，缺点是也需要拼接，并且成本成倍增加。
3 图像的预处理
若拼接的图像要求有高准确性，则必须对拼接的图像进行预处理。图像预处理主要可以分为图像的校正和去噪两部分。[2]
4 图像拼接算法
4.1 图像拼接算法
4.1.1图像匹配算法
图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。
4.1.1.1比较匹配算法研究
比较匹配算法是基于灰度匹配的方法，目前研究和应用基于灰度匹配方法的机构比较多，1971年Leese提出了MAD算法；1972年Barnea提出的序贯相似性检测法（SSDA法）此方法能大大提高模板的匹配速度，但弊端是匹配精度低、效果差、受噪声干扰较为明显。山海涛等提出了基于灰度区域相关的归一化灰度（Nprod）匹配法等。因为比较匹配算法对于同一景深的照片匹配效果较好，但是通常获得图片的景深是不同的，所以视拼接效果受到该算法比较大的限制。平行景物线匹配算法是此处匹配算法的基本思想。现有的匹配算法有逐一比较法、分层比较法和相位相关度法，下面详细列出此种算法的基本实现步骤。
(1)取左图重叠部分中距离为d的两列其中的某些象素（L个像素），特征模板ArrayLeft[L]为对应象素的差值。
(2)取右图最左边的P和P+d两列中的某部分像素（设为K，并错开在垂直向上上错开相邻两幅图像在，取K>L），计算它们对应象素值的差值记为ArrayRight[K]。
(3)每一垂直交错距离dis(0≤dis≤K-L），计算出ArrayRight[K]与ArrayLetf[L]的偏差值：
(4)通过比较各ε[dis]值的大小后，得到最小值e[P]；对应的交错距离为dis[P]。
(5)P=P+Step，若P∠M/2(M为图像的宽），回到(2)。
(6)取e[P]中的最小值，得到最佳匹配e[P]。
根据e[P]对应的P和dis[P]，就可确定图像的重叠值并进行拼接。在实际应用中，光线、图像边缘失真等因素会给拼接带来影响，采用下面的平滑处理可以避免因失真等出现的拼接后边界清晰现象。
图像平滑拼贴算法是指取图像重叠部分的像素值后，将像素值按一定的权值相加生成新图像。首先设定宽度为N列像素的确定匹配区域E12为过渡区域，引入渐变因子α=1/N后。拼接图像Image3由三部分组成，分别为Image1的E11、确定匹配区域E12、Image2的E22。
使用CCD（电视摄象机）在车辆平台上的光学系统中实景拍摄需要拼接的源图像，先进行左图拍摄；CCD平移时必须保证两幅图像间有重叠部分，然后略微抬高CCD镜头使得垂直方向上存在交错，进行右图拍摄并进行两图拼接，验证选定算法。（图1)
同一景深的有交叠区域的两幅图像的拼贴结果(图2所示)。
从图4发现转角图像有明显的旋转失真，在拼接交叠处存在拼接缝隙。如果拍摄图像过程中光轴的机械结构发生转动，相邻两幅图像重叠部分的坐标系下就会发生改变，当光轴转动角度的增大以后，比较匹配算法效果会慢慢变差、错误匹配不断增多，图像的准确性变得很难保证。
4.1.1.2特征提取算法研究
特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。
提取特征点的算子有：Moravec算子、Forstner算子和Harris算子。本文选取在各类应用中比较成熟的Harris特征点检测算子进行图像拼接。Harris角点检测算法的步骤如下：
Step1：计算图像亮度I(x,y）在点（x,y）处的梯度：
Step2：构造自相关矩阵：
其中w=exp（-（x2+y2）/2δ2）是高斯窗平滑函数。将上述公式计算式得到对称矩阵它是一个二阶实对称矩阵，必然存在两个特征值λ1和λ2。
Step3：提取特征点：如果特征值λ1和λ2是极大值时，点（x,y）是一个特征点。即行列式和矩阵M的对角线元素和满足：
其中det(M）=λ1*λ2,trace(M）=λ1+λ2,k是参数，通常取值k=0.04～0.06。
特征是图象内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图象和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。同时，在纹理较少的图像区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。一般亮度的情况下，由经验得高斯窗口半径5-15，可以得到不影响处理速度的足够多特征点。
下面以在外场试验中实景拍摄的局部图像为例，拍摄的源图像灰度图像如图5。
在着一定的重叠区域，在重叠区域进行特征点提取。
4.2 重叠区域坐标转换
全景光学系统的焦距已知，此处设为f，柱面的坐标系统以全景系统接收CCD所处位置为圆心，以f为半径，取实际空间中一点A(x,y），则A点在采集坐标系中的坐标为（x-W/2,y-H/2，-f），其中W和H为采集到图像的宽度和长度，下面推倒出A点在柱面坐标系中的对应点A′的坐标A′（x′，y′）。
圆柱面的方程：
其中u和v可以通过原点O和A点的直线参数方程表示：
Z轴方向上参数方程为：
A点在柱面坐标系中的投影点A′的参数坐标为（u,v,w），将上述公式代入求的参数和各参数坐标的具体表达式：
要获得可以进行图像显示的柱面坐标，还需将三维坐标转化为二维坐标A′（x′，y′）
由公式（17）可知，A点和A′垂直方向坐标未发生改变，同理，经过柱面坐标转换的景物垂直方向上不发生改变特征点匹配和融合拼接后的图像需要重新变换到原坐标系下，即柱面逆变换。上面的表达式可以应用在采集坐标系投影到（u,v,w）参数坐标系中，而生产一幅完整的全景图需要的另外三幅图像，应依次投影到（-u,v,w）、（-u，-v,w）、（u，-v,w）三个象限中，整个构成周视360°全景信息，每幅图像大于90°采集范围采集到的图像，则投影到相邻两个坐标系中，作为重叠区域来进行匹配和融合。
由上述的拼接算法的实验结果可以看出，对于车辆的全景成像探测方面的图像拼接，采用基于特征的拼接算法是适合的。
参考文献
[1]肖潇,杨国光.全景成像技术的现状和进展[J].浙江:浙江大学,2006.
[2]吴阳.全景图拼接技术研究[J].南京:南京理工大学,2005.
[3]崔久林.视频图像目标提取技术的研究[J].长春:长春理工大学,2005.
[4]王丽亚.图像的特征提取和分类[J].西安:西安电子科技大学,2006.
全景图拼接 篇6
全景图生成是基于图像的绘制技术 (IBR) 中的一项重要内容,广泛应用于虚拟现实、视频压缩和传输、医学等领域。全景图指在固定视点以垂直180°的视角宽度向四周360°方向观看,视觉可能看到的全部景象的图像。全景图的简单形式可以是固定视平面上的水平360°的图像。利用专用器材可以直接获得全景图,利用计算机进行图像拼接更加简单易行。全景图像的拼合是I BR绘制方法中的一项基本技术,它是指利用照相机的平移或旋转得到的部分重叠的图像样本,生成一个较大的甚至3 60°的全方位图像的场景绘制方法。全景图像的拼合利用离散的局部图像作为基础数据,利用计算机进行一系列处理后,形成一幅全景图[1]。图像的拼接主要处理相邻的两幅图像样本之间的重叠部分,对样本进行局部匹配和拼接。最简单的匹配方法是在图像样本上人工指定几个匹配点,根据匹配点的位置对应关系计算图像样本的位置关系。本文针对绕固定点在水平平面内旋转拍摄的一组图像样本,提出一种新的算法,先利用Canny算法[2]提取图像样本的边缘数据,然后对图像中每列边缘点进行统计分析,筛选出可能的相匹配的列,最后通过边缘垂直距离数列的匹配,利用图像样本重叠部分边缘点垂直距离平均偏差的最小极值的方法,找到最优的拼接方案,有效地实现了全景图像的自动拼接。实验以一个使用普通照相机手持拍摄有重叠部分的两幅图片,有效地完成了两幅图像的自动识别拼接。
2 图像拼接
全景图生成技术中最核心的一步是图像拼接 , 目前有多种全景图像的拼接算法 , 常见的有基于面积的算法和基于特征的算法两大类[1]:
(1) 基于面积的匹配是把一幅图像的某一像素值邻域作为模板 , 在另一幅图像上搜索具有相同或相似像素值分布的对应点邻域 , 从而确定两幅图像的重叠范围。在搜索过程中 , 通常以相关函数作为两个搜索邻域间的相似性测度。
(2) 基于特征的匹配是在频域或空域通过像素导出符号特征进行匹配 , 具体方法有基于图像中特征场景的匹配、基于提取图像某两列像素差的匹配、基于特征线段的图像匹配等算法。
本文提出的基于边缘特征垂直距离列的匹配,利用图像的符号特征(边缘特征),并以边缘的垂直距离列作为模板,搜索图像的重叠区域,结合了基于特征算法的速度和基于面积算法的可靠性。
本文提出的垂直边缘距离匹配的方法,确定待拼接图像的水平拼接关系同时也能确定垂直偏移,多列匹配的机制避免了局部最优,在现有图像拼接算法中具有特别的优势。
全景图的生成实际上就是囊括水平360°视场所有景象的一系列图像的两两拼接,因此以下只讨论两幅相邻图像的拼接。对两幅图像进行自动识别拼接,需要两幅图像有20% 以上的重叠区域。图像的拼接实际上是要找出两幅图像的相对位置关系,即找出图像A的重叠区域中某点在图像B中的位置,然后根据相对位置关系结合两幅图像,生成一幅包含图像A和图像B的图像范围的大图。
2.1 提取边缘并筛选匹配列
首先利用Canny算法提取每幅图像的边缘,记录每一列的边缘点的纵坐标。求出每一列边缘点的纵坐标的均值μj和方差δj。由于纵坐标的均值表示边缘的平均位置,方差表示分散程度,相邻列之间均值或方差的变化程度大,说明此列附近的图像在水平方向有较大的变化。筛选出这样的列进行比较。均值和方差的变化程度可由前后列增加量的平均值衡量,如第
由于图像数据有一定的干扰量,利用两列增量的平均值比单列的增量有更好的稳定性。增量的阀值可取图像垂直高度的1%。选取增量大于阀值的列,分为正、负增量两组,每幅图像的正组与正组匹配,负组与负组匹配。通过这种方法预先筛选出待比较的列,不仅可以减小计算量,而且能降低最终结果落入局部极值的概率。这是由于这些列附近图像边缘的波动较大,匹配的条件更为苛刻,避免了仅仅因为由于边缘分布简单(甚至没有边缘)而错误匹配的情况。
2.2 图像匹配
筛选出待匹配的列并分组以后,匹配算法分为两步 :邻域方差匹配和垂直距离匹配。邻域方差比较可以初步衡量对比的列附近图像的相似程度,垂直距离匹配则可以进一步确定图像的匹配关系和垂直偏移量。
首先比较由需要匹配的列确定的一个邻域中,相对应的列的边缘点纵坐标方差,即2.1提到的方差δj。每对待匹配列 (例如图像A中的第m列于图像B中的第n列),以待匹配列的横坐标为中点,确定两个长度为L的方差数列Sm A和Sn B。L一般选取图像宽度的15% 左右。Sm A与Sn B的相似程度由Sm A与Sn B之差的绝对值来衡量,即越小说明SmA与SnB相似程度越高。
每对待匹配列都可以得到一个Sim值。对所有待匹配列进行邻域方差匹配后,对每一对匹配过的列进行分组 :图A、B中的待匹配列同时落在邻近范围内的分为一组。例如 (Sm A Sn B) 对和 (Sm’ A Sn’ B) 对, 若m与m’、n与n’相差小于一定值,则分为一组。以每一组的中最小的Sim值作为该组的Sim值,并记录Sim值最小一对的横坐标m、n作为匹配组的位置。
分组后把每组按Sim值从小到大排列,也即按相似程度从大到小排列。对前K组进行垂直距离匹配处理(一般K取20左右是充足的)。垂直距离即一列像素点中每点到该列中最近的边缘点的距离。如图 :
垂直距离匹配策略如下 :匹配组位置m、n为中心在各自原图中对应的长度为L的邻域中,等间距地取10对像素列,计算每对像素列的距离数列Dmj (i )与Dnj (i )进行比较,j表示第j对对应像素列。比较方式为每对距离列取垂直偏移量Offset在–h/2到h/2之内变化(h为图像高度),求绝对差值的平均值,取结果最小值,即 :
对10对像素列 的Distance值求和,得到该组的相似系数GroupSimm,n:
前K组中GroupSim最小的一组即为最优匹配组。在最优匹配组中,Distance值最小的一对像素列为最优匹配列,最优垂直偏移量为使这对匹配列取得Distance最小值的Offset值。以这一对像素列作为两幅图像的接缝,可以得到最佳的拼接效果。由于Distance值最小的一对像素列的边缘像素分布通常比较简单,也就是说这一对列中信息量比较小,以这一对像素列作为接缝,对图像原始信息的破坏最小, 最大限度保留了原始图像的信息。
3 图像融合
为了达到更好的拼接效果,需要对接缝附近进行平滑处理。目前已有很多方法处理这一问题,本文采用较为简单有效的加权合成的方法 :
其中Ptran为融合区域的灰度值,P1、P2为原图中相应像素的灰度值,ω为加权系数。对以接缝为中心长度为D的融合区域,ω从0到1渐变。由于本文算法获得了最佳的接缝位置(最不明显的拼接位置),D只需取图像宽度的1/40 ~ 1/20即可,D取更大值反而可能出现重影,影响拼接效果。
4 结束语
相关文章：
全景视频01-10
ShowTime视频录制软件详细使用教程01-10
【视频】软件应用教程01-10
全景式01-10
速写视频教程01-10
视频剪辑制作教程01-10
《Multisim中文视频教程》01-10
用爱关注学生01-10
加强高校内部审计01-10
