远程红外图像系统设计（精选八篇）
远程红外图像系统设计 篇1
1 系统总体的设计框架
设计的基于红外图像处理的远程电网过热故障定位系统主要是依靠红外图像对异常热点的反应,经过智能识别,完成判断的。因此,手持式应用系统需要包括图像采集模块、通信模块、DSP模块、FPGA模块以及热点源定位模块,具体的设计逻辑图如图1 所示。
由图1 可知,系统通过图像采集模块获取电力设备的红外图像,通过DSP模块结合热点源定位模块,收集电力设备异常热源红外图像并对图像进行实时处理后,并将电力设备的异常热源红外图像数据存储在FPGA模块中,FPGA模块通过串口将存储的电力设备异常热源红外图像数据反馈给上位机进行显示和预警控制。
2 检测系统的主要硬件设计
2. 1 电力设备图像采集模块
对电力设备的图像采集模块主要负责完成采集视场范围内电力设备的红外图像数据以及对数据进行预处理,主要包括红外摄像机、视频解码器、单片机、静态存储器以及数据缓冲器,通过红外摄像机采集电力设备现场的红外图像,并通过单片机对该红外图像进行处理,同时将电力设备的红外图像数据存储在数据缓冲器以及静态存储器中,提高了系统电力设备红外图像数据的存储量。具体硬件结构逻辑如图2 所示。
为了加强视频解码的精度,系统将PHILIPS公司生产的SAA711IA作为视频解码芯片。FIFO选择IDT公司生产的IDT72V235,其是一种同步FIFO,能够实现STANDARD与FWTF两种工作模式。考虑到本文系统的时间要求,为了扩展资源,选择Lattice公司生产的CPLD器件实现解码器的控制时序以及板上芯片间各种信号的控制逻辑。
2. 2 异常热源红外图像处理模块的设计
DSP模块是采集电力设备异常热源红外图像并对图像进行实时处理的核心模块,也是整个系统的主处理器,该模块基于图像采集模块获取的电力设备红外图像,通过与基于红外图像分割技术的远程热点源定位模块相结合,实现电力设备异常热源红外图像的检测,并对总体系统进行控制及调控。主要包括JTAG端口、式中模块、复位控制、电源模块等,具体硬件结构用图3 进行描述。
考虑到热故障智能检测系统涉及的数据量大,同时对运算效率有很高的要求,因此,异常热源红外图像处理模块选择TI公司生产的DSP系列高速器件TMS320C6711 控制芯片作为模块核心处理器,该处理器可针对复杂的电力设备,采集到电力设备的异常热源红外图像,并对红外图像进行高质量的处理。异常热源红外图像处理模块通过2 颗ICS501芯片分别为DSPS与EMIF提供时钟,可同时满足采集电力设备异常热源红外图像的实时性,以及处理电力设备异常不同热源红外图像的不同幅值变化要求[4]。电源模块采用TPS767D318 电源芯片,其是一种具有双电压输出的电源芯片,可同时提供1. 5V及3. 3 V输出电压,符合DSP模块对电源的要求。存储器采用Hynix公司的HY57v641620HG。
2. 3 热源图像信号的保存与预处理模块设计
系统通过FPGA模块对电力设备热源图像信号进行存储、预处理和匹配等操作,FPGA模块的具体硬件结构用图4 进行描述。
针对电力设备的热源图像信号具有频率高、波动大等特征,因此为了确保系统可对电力设备的热源图像进行有效操作和传输,要求FPGA模块应具有很高的处理速度、充分的存储空间以及功能逻辑单元,考虑到上述要求,系统可采用Ahera公司生产的FPGA芯片-EPIC20F324,其内部集成20 000 个左右逻辑单元,2 个可编程锁相环以及300 多个可用I / O口。 在设计的过程中,采用VHDL语言进行编程,通过流水线技术增强电力设备热源红外图像处理的并行性,使得系统的资源消耗达到最小,提高电力设备过热故障红外图像定位系统的使用周期。
2. 4 热故障通信报警模块的设计
为了及时得到电力设备的异常热源故障信息,通信报警模块的设计尤为重要。通信报警模块采用RS422 协议实现通信主板与各模块之间的信息传递[5,6]。通信报警模块主要包括电源、LCD驱动电路、LPC1768 处理器、RS232 串口等,组成完整的电路结构。图5 描述的是通信报警模块整体结构示意图。
RS422 串行接口支持单机传输,多机接收,在一条平衡总线最多可连接10 个接收器。RS422 采用4条信号线完成电力设备红外图像信息传递,有独立的传输与接收通道。并且RS422 以平衡传输与差分接收为传递方式,具有很强的抗干扰能力,可适应不同的电力设备,进而实现电力设备异常红外图像信息的传递,对本文系统起到至关重要的作用。
3 热故障定位软件处理算法的设计
系统通过基于红外图像分割技术的远程热点源定位模块,实现电力设备过热故障红外图像的定位。该模块中的软件处理算法以图像分割为主,系统可以采用基于阈值分割的红外热点分割技术对电力设备形成的异常热点源进行定位。对电力设备异常热源红外图像的阈值分割,实质是依据某个准则求出最佳区域分割阈值的过程,以便找到最优的设备热故障区域。
对阈值分割过程进行算法描述,用f(x,y)描述输入的电力设备红外图像,在f(x,y)中获取若干热源特征值T1,T2,…,Tn,则输出的电力设备采集红外图像∧f(x,y) 可描述成:
通常情况下,可将带分割区的阈值运算看作是关于某点灰度值、该点某种局部邻域特性以及坐标等特征的函数,因此,可将式( 1) 中的阈值T描述成:
式(2)中,f(x,y)用于描述电力设备的红外图像特征点(x,y)的灰度值;P(x,y)用于描述点(x,y)的某种局部邻域特征。
将采集的电力设备区域红外图像中的灰度看作是分割特征,假设灰度为独立分布的随机变量,同时假设红外图像中待分割区域服从一定的概率分布,即可获取最小误差分类准则的分割阈值。假设红外图像中仅存在热故障设备以及非故障设备两种模式,先验概率分别用P0( z) 与P1( z) 进行描述,均值分别用 μ0与 μ1进行描述。
假设热故障设备的图像像素点数占红外图像总像素点数的百分比是 ω0,非故障电力设备图像像素点占 ω1= 1 - ω0,则混合概率密度可描述成:
如果确定阈值T,则热故障设备图像像素点被误划分成非故障设备图像像素点的概率可描述成:
将非故障区电力设备图像像素点误划分成故障设备像素点的概率可描述成:
则总错误概率可描述成:
最佳阈值即错误概率最小情况下的阈值,对上式的T进行求导,同时令其等零,则有:
对于正态分布:
将式( 8) 、式( 9) 代入式( 7) 中,同时对两边取对数,则有:
如果 σ02= σ12= σ22,则有:
如果ω0=ω1=1/2,则有:
系统软件根据上文原理完成红外区域分割,分割结果如图6 所示。
如果红外图像中远程热故障与非故障区域像素灰度呈正态分布,同时标准差相同,远程故障与非故障区域的像素比例相等,则最佳阈值即为像素灰度值均值。
4 仿真实验分析
以本文提出的硬件软件方法进行系统设计,设计出1 代产品,以该产品为基础,进行应用测试。系统的实景图如图7 所示。
试验参数的选取如表1 所示。
分别采用本文的设备对某电力电源过热的故障进行定位,得到的结果用图8、图9 进行描述。
分析图8、图9 可以看出,采用本文系统相比传统方法获取的远程热电源定位结果性能较好,可检测出过热故障区域,说明本文系统具有很高的实用性。在进行测试过程中,记录系统的实验数据如表2 所示。
为了进一步验证本文系统和人工热故障检测对比的优势,在上述实验的基础上对本文系统和传统系统( 人工检测系统) 的定位误差进行比较,得到的结果用图10 进行描述。
分析图10 可以看出,本文系统的定位误差曲线一直低于传统的人工系统,并且较传统人工系统的误差曲线更为平稳,验证了本文系统的可行性。
6 结论
本文设计并实现了一种基于红外图像分割技术的远程热点源定位系统,介绍了系统的总体结构,通过图像采集模块完成系统视场范围内红外图像数据的采集以及预处理,DSP模块作为红外图像实时处理的核心和整个系统的主处理器,可实现整个系统的控制及调控。利用FPGA模块实现图像信号数据的暂存、预处理及匹配等操作。通信模块采用RS422 协议实现通信主板与各模块之间的信息传递。详细分析了基于红外图像分割技术的软件设计,并给出系统程序实现代码。仿真实验结果表明,所提系统具有很高的可行性及实用性。
摘要：传统的电力设备过热故障都是通过人工检测完成的,无法做到无接触检测,危险性较强。结合红外热成像理论,设计并实现基于红外图像处理技术的电力设备过热故障检测系统,介绍了系统的总体结构。通过远程图像采集模块完成电力设备范围内红外图像数据的采集以及预处理,DSP模块作为红外设备图像实时处理的核心,实现整个系统的控制及调控。利用FPGA模块实现图像信号数据的暂存、预处理及匹配等操作。详细分析了基于红外图像分割技术的软件设计基础和实现方法;并给出系统程序实现代码。系统测试结果显示,所提系统具有很高的可行性及实用性。
关键词：红外图像分割,热电源,定位
参考文献
[1]李志国,郝欣然.基于C-V模型的红外图像自动分割方法研究.激光与红外,2011;41(3):356—358Li Zhiguo,Hao Xinran.Based on the C-V model infrared image automatic segmentation method research.Journal of Laser and Infrared,2011;41(3):356—358
[2] 陈亮,丁国辉,郭雷.基于直方图互确认的图像阂值化分割.红外与毫米波学报,2011;30(1):80—84Chen Liang,Ding Guohui,Guo Lei.Worshiping binarization image segmentation based on histogram to confirm each.Journal of Infrared and Millimeter Wave,2011;30(1):80—84
[3] 董燕飞,任琦梅,张俊峰.一种基于多重模糊聚类的红外口标分割算法.激光与红外,2010;40(5):554—557Dong Yanfei,Ren Qimei,Zhang Junfeng.A multiple fuzzy clustering based on the infrared mouth the segmentation algorithm.Journal of laser and infrared,2010;40(5):554—557
[4] 柳翠寅,张秀琼,银星,等.基于特征散度K-mean、红外图像分割遗传算法.激光与红外,2011;41(11):107—111Liu Cuiyin,Zhang Xiuqiong,Yin Xing,et al.Based on the characteristics of the divergence of K-scheme,infrared image segmentation of genetic algorithm.Journal of Laser and Infrared,2011;41(11):107 —111
[5] 赵佳佳,唐峥远,杨杰,等.基于图像稀疏表示的红外小口标检测算法.红外与毫米波学报,2011;30(2):156—162Zhao Jiajia,Tang Zhengyuan,Yang Jie,et al.Based on image sparse representation of the infrared small mouth standard detection algorithm.Journal of Infrared and Millimeter Wave,2011;30(2):156 —162
[6] 刘刚,梁晓庚,张京国.基于轮廓波变换和改时模糊C均值聚类的红外图像分割.系统工程与电子技术,2011;23(2):443 —448Liu Gang,Liang Xiaogeng,Zhang Jingguo.Change profile based on wavelet transform,and the fuzzy c-means clustering of the infrared image segmentation.Journal of Systems Engineering and Electronics,2011;23(2):443—448
[7] 纪则轩,陈强,孙权森,等.各向异性权重的模糊C均值聚类图像分割.计算机辅助设计与图形学学报,2009;21(10):1451—1459Ji Zexuan,Chen Qiang,Sun Quansen,et al.The anisotropy of weighted fuzzy c-means clustering image segmentation.Journal of Computer-aided Design and Graphics,2009;21(10):1451—1459
[8] 阵中桦,焦李成,侯鹏.基于非下采样Contourlet变换的视网模分割.计算机学报,2011;34(3):574—582Zhen Zhonghua,Jiao Licheng,Hou Peng.Networks model segmentation based on the next sampling Contourlet transform.Journal of Computers,2011;34(3):574—582
[9] 倪超,李奇,夏良正.基于非下采样Contourlet扩散滤波的红外图像去噪.东南大学学报,2010;40(Supl):272—276Ni Chao,Li Qi,Xia Liangzheng.Based on the sampling Contourlet diffusion filter under infrared image denoising.Journal of Southeast University,2010;40(Supl):272—276
远程红外温度采集系统设计 篇2
下位机的软件设计是在硬件设计的基础上，根据系统结构划分功能模块，进行主程序和各模块程序的设计。
上位机用VC++6.0编写了相应的通信及控制程序。
由PC机和8031组成的远程控制和数据采集系统，控制简便、灵活，人机界面友好，进行大量的数据传输及数据处理极为方便。
关键词：远程;温度采集系统;PC机;8031单片机;串行通信
温度是液化汽储罐的一个重要参数，所以要进行多点测量，为实现对温度的控制提供数据。
系统检测温度范围为0～50℃，分辨率≤0.2℃。
在数据采集系统中，常利用PC机串行口通过串行通信，实现远程数据采集。
这一问题可以通过微机与下位机的串行通信来解决。
远程多点温度数据采集系统以8031单片机为下位机进行现场四点温度数据采集，并实现采集数据向PC机的串行传输。
PC机通过串行通信向下位机发布数据传送命令，完成数据处理、存储、显示及历史查询。
一、系统的.硬件构成
Win环境下远程多点温度数据采集系统框图如图1所示。
系统的硬件构成主要由两大部分组成：一是8031单片机作为下位机所控制的现场数据采集电路，负责采样温度数据;另一是PC机与8031单片机的远程通信电路。
(一)8031单片机数据采集系统
本设计的温度检测范围属于低温，采用集成温度传感器AD590，其工作温度范围为-55～150℃。
它能把温度信号转换为与温度成比例的电流信号， 再通过OP07对电流作加法运算，在运放输出端可得到合适的电压信号，作为A/D转换器的输入。
A/D转换器的种类很多，本设计选用8位通用型ADC0809。
ADC0809输出8位二进制数，片内有三态输出锁存器，因此与8位机的连接比较简便。
将A/D转换器作为8031的一个扩展I/O口，用高位地址线P2.7(结合或)选通芯片。
模拟输入通道地址的译码输入信号A、B、C，由低位地址线P0.0～P0.2经锁存器后提供。
这样输入通道IN0～IN7的口地址为7FF8H～7FFFFH，而本设计只要求进行4点温度数据采集，只用输入通道IN0～IN3。
由于只对4路模拟信号进行数据采集，故选择常用的8031作为下位机。
片外程序存储器选用2732A EPROM，容量为4K×8位，留有相当余量。
8031的端固定接地。
P0口通过锁存器74LS373向 EPROM提供低8位地址，同时复用作为数据线。
和是访问外部程序存储器的两个控制信号。
2732A的数据线接8031的P0口。
12根地址线中，低8位接锁存器输出端，高4位接8031的P2口。
输出允许端与8031的相连。
因只有一片EPROM，其片选端可以不接高位地址线而固定接地。
8031单片机与PC机之间的通信为了减少送线、降低成本，采用串行通信方式。
若将PC机与8031的RS-232C串行口直接相连,双方收发最大距离为15m。
而在实际应用中，最大距离远大于此值。
为此，采用了一个RS-232C到RS-422方式的转换装置，使PC机与8031间接相连，以RS-422A方式进行通信，这样可大大增加传送距离。
RS-422A标准是一种以平衡方式传输的标准，可双端发送、双端接收。
发送端和接收端分别采用平衡发送及差动接收。
通过前者把逻辑电平变成电位差，完成终端信息接收。
并且RS-422A采用双线传输，大大提高了抗干扰能力。
最大传输速率可达10Mbit/s(传输距离15m时)，传输速率降至90 Mbit/s时，最大传输距离可达1200 m，这能充分满足系统“远程”的要求。
MC1489是RS-232C串行通信接x器，它把计算机串行TXD发出的232C电平转换为TTL电平，供MC3487驱动传输。
MC1488是RS-232C串行通信发送器，它把MC3486接收的电平，送到计算机串行接收RXD。
这样接入该转换器后，PC机与8031变成了差分传输，只需D+、D-两根双绞线就能提高传输距离，并消除了共地电势的影响。
(二)硬件合成
把以上各单元组合起来，得到完整的硬件系统，如图2所示。
二、8031单片机程序的编制
8031单片机作为PC机的下位机，一方面要定时完成现场温度数据的采集、更新;另一方面，要能接收上位机定时发出的“准备发送数据”命令，产生中断，实现与PC机的串行通信。
所以，8031单片机的程序主要由串行通信程序和数据采集程序组成。
(一)串行通信程序的编制
8031的主程序主要完成系统的初始化，包括定时器、串行口、中断系统的初始化，然后等待中断。
中断有上位机发出的“准备发送数据：命令而产生的串行口中断，还有自己定时启动A/D转换器的定时中断，优先级以串行口中断为高优先级。
主程序流程图如图3所示。
1.串行口初始化。
串行通信方式选方式1。
方式1为波特率可变的8位异步通信方式，由TXD发送，RXD接收。
一帧数据为10位：1位起始(低电平)、8位数据位(低位在前)和1位停止位(高电平)。
波特率取决于定时器T1的溢出率(1/溢出周期)和波特率选择位SMOD。
用定时器T1作波特率发生器时，通常选用定时器工作方式2(8位重装定时初值)，但要禁止T1中断(ET1=0)，以免T1溢出时产生不必要的中断。
设TH1和TL1的初值为N，那么
2-1从而得到定时器T1工作在方式2时的初值为：
2-2在波特率的设置中，SMOD位数值的选择影响着波特率的准确度。
本设计中，波特率=2400b/s，fosc=6MHZ，这时SMOD位可以选0或1。
红外图像增强系统的设计与实现 篇3
随着红外技术的发展,红外成像技术在科学研究领域和军事领域都发挥着极为重要的作用[1,2]。然而,由于场景中的目标与背景的温差较小,红外图像一般具有低反差和图像信噪比低的缺点。为了能够从红外图像中正确地识别出目标,必须对红外图像进行增强处理,以得到适合人眼观察或机器识别的图像,从红外图像中正确地识别、检测出目标。
近几年,随着图像增强技术进一步完善以及高速、高性能处理器的出现,红外图像实时处理的研究得到了迅速发展[3,4]。传统的实时红外图像增强方法中最常用的是直方图均衡[5]和灰度变换[6]。直方图均衡化方法将图像原直方图的分布映射为近似均匀的分布,可以达到增强降质图像的对比度的目的。但是该算法在对目标增强的同时也增强了背景,导致背景和噪声占用的灰度级偏多,目标的灰度级偏少,反而降低了目标的对比度,不能有效地突出目标的细节。直接灰度变换方法虽然能在一定程度上实现对比度增强,但是确定变换函数比较困难,且通用性差。
为了增强红外图像增强系统的通用性,笔者在原有嵌入式高速图像处理平台[7,8,9]基础上提出了一种自适应红外图像增强算法,在该平台上采集实际图像验证了算法的有效性。
1 自适应红外图像增强算法
笔者设计了一种平台阈值自适应选择的图像增强方法。其中,实现该算法的关键是平台阈值的选择。目前已有的算法基本上是凭经验进行平台阈值的选择。为了使算法具有更强的通用性,本文算法根据图像的直方图,自适应地选择平台阈值,实现自适应平台直方图均衡化,具体做法如下:
1)在灰度范围内,遍历整幅图像,得到图像中各灰度级出现的次数nk,其中,k=0,1,⋯,255;
2)设pr(rk)为处理后第rk灰度级的像素个数,即
式中:n为图像中像素总数。
3)构成集合S,去除pr(rk)中小于一定阈值Tz的单元,即
4)找出S中局部最大值fi(rk),fi(⋅)表示第i个局部最大值,用m表示局部最大值的个数;
5)求出自适应估计的平台阈值T,公式如下
6)通过平台阈值T,对统计直方图进行如下修正:如果某灰度级的直方图值大于平台阈值T,将其直方图值置为T;如果其直方图值小于平台阈值T,则保持不变。公式如下
7)计算校正后的图像中像素的灰度值z(x,y),公式如下
2 实验结果与分析
为了验证本文的嵌入式红外图像增强系统的有效性,在楼上对实时拍摄的场景进行处理,实验所用图像如图1所示。从图中可以看出,直方图均衡化算法在增强图像的同时也增强了噪声,而本文算法较好地抑制了噪声,取得了令人满意的清晰化效果,同时算法计算时间小于20 ms,能够满足工程中对实时性的要求。
3 小结
结合工程实际的需要,对嵌入式红外图像增强系统进行设计。首先设计了嵌入式红外图像增强处理平台,并在此基础上提出了一种自适应红外图像增强算法,基于该平台用真实图像验证了笔者提出的算法。实验结果表明,本系统在提高对比度的同时,有效抑制了噪声的干扰,获得了较好的增强效果,算法运行时间少,能够满足工程项目的实时性要求。下一步工作计划将深入研究多尺度Retinex图像增强算法,有效地增强图像中的细节,从而获得更加清晰、更高质量的图像。
摘要：针对直方图均衡化算法无法有效抑制噪声的缺点,提出了一种新的自适应红外图像增强算法。首先统计红外图像直方图,估计出平台阈值,然后对统计直方图进行修正,最后校正图像中所有像素灰度值并进行输出。结合实际应用,搭建了高速红外图像增强处理平台。基于该平台用真实图像验证了提出的算法,实验结果表明,本系统在提高对比度的同时,有效地抑制了噪声的干扰,获得了较好的增强效果,算法运行时间小于20ms,能够满足工程项目的实时性要求。
关键词：自适应,红外图像增强,噪声抑制,对比度,平台阈值,统计直方图
参考文献
[1]张长江,付梦印,金梅.一种抗噪的红外图像对比度增强方法[J].红外与激光工程,2004,33(1):50-54.
[2]许永锋,张书铃.红外图像自适应增强的模糊粒子群优化算法[J].计算机工程与应用,2008,44(27):175-177.
[3]BAI L,LI X,CHEN Q,et al.The hardware design of real-time infraredi mage enhancement system[EB/OL].[2011-07-20].http://ieeexplore.i eee.org/xpl/freeabs_all.jsp?arnumber=1281039.
[4]WANG B,LIU S,LI Q,et al.A real-time contrast enhancement algorithmf or infrared images based on plateau histogram[J].Infrared Physics&T echnology,2006,48(1):77-82.
[5]尹传历.基于双目立体视觉的三维测量技术研究[J].长春:中科院长春光机所,2008.
[6]MENOTTI D,NAJMAN L.Multi-histogram equalization methods forc ontrast enhancement and brightness preserving[J].IEEE Trans.C onsumer Electronics,2007,53(3):1186-1194.
[7]尹传历,张葆,戴明,等.嵌入式雾天降质图像对比度增强系统的设计与实现[J].电视技术,2009,33(12):90-92.
[8]张怀柱,尹传历,宋建中,等.基于DSP的嵌入式显微图像处理系统的设计[J].电子技术应用,2008,34(2):30-33.
远程红外图像系统设计 篇4
1 系统组成
中波红外制导模拟系统主要由弹上分系统和地面分系统组成。弹上分系统包括光学舱和跟踪控制电子舱两部分,光学舱主要由二维陀螺稳定转台、热像仪等部分组成,跟踪控制舱主要由陀螺伺服稳定板、主控板、视频跟踪处理板、电源板等单元组成。地面分系统主要由操控台和图像处理单元等组成,图像处理单元主要包括工控机、图像采集卡以及综合显控软件。系统的组成框图如图1所示。
系统的工作流程如下:首先由弹上光学舱的热像仪完成视频的前端采集,采集到的视频送至弹上跟踪器做跟踪处理,同时由跟踪器提出一路送至图像处理单元的图像采集卡,由综合显控软件完成图像的显示、处理和压缩存储等。系统由地面操控台或者图像处理单元的综合显控软件发起系统控制,控制信号送至弹上主控板和伺服稳定控制板,从而完成整个系统的联动。
2 图像处理单元
图像处理单元即本文设计的主要内容,集系统控制、系统状态显示、目标检测、目标跟踪以及视频压缩存储等多种功能于一套软件上。图像处理单元由工控机、图像采集卡、232转422控制器以及上位机综合显示控制软件组成,上位机综合显控软件采用多线程技术,通过采集卡驱动获取图像数据,根据系统状态信息进入不同的处理线程,完成不同的系统功能。本图像处理单元结构图如图2所示。
综合显控软件主要功能集中于图像处理和单点数据通信,因此采用MFC窗口类应用程序结构,所需的支撑环境如表1所示[1]。
3 综合显控软件功能模块
在对系统各个功能之间的关系进行深入分析之后,将综合显控软件的功能归纳为6个模块,功能模块图如图3所示。
具体功能如下:
1)视频显示:由采集卡对弹上光学舱获取的模拟视频信号进行数字化,综合显控软件操控采集卡驱动获取数字化之后的图像数据,在指定窗口进行实时显示;
2)系统状态显示:由232转422控制器接收弹上主控板下发的系统状态信息,经解析后在界面相应位置实时更新系统各项状态信息,包括红外传感器当前视场、图像极性等设置信息,弹上跟踪器当前设置信息,以及当前伺服控制系统的架位角、角速度、当前系统的工作模式等信息;
3)系统控制:由软件界面上传感器控制区、弹上跟踪器控制区以及系统工作模式控制区等交互按钮进行系统控制数据的更改,软件设计定时器,定时将控制数据发送至弹上主控板,进行系统响应;
4)目标检测:由软件界面上开启自动目标提取功能后,图像处理线程自动进入目标检测算法模块,将提取出的目标用绿色矩形框标识出,以备进入跟踪处理;
5)目标跟踪:软件设计了质心跟踪、相关跟踪两种算法,跟踪过程中可手动切换跟踪算法,同时设计了自动切换跟踪算法的策略,并将之作为第三种跟踪方式(组合跟踪)供用户选择,软件为不同的跟踪算法设计了不同的跟踪波门,方便识别;
6)视频压缩存储:软件可启动视频记录功能,将采集到连续图像压缩编码为H.264视频流,并以录制的起止时间为文件名(2015122-175519.h264表示本视频是从2015年12月2日17点55分19秒开始录制的)存储在D:Video Data目录下。
4 图像处理算法详细设计
4.1 目标检测
目标检测是一种基于目标几何和统计特征的图像分割过程。图像分割算法一般基于亮度值的基本特性之一:不连续性和相似性[2]。经典的基于亮度不连续性的分割算法有角点检测、线检测、边缘检测等,而基于相似性的分割算法如门限处理、区域生长、区域分离和聚合等。
本系统红外导引头用于验证激光对导引头光电系统干扰/损伤效应,获取干扰/损伤阈值及干扰光斑尺寸对导引头目标提取能力的影响。激光照射下红外成像为特定尺寸和亮度的光斑,通常的红外图像为灰度图,因此,本文选取最大稳定极值区域(Maximally Stable Extremal Regions,MSER)算法进行目标提取。本算法基于灰度图进行处理,具有如下特点:
1)对于图像灰度的仿射变化具有不变性;
2)区域的支持集相对灰度变化稳定;
3)可以检测不同精细程度的区域。
MSER算法基本原理是对图像进行二值化,二值化阈值取[0,255],这样二值化图像就经历一个从全白到全黑的过程。在这个过程中,有些连通区域面积随阈值上升的变化很小,这种区域就叫MSER,数学定义如下
式中:Qi表示第i个连通区域的面积;Δ表示微小的阈值变化。当v(i)小于给定阈值时认为该区域为MSER。然而这样只能检测到图像中的暗区域,因此对原图进行一次MSER检测后需要将其反转,再做一次MSER检测用于检测图像中的亮区域,两次操作分别称为MSER+和MSER-。
目前MSER的代码实现有Open CV,IDIAP,VLFeat三种算法库,由于本文设计的图像处理单元还有许多其他功能需要借助Open CV完成,因此MSER部分代码选用Open CV库的MSER类实现[3],结合光斑目标的几何形状特性,完成从检测出的众多候选MSER区域中选出最终的目标区域。目标检测模块流程如图4所示。
由于MSER算法复杂耗时,本文图像处理单元仅对部分图像进行处理,系统中选取图像中心200×200像素区域(前端红外探测器输出的有效图像分辨率为640×512,且假设目标一般出现在图像视场中心部分),可检测的最小目标区域为3×3像素。根据光斑形状一般为圆形的特征,滤除长宽比过大的目标,且光斑为高亮度区域,因此选取平均亮度最大的区域为最终的目标区域,输出其具体位置,之后在原始输入图像上相应位置调用Open CV绘图函数画上绿色矩形框。系统的目标检测效果图如图5所示,图中整幅画面的分辨率为640×512,较大的方框为相关跟踪算法120×120搜索波门,中间较小的方框为目标检测算法框出的目标区域。
4.2 目标跟踪
到目前为止,目标跟踪领域已经涌现出大量成熟算法,如均值漂移法(Mean-shift)及改进的均值漂移法(Camshift),粒子滤波法(Partical filter),基于对运动目标建模的方法,基于Kalman滤波的目标跟踪等[4]。每种算法都有各自的适用场景和局限性。
本文设计的目标跟踪用于配合导引头上伺服系统完成跟踪闭环控制,原则上属于摄像头运动下的目标跟踪,摄像头运动时就无法获取固定的背景模型,这种情况下对目标的特征描述和目标跟踪算法要求较高。常用的方法有质心跟踪、边缘跟踪、相关跟踪以及组合跟踪算法。文中实现了质心跟踪、相关跟踪以及组合跟踪算法。
4.2.1 质心跟踪
这种跟踪方式主要用于跟踪有界目标[5],背景和目标的差异较大,且目标完全在视频画面内,跟踪时需要用一些图像预处理算法,如对比度增强、图像去噪、双极性增强等。算法过程如下:
结合上文的目标检测,如果用户选择开启自动目标提取功能的状态下进入质心跟踪过程,那么算法取MSER目标检测模块输出的可疑目标中心位置区的60×60像素作为质心算法的输入图像,如果用户未开启自动目标提取功能,则将整个图像中心的60×60像素作为质心算法的输入图像,根据当前目标的极性(黑目标/白目标)将图像进行二值化,背景像素值为0,目标像素值为1,然后按照式(2)进行目标质心计算,输出目标质心位置(k,l)。
式中:是二值图;(i,j)是输入图像中像素的坐标;m和n是输入图像的宽和高。当目标和导引头系统之间发生相对运动时,可通过重复计算式(2)实现目标质心位置连续输出,然后换算成控制伺服系统的跟踪误差量,配合伺服完成跟踪过程。质心跟踪效果图如图6所示,其中方框为质心算法输入图像,十字丝为当前视场中心位置,质心跟踪过程中波门内图像显示二值化结果图。
需要指出的是:1)质心跟踪算法的核心是二值化算法,如果所选二值化算法不能很好地“切”出目标,跟踪将发生偏差,严重者可导致整个导引头出现飞车现象。本文选用大津法(OTSU)进行二值化,算法核心思想是选择一个阈值,使得目标像素与背景像素类间方差最大,所选阈值即二值化的分割阈值。大津法对一般图像均能表现出良好的分割特性,尤其适用于具有双峰直方图的图像。2)输出的质心位置(k,l)是基于80×80像素区域的坐标,需要将其映射至768×576全图坐标系下,进而引导伺服系统(前端热象仪分辨率为640×512,经采集卡采集添加黑边后形成768×576图像)。
4.2.2 相关跟踪
相关跟踪算法的本质是模板匹配,即在一帧图像内寻找目标模板的位置,根据预先定义好的相关算法计算目标模板与全图或波门内子区域的相关系数,找到最匹配的子区域即目标位置。
相关跟踪算法有三个基本问题,首先是模板大小的选择,模板大小的确定往往是一个经验值,紧帖目标轮廓的模板或者包含太多背景的模板都不好,前者的模板太小,对目标的变化太敏感,容易丢失目标。后者正相反,目标变化的时候算法却没有反应。一般而言,目标所占模板的比例在30%~50%为佳。其次是匹配算法选择,比较经典的匹配算法有平方差匹配、标准平方差匹配、相关匹配、标准相关匹配、相关系数匹配、标准相关系数匹配。这几种匹配算法从简单(平方差匹配)到复杂(标准相关系数匹配),匹配精度越来越高,运算量也逐渐增大。最后是搜索策略,在搜索时,最笨的方法就是暴力式逐行遍历搜索,把图像中的每一个子区域都计算一遍。但实际上目标往往只在一个非常小的区域出现,很多地方根本没必要计算。所以在搜索时,如果当前位置的相关系数小于一定阈值或者该位置离上一帧的目标中心很远的时候,搜索的步长可以加大,反之则减小搜索步长,或者将搜索区域限定在目标可能出现的子区域,这依赖经验值来确定子区域的大小和位置。
本文的相关跟踪算法模板大小确定为60×60像素,搜索波门大小为120×120像素,选用波门内逐行逐列遍历搜索。模板的选取取决于当前是否开启自动目标提取功能,如果开启自动目标提取功能的状态下进入相关跟踪过程,则取MSER算法提取出的可疑目标中心60×60像素区域为模板,下一帧图像到来时在可疑目标中心的120×120像素区域进行搜索匹配,找到最匹配中心点后保存本中心点位置为目标中心点,以后每次的搜索区域均为上一帧目标中心点的120×120像素区。如果用户未选中自动目标提取功能,则抠取整幅图像中心点的60×60像素区域为模板,后续处理同上。这里匹配算法选择标准相关系数匹配法。一般可根据式(3)完成相关系数计算
式中:为去均值的模板图像;T(i,j)为所选模板图像;m和n分别为模板图像的宽和高;同样为去均值的波门内待匹配图像;I(i+Δi,j+Δj)为波门内行列方向分别移动Δi和Δj像素的大小为m×n的图像块,Δi和Δj取值均为0到59;R(Δi,Δj)为最终形成的60×60大小的相关系数阵,取相关系数阵中最大值为最匹配位置。
相关跟踪效果图如图7所示,图中方框为相关算法模板图像大小60×60像素,十字丝为当前视场中心位置,图中跟踪的是一架直升机。
4.2.3 组合跟踪
组合跟踪算法即将两种具有互补特性的跟踪算法组合使用,一般适用于目标尺寸、表面、特征改变很大的场景(如舰船在波涛汹涌的大海里航行)。本文将相关跟踪和质心跟踪组合起来,可以有效处理目标由近及远由清楚变模糊的跟踪过程。
当目标由近及远或由远及近运动时,目标与背景的对比度会发生明显变化,对于激光光斑,距离的远近还会造成成像光斑大小变化。当目标与背景对比度较低时,由于二值化分割算法会产生较大误差,这时已不适合质心跟踪算法,但相关算法仍能得到令人满意的跟踪效果,因此在软件设计时开启一个算法判决线程,线程中实时计算当前目标模板(目标中心60×60区域)二值化后目标面积大小,如果目标面积大于1/4模板大小即切换至相关跟踪过程,否则进入质心跟踪过程。
4.3 视频压缩存储
为了将实验过程作为素材保留下来,红外制导模拟系统需要录像功能,在不添加任何硬件外设的前提下,本文尝试用软件实现视频的压缩存储。
目前视频的编解码技术已非常成熟,其中H.264凭借其高压缩比和优秀的画质表现占据了视频压缩存储及传输的主要市场。本文根据原始图像制式(PAL制,768×576@25 f/s)选用H.264的3.0级和主类(Main Profile@Level 3.0)。H.264的类(Profile)规定了一组特定的编码功能,主类(Main Profile)支持隔行视频,采用B片的帧间编码和加权预测的帧间编码,支持利用基于上下文的自适应的算术编码(CABAC),主要用于数字广播电视与数字视频存储[6]。而H.264的级别(Level)则规定了分辨率、码率、帧率等视频本身的特性,3.0级别支持的视频类型为D1格式720×576,PAL制视频与此分辨率接近。
现有的支持软件压缩编码的算法库有FFMpeg组织的AVCodec类等,本文即借助此类实现视频压缩,压缩之前需要先初始化编码器,将RGB颜色空间变成YUV4∶2∶0格式,然后调用FFMpeg的avcodec_encode_video函数完成压缩,同时将压缩码流写入文件,存入D:Video Data目录下。
5 综合显控软件流程及界面设计
综合显控软件采用多线程实现上述各功能。系统初始化时需提前分配好所要使用的内存,主要是图像显示缓存和图像压缩缓存,图像采集回调函数中进行内存搬移,填充显示缓存,进行跟踪处理时直接处理显示缓存中的数据,处理完成后立即显示。为了能够在跟踪状态记录视频数据,需要额外拷贝出一份图像数据用于压缩存储,因此开辟一份压缩缓存。软件在设计之初应考虑好内存的使用逻辑,避免过多分配无用内存空间,以及无用的内存搬移。
软件启动后即开启图像处理线程、图像压缩线程、图像采集回调以及串口接收线程,主线程中设计定时器,定时刷新界面及发送控制数据。图像处理线程在没有进行目标提取和目标跟踪的情况下仅做显示处理,图像压缩线程在不进行记录的时候仅空循环。在图像处理线程、图像压缩线程和图像采集回调中需要处理好共享内存的保护,使用线程锁时需谨慎,避免死锁、线程饥饿等问题。
综合显控软件流程图如图8所示。
本着美观和交互友好性的原则,本系统软件界面设计截图如图9所示。
软件界面主要分为四大区域,左上图像显示区,中上状态显示区,右上系统控制区和下方跟踪误差波形显示区。图像显示区根据当前系统工作模式以及当前所选视频类型显示相应图像,如图所示为外置形心跟踪状态的图像,波门内显示为二值图。状态显示区用文字显示当前伺服工作状态、红外热像仪以及弹上跟踪器的当前设置,用罗盘更形象地显示当前伺服的架位角信息。系统控制区则选用了常用的按钮进行系统控制和传感器等设备控制。下方跟踪误差波形显示区实时显示当前的跟踪误差,如果点击右侧开始记录按钮,则将跟踪误差跟踪算法等信息写入日志文件,存储于D:LOG文件夹下,以备后续用以排查问题。
6 小结
本系统图像处理单元在一般综合显示控制软件的基础上增加了图像处理及视频压缩存储的功能,其中的自动目标提取功能极大提高了目标捕获的便捷性,比弹上跟踪器必须要求目标进入波门内才可进入跟踪的工作方式向前迈进了一大步。在不增加额外硬件设备的条件下,使用软件进行视频压缩存储也极大方便了用户储备实验数据的需求,从这两点来说软件设计是合理而成功的,不足之处在于输出控制数据的时钟还不够精确,达不到伺服系统要求的精确20 ms给出一帧数据的跟踪误差,在跟踪精度上还有待提高,此外界面的工业化设计也需进一步完善。
摘要：作为红外制导模拟系统的重要组成部分,该系统基于MFC设计开发了后端图像处理软件,主要完成以下功能:红外视频的显示、目标检测、多种算法的目标跟踪(包括质心跟踪、相关跟踪以及基于这两种算法的组合跟踪)、视频压缩存储以及系统控制和状态显示。在不增加任何硬件设施的前提下为系统实现了录像功能,且软件的自动目标提取有效弥补了弹上跟踪器的不足,为导引头操控提供了极大便利。
关键词：目标检测,目标跟踪,相关跟踪,质心跟踪,视频压缩存储
参考文献
[1]刘书智.Visual C++串口通信与工程应用实践[M].北京:中国铁道出版社,2011.
[2]冈萨雷斯.数字图像处理[M].北京:电子工业出版社,2010.
[3]毛星云,冷雪飞.Open CV3编程入门[M].北京:电子工业出版社,2015.
[4]蔡荣太,吴元昊,王明佳,等.视频目标跟踪算法综述[J].电视技术,2010,34(12):135-138.
[5]熊伟,谢剑薇.光电跟踪控制系统导论[M].北京:国防工业出版社,2009.
一种红外图像处理系统的设计与实现 篇5
在阿富汗战争中, 美军作战模式有了最典型的转变, 即在对方的防空系统很弱甚至不存在的情况下, 美军也采取了将低空攻击转变为中空和防区外实施精确武器攻击的作战模式。而这种转变正是由于机载光电瞄准、导航系统, 包括新型合成孔径雷达等一系列数字电子、光电子设备的应用和不断改进的结果。
在现代战争条件下, 不但要求机载火控系统具有精度高, 作用距离远, 而且要有在昼夜和恶劣天气条件下工作的能力。实战表明, 机载光电目标搜索捕获、识别和指示系统与其它传感器如毫米波雷达、高精度导航等组合, 就能满足战场要求。从20世纪70年代初开始, 美、英、法、德等国的军事航空部门就开始重视发展各种机载光电导航瞄准系统, 这些光电系统有如:前视红外系统 (FLIR) 、红外搜索跟踪系统、激光测距仪和激光目标指示系统、激光自动跟踪系统, 以及微光电视设备、CCD摄像机、可见光电视设备、光电平面显示装置等。这些机载光电导航和瞄准系统在上世纪的中东战争、海湾战争、科索沃战争等历次局部战争中发挥了重要的作用, 至今, 这类光电设备已成为确保飞行员实施敌方“火力圈”外安全准确攻击目标的必备装备。
导航吊舱前视红外装置的设计由于视场大, 扫描线多, 空间分辨率高, 造成系统的帧像素数特别大, 每秒处理数据量也非常大, 这样给高速实时图像处理系统的设计带来了很大困难。
本文主要根据导航吊舱前视红外装置成像的特点, 重点开展前视红外装置的核心部分图像处理系统实时成像技术方面的研究。
1 系统设计
1.1 系统总体构建
本系统主要实现对前端波红外探测器输出的模拟图像信号采集、模数转换, 实时图像处理, 输出单帧像素为768*576 CCIR-656制式的全模拟电视信号进行显示。为达到整个系统高速、实时性的要求, 系统采用了DSP与FPGA相结合的设计思想, 由FPGA实现SRAM A, B, C缓存存储器映射在DSP的CE空间, 实现协处理系统间的无缝接口。FPGA作为图像数据采集单元, 采集到的图像数据预处理后传给DSP;DSP部分为系统图像处理系统的核心单元, 决定着整个系统的性能;DSP完成处理任务后, 将把结果返回给FPGA, FPGA将负责信息的显示, 提供人机交互, 作为系统的视频显示单元。系统总体流程如图1所示。
由于探测器输出的模拟图像信号通过四路A/D转换器转换为数字图像信号, FPGA将负责该数字信号的采集。FPGA与DSP采用主从工作方式, DSP通过向FPGA写入状态来控制FPGA的工作, 执行相应的功能。当采集到的有效的探测器信号, 先经过非均匀性校正、亮度/对比度控制、盲元替换。经过处理的图像数据被缓存在一片的SRAM A中, 当存满一场时触发一次DSP读中断, 通过DSP的EDMA传输方式将数据写入DSP的片内L2的缓存区中。由DSP进行图像显示变换, 把14bit的图像数据变换成8bit的图像数据, 然后进行实时图像增强等算法处理, 来改善图像质量。由于每帧中的两场图像数据相同, 系统中只需处理一场的图像数据。当DSP将一场图像数据经过图像处理算法处理结束后, 触发一次DSP写中断, 通过DSP的EDMA传输方式将数据写入FPGA的片外接的两片SRAM B、C中缓存。由FPGA根据同步信号逻辑进行切换控制, 将经过处理后的图像数据, 送入视频编码器数模视频转换, 最后输出CCIR-656制式兼容的全模拟电视信号。
1.2 系统硬件设计
整个硬件系统上划分为DSP模块和FPGA模块, 其中DSP和FPGA为核心器件。DSP模块承担系统管理和控制、图像显示变换、非均匀性校正的定标、盲元检测、数字图像增强处理等算法处理的功能, FPGA模块承担实时像素采集、图像预处理、图像数据输入/输出场缓存、视频编码器控制、异步串行通讯等功能。DSP模块和FPGA模块之间采用主从方式工作, DSP模块为主模块, 控制整个系统的任务调度, 控制图像数据在DSP模块和FPGA模块之间的传输。系统进行完图像处理后, 按照CCIR-656制式全电视信号的时序要求, 把图像数据输出给视频编码器, 它内部包括视频合成和D/A数模转换器, 然后输出模拟全电视信号到电视监视器显示。系统硬件框图入图2所示。
电路部分分为FPGA和DSP两个大模块, 各自具有外围电路和外设器件, 两个模块之间采用总线相连。
DSP模块包括数字信号处理器, 大容量动态存储器, FLASH存储器, JTAG调试接口, 时钟及复位电路和相应的电源电路等。
FPGA模块包括Stratix可编程逻辑器件, 输入输出帧缓冲存储器, 视频编码器, 可编程逻辑器件的配置芯片及其配置接口, 异步串行通讯, 还有相应的电源及时钟电路。Sratix系列可编程逻辑器件具有丰富的管脚资源, 外部电路却很简洁, 只需要相应的配置芯片就可以正常工作。可编程逻辑芯片主要用来处理实时视频流, 包括输入和输出, 相应的图像数据积累满一场后中断DSP来读取;同样的, DSP处理完一场数据后马上产生中断DSP刷新数据。总共存在三个帧缓冲器, 一个输入缓冲及两个输出缓冲, 分别由三片SRAM承担。视频D/A部分选用视频编码芯片, 由FPGA产生全电视信号的同步及消隐信号进行控制。视频编码芯片的控制接口为I2C接口, 该接口接至FPGA, 由该芯片直接发出配置命令进行配置。FPGA编程产生标准的异步串口通讯控制模块配合电平转换芯片实现异步串口通讯, 提高了系统的模块化设计和多设备通讯的能力。
1.2.1 高速外部存储器外围电路
1.2.1. 1 外接FLASH存储器
高速外部存储器有两个外部数据总线, 一个宽度64bit的高速外部存储器总线, 一个宽度16bit的低速外部存储器总线。
1.2.1. 2 外接FPGA
高速外部存储器总线EMIFA与FPGA中实现无缝连接, FPGA连接在CE1～CE3空间。在外部中断4的触发下, 高速外部存储器从CE1相应映射地址以高效的EDMA搬运数据的方式读取缓存区SRAM A的图像数据。在外部中断5的触发下, 高速外部存储器从CE3相应映射地址也以高效的EDMA搬运数据的方式将视频数据写入缓存区SRAM B或SRAM C中。高速外部存储器也可从CE2相应映射地址向FPGA的内部RAM写入亮度/对比度等系数。
1.2.1. 3 外接SDRAM
高速外部存储器总线EMIFA另外扩展了2片SDRAM作为数据存储器, 连接在高速外部存储器上EMIFA的CE0空间, 提高了数据缓存速度和效率, 2片并行组成64位数据总线。高速外部存储器的SDRAM用来做DSP系统的内存, 实现数据的备用缓存, 以及图像处理过程中间结果的缓存。
1.2.2 FPGA外围电路
1.2.2. 1 外接配置器件
根据系统的需要, 在FPGA的外部扩开展了FPGA配置器件EPC4, 为了方便地实现对FPGA芯片的配置和调试, 采用专用增强型配置器件EPC4。EPC4器件通过JTAG接口进行其配置, 将其管脚PORSEL接地。通过配置器件EPC4, 在每次上电启动的时候配置FPGA, 又可以通过EPC4的JTAG接口重新编程, 在下次上电更新。
1.2.2. 2 外接视频编码器
本系统采用的图像显示单元的视频编码器为ADV系列, 该编码器可以产生复合视频信号、Y/C (S-Video) 或者RGB (SCART) 视频信号, 输入是8或者16bit YcrCb数字流。支持很多视频标准, 包括NTSC-M, PAL-B, D, G, H, I, PAL-M, PAL-N, PAL-Nc。行同步HSYNC和场同步VSYNC可以配置为输入 (从模式) 或者输出 (主模式) 。BLANK是输入, 可以由外部控制。行和场消隐可以自动产生也可以由外部控制, 芯片内部控制同步上升沿和下降沿。模拟亮度Y和色差C信号可以用于连接S-Video设备, 复合模拟视频输出信号可以在两路同时输出, 这样就能够一路输出基带复合视频信号, 另外一路驱动RF调制器。该编码器还输出模拟RGB信号, 支持欧洲SCART/PeriTV就口。
1.2.2. 3 外接异步存储器
本系统FPGA外接了三片SRAM A, B, C。SRAM A作为前端数据输入缓存, 当写满一场数据量大小后, 由FPGA产生读中断, DSP采用EDMA方式通过EMIFA口数据线读取SRAM A中的数据。FPGA产生控制信号实现对SRAM A读操作。SRAM B、C作为输出视频数据帧缓存, 当DSP算法处理完后, 达到一定数据量大小后, 由FPGA产生写中断, DSP采用EMDA方式通过EMIFA口数据线乒乓写入SRAMB、C中, FPGA产生控制信号实现对SRAM B、C写操作。
1.2.3 图像场存储器切换
本系统采用三场存储器切换的工作方式来保证图像处理和视频显示的实时性, 由于每帧图像中两场数据相同, 因此只需处理一场图像数据即可, 具体处理方式如图3所示。
2 图像算法简介
2.1 非均匀性校正算法
本系统在结合传统的两点非均匀校正算法的基础上提出一种两点加一点的校正算法。具体算法流程图如图4所示。
2.2 盲元检测算法
对于扫描型红外焦平面系统可以利用替代原理插值原理, 相邻行替代算法可以实现对系统盲元的补偿。实现原理如图5所示。
2.3 帧间滤波算法
由于前视红外装置图像中不仅存在散粒噪声, 还存在纵条状随机频率噪声。采用帧内中值滤波算法改善了系统图像质量, 使系统图像更加清晰。帧间滤波算法的流程如图6所示。
2.4 图像增强处理算法
红外图像的信噪比比较低, 图像增强处理包括图像噪声的消除和图像细节的清晰化。直方图均衡算法流程如图7所示。
3 结束语
远程红外图像系统设计 篇6
随着红外技术的发展,特别是第二代焦平面凝视红外探测器的出现,红外图像的分辨率越来越高,传输速度也越来越快[1]。由于红外本身的特性,如红外图像空间相关性强、对比度低、视觉效果模糊[2],需要对其进行图像增强,改善图像的显示效果。现在比较流行的在线红外图像采集成像系统一般采用采集设备把红外探测器的输出数据输入到主机并通过主机软件进行实时显示。但是在野外等环境恶劣的情况下,携带便携式笔记本两大缺点:便携式笔记本的电池工作时间一般在2—3 h,无法满足监测等需长时间采集显示红外图像的场合;便携式笔记本一般设计为商用笔记本,无法适应野外等环境恶劣的情况,如北方的冬天在室外可能无法启动便携式笔记本。
为此,本文设计了一种基于Altera的NIOS II嵌入式处理器的红外图像在线采集及显示系统,利用当今较流行的嵌入式技术,实时地采集红外图像,并在一块4.3”英寸的LCD屏上实现红外图像的在线显示。通过LCD上的不同触摸式按钮还可以选择现在比较流行的红外图像增强算法,如增益电平法、自适应线性拉伸法,平台直方图均衡法等[3,4,5,6,7,8];以便适应不同的场合。
实验表明该系统工作性能稳定,处理效果良好,体积小,便于携带,完全能够满足实际应用需要。
1红外图像显示的常用算法
1.1增益电平法
增益电平法是红外图像显示中最简单的方法,它是通过手工控制映射曲线的斜率与偏置,以达到预期的显示效果。其映射公式为:
Xm为输入图像的平均值,Gain和Level通过手工输入,分别用于控制映射曲线的斜率与偏置。
为了使输出图像的灰度范围在[0,255]之间,需要对映射后的灰度进行限制,即
1.2自适应线性拉伸法
自适应线性拉伸是线性拉伸的一种改进算法,它通过CDF(累积分布函数)自动对映射曲线的斜率与偏置进行控制[4]。
首先计算输入图像X的累积分布函数CDF:
式(3)中,k为各阶的灰度级,h(i)为灰度级为i的像素个数。
然后,通过以下公式计算出fl,fh:
其中,xa为CDF(k)=α时的灰度值;xb为CDF(k)=1-α时的灰度值;xm为CDF(k)=0.5时的灰度值。
1.3平台直方图均衡法
平台直方图均衡是一种非常有效的对比度增强方法[7],它通过平台值(P)可直接控制输出图像的对比度,以降低相同灰度如背景的影响。选择一个合适的平台值(P),背景中小的、热目标的细节就能被显示出来。平台直方图均衡可用以下公式表示:
式(7)中,D为最大的输出值(8位显示,D=255);k为输入灰度∈[0,2n-1];sk(P)累积分布函数定义为:
H(k)即为输入图像的直方图。
从公式(7)中可以看出当P=1时,平台直方图均衡变为直方图映射(HP),当P≥H(k)max时,平台直方图均衡变为经典的图像增强方法———直方图均衡(HE)。所以说公式(7)是HP和HE的通用表达式。
2系统硬件设计与实现
本系统采用的是ALTERA的CYCLONE III系列FPGA—EP3C25G324。此款芯片支持的最高主频为133 MHz,其主要特性如表1所示:
整个系统的硬件结构如图1所示:
整个系统包括5个模块:CPU模块、图像接收和直方图统计模块、触摸屏控制模块、LCD控制模块和LCD显示模块。这些模块通过NIOS II的系统互连结构相互连接,并通过系统互连结构进行动态总线宽度匹配、中断优先级管理和仲裁。
2.1 CPU模块
CPU采用的是NIOS II/f处理器,其性能超过了300DMIPS),非常适合性能关键的应用,以及代码或者数据量较大的应用。
2.2图像接收和直方图统计模块
模块首先接收红外探测器发送的LVDS串行数据,通过同步控制把它转换成并行数据后,保存到接收缓冲区中,当CPU使能传输时,将接收缓冲区的数据保存到CPU指定的SSRAM块中的同时,进行图像的直方图统计并把它保存到指定的DDR中。当一帧的图像接收并统计完毕时,模块设置中断标志位,CPU调用相应的中断服务子程序进行后续的处理。此模块采用ALTERA的SOPC Builder提供的用户可定制组件来实现。其原理图如图2所示。SSRAM用于保存图像数据,DDR用于保存图像的直方图统计结果。CPU用于控制传输的起始和使能接收中断(中断号为0),并在传输完成后调用相应的中断服务子程序,进行SSRAM的接收地址和DDR的接收地址的切换,并重新使能接收中断,开始接收下一帧数据。此模块包括7个子模块。其中,avalon_clock子模块为全局模块,为其他子模块提供100 MHz的系统时钟和复位信号;avalon_slave_control用于与CPU进行通信,接收SSRAM和DDR的地址和长度,并使能中断,开始传输;avalon_slave_irq为传输完中断,当一帧传完时,设置此信号为1,当CPU调用完中断服务子程序后,重新设置此信号为0;avalon_export为外部信号,用于接收红外探测器发送的LVDS串行信号;write_master_ssram子模块用于把接收的图像数据保存到SSRAM中;read_master_ddr和write_master_ddr子模块分别用于控制DDR的读写操作,进行接收图像的直方图统计工作。
2.3 触摸屏控制模块
触摸屏控制模块采用SPI+PIO接口方式,SPI用来接收AD7843发送的触摸笔位置信息,而PIO模式用来捕获触摸笔按下或抬起时所产生的中断信息。
2.4 LCD控制模块
LCD控制模块采用IIC接口方式来配置LCD触摸屏的工作。NIOS II处理器通过3根PIO线来实现IIC接口数据的发送和接收。
2.5 LCD显示模块
LCD显示模块把待显示的数据传输给LCD触摸屏显示。其工作原理如图3所示:
NIOS II采用Scatter-Gather DMA(SGDMA)控制器来实现外部内存间的数据的直接传输。其工作原理如图4所示。
驻留在不连续的物理存储器中的数据通过SGDMA缓冲器描述符链接起来,每个描述符中都含有使SGDMA自动执行数据转移所需的所有信息。这样就能减少CPU的执行时间并通过更多的并行处理来改善系统性能。
在NIOS II中每个描述符可包括的最大字节数为65 280个字节,描述符大小为32个字节;那么每一帧所需描述符的个数就等于每一帧的大小(单位为字节)除以每个描述符可包括的最大字节数(65 280字节)。整个存放SGDMA缓冲器描述符所需的空间为每一帧所需描述符的个数乘以数据帧个数乘以描述符大小(单位为字节)。例如,以PING-PONG模式显示800×480×4(单位为字节)的图像所需存放SGDMA缓冲器描述符的空间为
然后通过FIFO缓存、格式转换等输出到LCD显示。LCD触摸屏控制和显示详细介绍请参见文献[9],此处就不一一展开了。
3 软件设计和优化
整个系统的软件流程图如图5所示。
由于在图像增强时需要通过Avalon总线频繁访问外部存储器(SSRAM、DDR),这样会降低访问速度,而且所有算法是对各个像素点进行映射,不能使用DMA方式进行数据的搬移。为了能提高效率,在不改变时钟频率的情况下使程序的运行时间最短,本系统采用ALTERA提供的用户自定制指令,来完成像素点的映射工作。本系统中的自定制指令使用的是扩展多时钟周期定制指令,如图6所示。
当start信号为高时,开始进行处理,通过n[7∶0]来区分不同的指令,一共可以有256条指令。dataa[31:0]和datab[31:0]为定制指令的输入信号;当处理完成后,done信号拉高,通知CPU已经完成了处理,并把结果赋值给result[31:0]。现定义了7条定制指令,如表2所示:
4 实验结果及分析
实验采用本所自行研制的红外相机对作为采集系统,对某一场景进行实时采集。图像分辨率为256×256,输出频率为每秒26帧。显示通过自行研制的NIOS II嵌入式板连接一块4.3”英寸的LCD屏来完成,显示接收板的系统输入时钟为50MHz,包括256Mbit DDR SDRAM 和1Mbytes 同步SRAM的存储器。输入图像的灰阶为14位,输出图像的灰阶为8位;消耗的FPGA资源如下所示。
其主界面如图7所示。
界面的右边为显示工具栏,现在一共有五个按钮,第一个按钮控制显示与否;其余的按钮控制显示方式(增益电平法、自适应线性拉伸法和平台直方图均衡法)。
图8分别列出了各种显示方法的效果:
从图8中可以看到增益电平法的增强效果最好,但是天空中的吊车被压缩掉了,而其他两种方法都能看出来。
5 结束语
本文设计了一种基于Altera的NIOS II嵌入式处理器的红外图像采集及显示系统。此系统能实时地把接收到的红外图像显示在LCD触摸屏上,并可以通过LCD触摸屏选择红外图像常用的预处理方法。实验结果表明,该系统能很好地对红外图像进行增强并显示在触摸屏上。而且显示速度满足实时的要求。此系统与传统的基于单片机,DSP的数据采集系统相比,具有功耗低、体积小、成本低、可扩展性强等优点。可应用于红外外场采集和测试等实时性要求较高的场合。
参考文献
[1]段善维.基于SOPC技术的实时图像处理系统.[学位论文].武汉.华中科技大学,2005
[2]徐军,梁昌洪,张建奇.一种红外图像增强的新方法.西安电子科技大学学报,2000;27(5):546—548
[3] Gruben J H,Neiswander P R,Tran HC,et al.Scene-based algorithmfor improved FLIR performance.Proceedings of the SPIE:InfraredImaging Systems:Design,Analysis,Modeling,and Testing XI(4030),2000:184—195
[4] Huckridge D A,Ebert R R.Dynamic range compression and contrastenhancement in IR imaging systems,Electro-Optical and InfraredSystems:Technology and Applications IV,SPIE,2007;6737:67—70
[5] Silverman J.Signal processing algorithms for display and enhance-ment of IR images.SPIE,1993;2020:440—450
[6] Silverman J.Display and enhancement of infrared images.Elec-tro2Op tical Disp lays,New York:M.A.Karim,1992:585—651
[7] Vichers V E.Plateau equalization algorithm for real-time display ofhigh-quality infrared imagery.Opt Eng,1996;35(7):1921—1926
[8]冈萨雷斯.数字图像处理(第二版).北京:电子工业出版社,2003:59—112
远程红外图像系统设计 篇7
红外图像广泛地应用于红外监测与跟踪系统,而对整个系统来说,从红外图像中提取目标的边缘信息是整个系统的前提与基础。因此,国内外研究人员一直关注于这方面的研究。James W. Davis等人采用两阶段模板方法检测跟踪人体在广域红外热成像图[1],此方法可以在高噪声的红外跟踪图像中提取出很好的效果。Basturk等人将克隆算法和细胞神经网络算法相结合应用于图像的边缘检测[2]。近年来,模糊数学、统计分析、小波变换[3]和数学形态学等算法也被应用于红外图像的边缘检测。尽管这些方法都取得了良好的效果,但是在硬件实现上却遇到了定点化难度大、开发周期长、风险高、硬件系统不稳定等问题。基于模型的设计方法将系统验证与测试贯穿了整个设计过程,并且模块化的设计方法和Verilog代码的自动生成,大大降低了设计时间和开发成本。本文将Simulink和细胞神经网络的基本理论相结合,搭建细胞神经网络IP核模块,然后组建红外边缘检测系统模型,最后结合ISE,Modulsim对系统进行RTL级仿真、综合和布局布线。
1 细胞神经网络原理
细胞神经网络(Cellular Neural Network,CNN)是由美国加州伯克莱大学的L.O.Chua和L.Yang于1988年提出,是一种将神经网络和细胞自动机(CA)相结合的阵列处理器,像细胞自动机一样,它由大量细胞元组成,且只允许最邻近的细胞之间直接通信,具有高速的并行处理能力,易于可编程逻辑阵列和VLSI的硬件实现特点[4]。用一阶非线性微分方程描述细胞的状态方程为
式中:Akl,Bkl是每个胞元的反馈模板和前馈模板;Rx是线性电阻值;I是阈值;ukl,xij,ykl表示胞元的输入、状态、输出值。
由式(1)可知,整个细胞神经网络的功能由Akl,Bkl,I决定。由于细胞神经网络处理图像的输入值在[-1,1]之间,而一般的灰度图像的像素值在[0,255]之间,所以在进行图像处理之前,式(2)对输入图像进行预处理[5]
uij=1-2gij/255 (2)
式中:gij∈{0,1,2,…,255};|uij|≤1。
2 系统总体结构设计
根据模块化设计的原则,将整个红外图像边缘检测系统划分为图像输入、输出、模板输入及细胞神经网络IP核模块(如图1所示)。这种设计方法将各模块之间的信息量传输降低到最小,使它们的设计之间保持相对独立,很大程度上降低了设计与验证的难度。
从整个系统处理的时序角度考虑,在保证细胞神经网络IP核能实时处理输入像素点的前提下,将输入模块与输出模块通过读写时能相关联,从而保证整个系统处于时间利用率最高的状态。图2清晰地表述了输入、输出模块的工作流程和相互制约的关系。根据图2的逻辑流程,利用Stateflow的控制行为能力特性,定义全局时钟CLK、图像输入变量image和输入、输出模块相互控制的读写时能变量RD,WR,从而搭建了图像的输入、输出模块,如图3所示。
根据整个系统结构,从细胞神经网络IP核模块实时处理要求和设计复杂度角度考虑,利用Simulink的算法行为特性,创建独立的子系统模块,从而减小此模块对整个系统设计带来的难度。整个系统搭建的仿真模型如图4所示。
3 细胞元IP核模块设计
利用细胞神经网络阵列的规则特性和互联的局域特性,所以只需设计单个胞元[6,7]便可以扩展成整个CNN网络。由于数字图像在时间域和空间域都是离散的,为了将CNN应用于红外图像处理,所以将式(1)中的时间离散化,并且将xij(t)的导数用其相应的差分形式来表示。从而得到近似CNN的状态方程式的一阶差分方程见式(3)
式中:A,B为每个胞元的反馈模板和前馈模板;Rx是性电阻值;I是阈值矩阵;u表示胞元的输入值;n表示时间点,x(n+1)表示胞元在n+1时刻的状态值,y(n)表示在n时刻的输出值。
根据上述的状态方程,采用3×3的CNN模板设计方式(即A,B为3×3矩阵),利用Simulink搭建了细胞神经网络IP核子模块(如图5所示)。从硬件设计占用资源的方面考虑,本文的设计方法占用的乘法器就多,因此采用串行处理的设计方式。所以整个红外图像处理系统只包含了一个细胞神经网络IP核。
4 实验结果和分析
本文采用基于模型的设计方法,将整个系统按功能划分为三个子模块。然后通过Stateflow和Simulink模块搭建整个红外图像边缘检测系统。采用此设计系统对360×240的原始红外图像(如图6a所示)进行边缘检测仿真,得到了如图6b所示的仿真结果。从仿真结果来看,本文提出的基于模型的红外图像边缘检测设计方法取得了较好的效果,且与MATLAB软件m代码仿真的结果(如图6c所示)进行对比并没有太多差别。在得到满足设计要求的结果后,利用Simulink硬件语言自动生成功能将所设计的红外图像边缘检测系统模型生成Verilog代码文件。接着,在ISE中建立工程并调用Modelsim对生成的RTL级代码进行功能仿真。从Modelsim的仿真结果(如图7所示)分析,所生成的Verilog代码完全符合系统设计需求,并与Simulink仿真得到的结果基本一致。在ISE12.3软件环境下在Xilinx公司的Virtex-6系列的FPGA平台上对生成的Verilog代码进行综合,将综合后所占用的资源与传统的设计方法相比较(如表1所示)。基于模型设计方法占用更合理、更少的资源,并且达到了142.693 MHz的最高频率和7.927 Mpixel/s的处理速度。由此可见,基于模型设计方法无论在占用资源、工作效率和开发周期方面都有较大的优势。
5 小结
针对传统算法硬件实现存在的问题,本文采用基于模型设计的方法,根据动态控制元结构以及由其构建系统的理念,根据模块化、可视化系统设计的特点,运用基于Stateflow和Simulink的仿真工具,构建了整个基于CNN算法红外图像边缘检测系统,并对整个系统进行Simulink仿真验证。在得到满足要求的仿真结果后,通过Simulink系统模型自动生成RTL级Verilog代码,最后运用ISE和Modelsim对生成的Verilog进行仿真验证。仿真实验结果表明,运用基于模型的设计思想来构建系统,可以将系统验证与测试贯穿了整个设计过程,大大降低了设计风险和开发周期,并且与传统的设计方法相比占用资源更少、处理速度更高。
摘要：基于模型设计方法实现基于细胞神经网络的红外图像边缘检测系统。将Simulink,Stateflow设计方法与CNN的设计理论相结合,建立CNN IP核模块。接着采用串行结构搭建图像输入、输出模块,达到可视化实时仿真及代码自动生成。仿真结果表明,基于模型的设计方法取得了较好的效果。在Xilinx公司Virtex-6系列的FPGA平台上,综合后占用极少资源的情况下达到了142.693 MHz的最高频率和7.927 Mpixel/s的处理速度。
关键词：红外图像,细胞神经网络,边缘检测,Simulink,Stateflow
参考文献
[1]DAVIS J W,KECK M A.A two-stage template approach to person de-tection in thermal imagery[C]//Proc.WACV/MOTIONS 2005.[S.l.]:IEEE Press,2005:364-369.
[2]BASTURK A,GUNAY E.Clonal selection algorithm based cloning templatelearning for edge detection in digital images with CNN[C]//Proc.SignalProcessing,Communication and Applications Conference 2008.[S.l.]:IEEE Press,2008:1-4.
[3]甘斌,张雄伟,甘仲民.基于小波变换的多尺度图像边缘处理[J].电视技术,2001,25(8):20-22.
[4]SLAVOVA A,RASHKOVA V.A novel CNN based image denoising mod-el[C]//Proc.ECCTD 2011.[S.l.]:IEEE Press,:226-229.
[5]王怀颖.细胞神经网络在图像处理中的应用技术研究[D].南京:南京航空航天大学,2007.
[6]SULEYMAN M.On hardware implementation of discrete-time cellularneural networks[D].Lund:Lund University,2008.
远程红外图像系统设计 篇8
1 远程监控图像中的噪声分析
1.1 图像噪声的定义
噪声就是阻碍人们掌握感觉器官接收到信源信息的干扰因素之一。噪声通常是在远程监控图像接收与上传的过程中产生的, 远程监控网络中基本上是无法预见的随机噪声信号, 仅可用概率统计进行分析。监控图像在网络上传输时, 受到的噪声污染通常是使用的传输信号的干扰引起的。
1.2 图像噪声的特征及分类
1.2.1 图像噪声的特征
远程监控图像多采用网络传输, 因此产生的噪声是随机的, 所以需用随机过程表示, 需了解其像素的分布函数及密度函数。但是, 这些噪声难以被检测或描述, 更无法得到, 且图像设置中一般也不需要。因此往往用统计特征来表示图像中的噪声, 例如:均值、方差、相关函数。用噪声平方的均值表示噪声的总功率;用噪声方差表示噪声的交流功率;用噪声均值的平方描述噪声的直流功率。
2 去噪算法的改进
2.1 去噪算法
图像去噪在图像处理中是一种基础并且十分重要的方法, 也是图像处理中的难题。在接收、上传和保存监控图像时往往会受到许多噪声源的影响。为了保证从系统接收图像信息的正确性, 高效的图像去噪算法是后续工作的保证。较为常见的去噪算法通常有以下几个。
(1) 以数学形态学为依据的滤波方法:数学形态滤波技术即利用其开、闭操作, 过滤图像中正、负脉冲噪声的性质, 结合不同的开、闭操作完成去噪。
(2) 以模糊数学为依据的滤波方法:该研究通常从两个方面考虑。一方面是对图像信息模糊性的分析。另一方面在图像降噪过程中融入模糊控制原理。
(3) 依据遗传算法的滤波方法:该算法是一种基于生物界自然选择以及自然遗传理论的快速、自主设置技术。
(4) 依据神经网络的滤波方法:该算法除了具备神经网络滤波器的相关特征, 还具有较强的并行计算以及自主判断性能, 在神经网络中融入了模糊原理, 通过神经网络的自主判断性能, 实现对模糊网络的数字图像噪声过滤、分析和完善工作。
(5) 依据小波理论的滤波方法:该算法是基于小波傅立叶变换的基础产生的一种数学分析方法。
2.2 中值滤波的改进优化
采用改进的开关中值滤波方法, 可对图像像素点进行准确的判断, 避免对真正像素信号点的误操作。对于疑似彩色图像像素点, 其相邻点间具有较强的关联性, 图像中某点的亮度值同邻近点的亮度值接近。通常认为像素孤立点以及边缘部分的图像像素点是噪声点, 因而在一副课件图像中, 若存在某个像素点的值同其邻域值存在较大差异, 则该像素点同邻域间的关联性较低, 则认为该点是噪声点, 需要进行滤波处理;若该点值同邻点值相近, 则其是真正的信号点。
3 系统实现
3.1 系统开发工具
远程监控降噪系统规划过程中, 其基于.NET Framework的特征, 可完成系统中关于动态网站的构建。若用户申请查询ASP.NET网页, Web会为相应网页的运行提供支持, 网页可基于Web提供的技术支撑, 完成读写数据库信息以及调控程序等工作。网页动态产生标识 (HTML或另一种标记语言中的元素) , 能够向浏览器反馈有关标识, 确保用户能够在不同的环境中查看不同的远程监控内容。
3.2 系统总体结构
本文再对系统进行规划的过程中, 需要先分析远程监控中的Web技术在系统的价值度, 对向量区域模型以及图像降噪方法进行了综合研究, 完善了网络节点的资源利用过程, 并且增强了网络节点的路由选择效率, 提高了系统的精度。
3.2.1 用户接口
该接口可确保用户和系统间信息顺利的传递, 由输入模块以及输出模块组成。用户需要通过接口模块键入相应的设置需求, 如降噪、查询、检索等要求, 系统分析用户输入的图像关键特征, 对图像进行查询, 并将最终的查询结果呈现给用户。
3.2.2 图像特征本体集
其能够描述远程监控范围中的相关图像资源特征, 进而评估图像资源的规范程度。图像特征本体集能够保证计算机可全面分析文档中的信息和文档间的关联关系。系统通过图像特征本体集评估各个图像的相似度, 实现图像的有效分类, 方便后期的降噪处理。
3.2.3 特征推理模块
该模块是依据改进开关中值滤波对图像降噪分析工具, 具有重要的价值。其是一种面向图像本体进行分析的过程, 包括局部推理以及全局推理两部分。局部推理主要采用特征推理模块查询图像本体集中的局部噪声, 及时解决图像特征本体集中的局部冲突问题, 过滤图像特征本体中的局部噪声因素。全局推理基于要求的推理规范以及图像特征本体中不同元素间的联系紧密度, 最终得到图像特征本体集中的关键图像特征。
4 结语
本文提出了一种基于改进开关中值滤波算法, 实现图像噪声的及时过滤, 通过分区间汇总的方法, 完成不同窗口范围中像素点的排列分析, 用中间区域的像素均值更新运算的像素值, 基于窗口中数据点的关联关系, 及时修正损伤数据, 确保图像的完整性。
实验结果表明, 该方法提高了算法的图像降噪性能, 本文系统具有较高的图像分辨率性能。优于全面分析了基于改进开关中值滤波算法系统的结构性能、算法过程以及节点结构
参考文献
[1]郭宏亮.一种混合支持向量机和小波变换的图像压缩技术[J].科技通报, 2012 (04) :24-25.
