水流量监测

关键词： 设定值 水流量 变送器 监测

水流量监测（精选十篇）

水流量监测 篇1

现用的水流量检测系统将差压变送器产生的压力和流量信号, 经AD转换器将模拟信号转换为数字信号, 输送至PLC, PLC根据设定值, 若水流量低于14方/小时则报警停炉, 保证水流量在一定范围内变动。

百重七供汽联合站所用的差压变送器均为EJA130A差压变送器, 其主要指标如下:

量程:0-40k Pa

高精度:±0.075%

工作电压:24V DC

输出:二线制, 4-20m A DC输出, 数字通信, 可编程设定线性或平方根输出方式, BRAIN或HART FSK协议加载在4-20m A DC信号上。

负载能力:250-600Ω

接液温度:-40—+120℃

环境温度:-30—80℃

最大工作压力:32MPa显示:LED数字显示

二、现用水流量监测系统存在的问题

1. 水流量波动大

由于柱塞泵或者变频器的原因可能导致的水流量波动较大, 但水流量还在17—25方/小时间, 不会引起报警停炉, 如果在这样情况下长时间运行会导致设备损坏, 严重时会导致柱塞泵损坏甚至干烧等一系列严重事故。

2. 水流量超量程

若变频器出现故障可能导致水流量时空出现满负荷运行, 导致水流量过大超过量程, 水流量过高会导致蒸汽干度不合格, 严重会导致锅炉压力过高, 长时间满负荷运行会缩短柱塞泵寿命。

3. 水流量出现水量一直不变

在锅炉正常运行中水流量是时刻在一定范围内微弱变化的, 若出现变频器跳闸, 会导致柱塞泵不再工作, 水量快速下降。这时差压如果出现问题, 水流量会保持不变, 如水量会一直维持在21.5方/小时, 锅炉不会出现水流量低报警, 这样情况下锅炉很有可能会出现干烧, 造成严重的后果。

三、水流量监测系统的研制

1. 研制目标

提高水流量监测的准确性, 确保安全生产的进行, 研制新的水流量监测程序, 实现对真假水流量的辨识, 水流量超量程的控制, 水流量波动较大情况下紧急报警停炉。

2. 研制思路

为实现研制目标, 集思广益, 提出以下研制思路:

3. 编写程序

根据研制思路编写程序, 实现预期目标。成功实现了水流量超量程报警、水流量一分钟无变化报警和水流量变化过大报警。为了防止人为调整水流量过程中导致报警停炉, 程序中加了一个20秒的延迟, 以保证水流量稳定后再监测通过这个程序段可以实现水流量变化过大报警并停炉。

四、水流量自动监测系统的应用情况及效果

1. 应用情况

水流量自动监测系统设计完成后, 于2013年4月应用于11-1#炉。试用3个月后试用效果良好, 期间成功监测两次水流量波动过大和一次1分钟水流量无变化。试用完后于2013年8月在百重七供汽联合站内推广, 现百重七供汽联合站有12台锅炉已安装此系统, 使用情况良好。

2. 零投资

水流量自动监测系统是在原有的系统上添加的程序段, 不需要增加任何设备设施, 除基本的工作量外, 不产生任何费用。

3. 提高生产安全性

水流量自动监测系统不改变其它原有的报警, 所以原有的报警依然可以正常提供保护作用。最重要的是增加的三个报警程序还能有效的对水流量进行监测, 很大程度上提高了生产的安全性, 有效的保护了锅炉设备的安全, 基本杜绝了锅炉干烧的可能性。

结束语

水流量自动监测系统自应用以来取得了良好的效果, 下一步打算对现有的温度监测系统进行改进, 进一步提高生产安全性。

注汽锅炉属于高温高压设备, 安全是生产的重中之重, 通过此次水流量自动监测系统的应用消除了水流量监测中存在的安全隐患, 弥补了自动化设计方面的缺陷, 既保证了锅炉的安全平稳运行, 又保证了运行人员的人身安全。

摘要：在油田用的注汽锅炉上, 水流量反应着锅炉的效率和负荷的高低, 因此水流量的监测对设备的安全经济运行起着举足轻重的作用。现在对水流量的监测, 只是简单的用差压变送器来进行。一旦差压变送器损坏或线路出现故障, 若不能及时发现严重时可能会导致锅炉干烧等事故。为做到对锅炉水流量的监测, 我们开发了一套水流量监测系统, 实现了水流量的实时监测和真假水量的判断。

水流量监测 篇2

NetFlow技术在广东气象网络流量监测分析中的应用

该文分析了NetFlow技术的基本原理, NetFlow协议的.功能、用途、交换特点及NetFlow数据报文格式.作为NetFlow在网络测量中的应用,重点介绍了基于NetFlow的流量测量系统的架构,详细介绍了NetFlow技术在广东省气象局网络流量监测中的应用.结果表明:利用NetFlow技术监测网络流量非常有效,在实际业务应用中发挥了很好的作用,NetFlow技术适用于大型网络的流量采集分析.

作 者：肖文名 郎洪亮 陈晓宇 Xiao Wenming Lang Hongliang Chen Xiaoyu  作者单位：肖文名,陈晓宇,Xiao Wenming,Chen Xiaoyu(广东省气象信息中心,广州,510080)

郎洪亮,Lang Hongliang(国家气象信息中心,北京,100081)

刊 名：应用气象学报  ISTIC PKU英文刊名：JOURNAL OF APPLIED METEOROLOGICAL SCIENCE 年，卷(期)： 18(6) 分类号：P4 关键词：流量分析   NetFlow技术   网络监测  

网卡流量监测新方法 篇3

关键词：流量监测 网卡 USB 单片机

0 引言

无线网卡越来越成为上网的流行趋势，对于它的流量监测一直是用户面临的一个重要问题。目前监测流量的方法都是采用软件检测，它有一个难以弥补的缺点：如果3G网卡在电脑甲上用了5M流量，再到自己的電脑上继续用那么电脑甲的流量自己的电脑就检测不到这样就造成了软件检测流量不可靠。如果网卡自身可以监测流量那么这个问题就得以解决。目前虽然有检测3G网卡流量的技术，但是他采取的方法是捕获数据包，因为数据中间专门有一个字段是记录该数据包的大小的，只要读到这个字段再累加就可以得到流量。但是这也只能检测一种网卡的流量。将来有可能出其他种类的网卡，本文主要谈网卡流量监测的通用方法，所以具有前瞻性。

1 流量监测基本原理

网卡采用USB接口与电脑相连，数据传输采用的是D+和D-之间的差动信号传输的，并且采用NRZI编码。在NRZ-I编码中，编码后电平只有正负电平之分，没有零电平，是不归零编码。NRZ-I电平的一次翻转代表逻辑0。与前一个电平相同的信号代表逻辑1（翻转为0，不变为1）。仔细观察，我们发现，NRZI编码信号经过反向后，还原的内容不变。典型应用如USB传输。

根据这一编码原则，假设发送端传送8位数据流0000 0001B，前面的7个0位经过NRZ-I编码后，将得到7次翻转信号。在接收端根据脉宽很容易得到同步接收时钟。此后根据这个频率的倍频来采样后面的数据。在传输过程中，每一次编码的跳变都可以用来同步。这种同步机制在USB低速和中速传输中得到应用。即发送数据前，首先发送同步头SYNC，内容为01H。这样就可以同步传输数据了，且字节开头和结尾不需要起始位和停止位。在USB高速传输中，同步头SYNC为00 01H，15个翻转信号。

USB协议规定：如果要发送的数据中出现有连续的6个1，则在进行NRZI编码前，在这6个连续的1后面会插入1个0，然后再进行NRZI编码。接收端收到连续6个1，将自动去掉后面的1个0。这样就使得USB通信的接收同步更加可靠。无论数据是什么样子，最终都是0和1的代码，只要知道这些代码就知道走过了多少流量。D+对地的信号可以用示波器打出来，高的认为是1，低的认为是0，这样的数据再经过NRZI解码就是传输的数据。要知道传送了多少数据就一位位数出来就是了。

2 流量监测的几种方法

2.1 串行通信法

从USB的D+端引出一根线作为数据线，然后另外一根线作为时钟线，这样可以作为同步串行信号读取数据。读取出的数据单位是位，所以需要转换单位。如果为了精确数据流量可以在读到这一串代码之后转码，把连续多个的0过滤掉剩下的就是我们需要的流量。这个方法最大的优点就是准确度高，很可靠；缺点就是硬件设计较复杂，程序也难调试。

2.2 概率法

数据传输过程中0和1是有规律的，但是以位为单位时数据流量很大而且由于输送的指令我们在发生之前是不知道的，所以0和1的代码可以用随机事件流解释。泊松分布的参数λ是单位时间（或单位面积）内随机事件的平均发生率。泊松分布适合于描述单位时间内随机事件发生的次数。一段时间内一个上升沿到周围的下降沿一共隔了几位数据（设为K）基本符合泊松分布，经过试验发现它基本服从λ=3.0的泊松分布。有了这个知识我们的问题变得简单了，只需要从D+接一根线到单片机的计数器引脚，每个下降沿中断一次计数累加。假设计数器结果是n个下降沿，那么由泊松分布表知：假设P（K）表示值为K的概率，数据位数W=n[2P（K）1+3P（K）2+4P（K3）……9P（K9）]，超过9位的数据忽略掉。经过单位转换后由显示屏显示即可。这个方法最大的优点就是可以简化电路和程序调试难度；但是数据不如方法一准确。表1是关于λ=3.0泊松分布表用到的的一部分。

3 硬件设计

3.1 芯片介绍

单片机芯片STC12C5608AD：

STC12系列单片机是宏晶公司生产的单时钟机器周期的单片机是高速，低功耗，强抗干扰的新一代8051单片机。指令系统完全兼容8051但是比8051快8到12倍，内部集成MAX810专用复位电路。它有4路PWM/PCA（可编程计数阵列），可以用作四路D/A转换，也可用来实现四个定时器。

3.2 总体电路设计

该系统主要是从USB接口的D+引出一根线再通过三极管的共射极放大电路放大波形，再通过运算放大器放大波形把波形放大到单片机可以检测得到。由于在波形放大的过程中，波形可能产生失真导致单片机误读，所以再加一个斯密特触发器整理为方波送到单片机引脚监测。

芯片是STC12C5608AD，数据采集模块把波形传送到INT0引脚后单片机自动监测下降沿个数，根据概率统计可以做一个算法估计已经用了的流量，流量超过了一定额度立马报警。

4 误差分析与解决

上述的两种方法都会把不该计入的数据流量算进去，所以存在一定误差。消除误差主要以实验方法来实现。首先，我们这种方法统计的流量中不该计入的部分是每部分都有的一些标识字段，所以他应该是均匀的线性的误差。有了这个假设那么就有了试验方法。在360上监测网卡流量时同时用我们设计的系统检测流量。整个过程中我们的系统会与360监测结果出现偏差，我们只检测10分钟，假设差值是a，实验十次或者更多取平均值得到结果A，那么可以认为每秒钟流量误差有A/36000。这样的话在写检测流量程序的时候，只需要每秒在原来监测的基础上加A/36000（A有正负）就行了。为了保证这个流量监测装置能及时报警可以多加一部分上去以保证监测的流量比实际流量稍大。

5 实验与总结

最终成品是用的第二种方法——概率法，电路图已经给出。第一种方法虽然精确但是电路结构比较繁琐，第二种方法简洁很多，无论是硬件电路还是程序第二种都比较方便，而且容易调试。综合上述原因最终决定用概率法。由表2可以知道误差是随着数据流量的增大而减小的，这符合了我们之前的概率假设，因为数值越大越符合统计规律，随机事件流的规律就会越发明显。

参考文献：

[1]刘青丽.基于USB2.0接口技术的数据采集系统的设计与实现[D].成都：西南交通大学，2004.

[2]周云峰.基于USB2.0的高速同步数据采集系统设计[J].电子技术应用，2004，30（2）.

[3]陈启美.USB协议层[J].电力自动化设备，2001，21（5）.

[4]吴赣昌.《概率论与数理统计》.理工类第四版.北京：中国人民出版社，2006.

网络流量监测研究 篇4

网络流量简而言之就是网络上传输的数据量。就象要根据来往车辆的多少和流向来设计道路的宽度和连接方式一样,根据网络流量设计网络是十分必要的。

在网络中不同的位置通过不同的方法采集不同空间粒度和不同时间粒度下的网络流量,并借助于数理统计、随机过程和时间序列等数学手段针对预先所定义的一系列的网络流量的相关属性对网络流量展开分析与研究,得到网络流量的不同属性在其构成、分布、相关性和变化规律与趋势等方面的特征,简称流量测量;并且所得到的"特征"叫做网络流量特征,简称流量特征。

2 网络规划中的“80/20”规则

在网络规划中,我们一般将使用相同应用程序的用户放到同一工作组中,他们经常使用的服务器也放在一起。工作组位于同一物理网段或通过划分VLAN使其位于一个逻辑组中。这样做的目的是将网络上客户机与服务器之间产生的数据流量限制在同一网段中。在同一网段,可以使用带宽相对高的交换机连接客户机和服务器,而不必使用带宽相对较低的路由器,同时也避免对网络核心造成流量压力。将大部分网络流量控制在本地的这种网络设计模式,被称为“80/20规则”,即80%的网络流量是本地流量(采用交换机交换数据),在同一网段中传输;只有20%的网络流量才需要通过网络主干(路由器或三层交换机)。

“80/20”规则中的“80”和“20”不能简单地理解为数字,应该理解为网络流量分布的方式,即大部分网络流量局限在本地工作组,小部分流量通过网络主干。因此在实际网络设计中,只要大部分网络流量在本地、小部分网络流量通过主干,就认为它符合了“80/20”规则,而不管实际的数字比例是多少。

3 为什么要进行网络流量监测

对于大多数的网络用户而言,网络仅仅是为这些用户的应用,如WEB网页浏览、BT电影下载、QQ聊天程序、Skype网络电话、PPLive在线视频等等,提供连通性的媒介。以TCP/IP协议栈为基础和核心的网络遵循并实现了信息隐藏的原则,将具体的用户级的网络应用抽象为底层的数据帧/包的发送和接收,而终端的用户无需了解网络工作的底层细节。例如,用户在Youtube的主页面上点击网页上的超链接观看所感兴趣的在线视频的时候,他不需要知道和关心会有多少个网络数据包生成,也无需了解这些数据包是如何在网络中进行路由的、IP协议是如何完成寻址定位功能的、TCP协议是如何提供了可靠的端到端的数据传输功能的、HTTP协议是如何应用超文本表示和描述页面上不同元素的、Youtube服务器上Flash Media Server是如何实现自动位速率选择和动态缓冲的,等等。用户关心的可能仅仅是:他们所想要看到的视频内容是否能够快速的被呈现出来?视频内容的播放是否能够一直都很流畅?视频内容是否能够下载保存到自己的电脑上来?总而言之,用户所最为关注的是应用,可以为他们带来更为轻松和简便的、更为丰富和优质的网络应用。

然而,对于网络管理人员而言,由数据包/帧这一最基本元素所形成的网络流量却是我们应该关注和研究的对象。这是因为网络本身并无任何价值,其关键在于它所承载的业务,即人们日常所应用到的网络应用。而不管哪一方面、什么类型、遵从什么架构、应用哪种协议、通过何种方式所实现的网络应用都会产生流量,也必须要产生流量。这些流量会流经作为最终的发送端和接收端的计算机、完成寻址和路由功能的交换机与路由器、提供安全检查和防护的IDS和IPS系统等网络设备。而正是这些具有不同能力和不同功能、处在不同层次和结构上的网络设备凭借各种形式互相连接起来构成了整个网络。网络流量贯穿整个网络,没有网络流量,网络应用也就无从存在。如果把TCP/IP协议栈比作成为网络的灵魂,通过网线等连接起来计算机、交换机和路由器等网络设备比作成为网络的骨架,那么网络流量可以看作成是网络中流动的血液。这样,对于研究网络的可用性、可靠性和稳定性而言,研究网络流量显然是获得第一手有效参数的最为直接和最为基础的手段之一。应用各种主要基于硬件或者软件或者硬软件相结合所实现的流量测量与分析系统,实现网络流量的监测,并根据你的应用情况对网络流量进行一定的干预,以保证关键性的应用。

流量测量中所测量的流量通常采集自主机节点(node)、服务器(server)、路由器的接口(interface)、链路(link)和路径(path)等。所测量流量的实体(Entities),即流量测量过程中所需要关注的可以量化表示的基本参数,主要包括:

流量大小,即在不同的聚合层次上、特定时间间隔下平均所采集得到的比特数(bits)/字节数(bytes)或者是数据包数(packets)所表示的流量大小,主要包括其在网络正常负载或高负载下的流量数值、最大值、中值、平均值、最小值和方差等。

吞吐量,即单位时间内的比特数/字节数或者数据包数,一般也用流量速率表示。根据测量目的的不同,单位时间的时间粒度的选取具有较宽的范围,小可以是微秒、纳秒,大则可以是日、周、月或年等。

带宽情况,可描述网络的使用状况,其主要包括特定链路或者路径的容量带宽(capacity bandwidth)、可用带宽(available bandwidth)等。

时间计数,指的是网络流量在时间结构上的属性,通过时间来刻画网络流量的动态变化情况,主要包括流量速率的高峰、低谷、突发和抖动等所出现的时刻、并发连接/会话/应用的高峰、低谷、突发和抖动等所出现的时刻;数据包到达的时间间隔、特定协议的完成特定功能的数据包(例如ICMP的主机不可达和网络不可达、TCP的SYN包和RST包,等等)到达的间隔、流到达的时间间隔、会话/会话建立的时间间隔;流的持续时间、会话/应用的持续时间和MPLS路径的持续时间,等等。

延迟,主要包括数据包通过路由器时的排队延迟、节点对之间的单向延迟、往返延迟、延迟变化等。

流量故障,指的是流量本身中的意外和错误,主要包括错误数据包封装、数据包重传和数据包丢包等的比例、速率和突发模式等。

此外,被测量的流量实体还包括地址(即在网络流量中所包含的地址信息,主要是指IP地址以及由IP地址的聚合所表示IP地址前缀、个人/单位用户、自治域、运营商、地区、省份和国别、洲际等)的使用个数和分布、变化、地址与其他地址间的关联度、拓扑构成和变化情况、在线用户数目、用户在线时间、服务器个数、服务器被访问频度、热点文件被下载的次数、单一应用所包含的并发连接数目等等。

通过量化的流量实体来进行流量测量、描述网络流量并进一步的刻画网络流量特征的时候,需要根据要求的不同考虑具体不同的测量时机,例如工作日的中午、节假日的晚上或者突发事件发生的那段时间;测量时间的长短,例如一个小时或者7*24的长期测量;测量的时间粒度,例如微秒、毫秒或者分钟、小时;需要考虑被测量的流量实体的方向性,例如出境方向(inbound)、入境方向(outbound)或者全方向;需要根据网络协议类型或者应用类型对测量实体加以区分,例如是IPv4还是IPv6的、是TCP的还是UDP的、是HTTP的、FTP的还是迅雷的或是Bittorrent的、PPLive的或者Skype的,等等;需要考虑量化了的流量实体的分布和变化特性,他们可以是基于一些对象的,例如流、网络接口、链路、节点、节点对和路径等等。

4 网络流量的监测方法

流量监测包括测量工具/系统的部署、流量数据的采集(包括数据包捕获、归并和采样处理等)、数据包的解析和处理(包括协议解析、按照协议、流和应用等不同聚合层次进行聚合表示和流量识别与分类等)、测量实体量化数值的获得与统计分析、流量特征化描述、流量存储和查询表示、流量建模等多个环节,具有相对复杂的处理和分析过程。目前存在有众多种流量测量的实现方法,他们可适用不同的测量环境、满足不同的测量要求,并且有着不同的实现方式。概括来看,现有的这些实现方法大致可以依据如下几个方面进行分类:

根据测量时所依赖工具的实现主体是硬件还是软件,流量测量可以被分成基于硬件的测量和基于软件的测量两种。

基于硬件的测量通常需要设计和应用特定的硬件设备来对流量数据进行采集和分析。如IPMON、OCxMON、InMon sFlow Probe、NavTel IW5000 ATM Traffic Analyzer等,这些硬件设备通常被称为流量采集探针(Probe),需要配置有网络处理器(NP,Network Processor)或专用的流量捕获板卡采用串接(in-line)、镜像(Mirror)或者分光(Optical Tap/Splitter)等方式捕获被测量的流量。

而基于软件的测量一般是指通过普通的商用计算机(commodity computer)即所完成的流量测量。这类测量的主要特点就是被测流量的采集通常是借助于现有的硬件(如市面上可随便购买到网络接口卡(NIC,Network Interface Card,如以太网卡(Ethernet Card))或者现有的网络设备(如网络中已经部署且正在工作的服务器、交换机和路由器)来完成。

它主要包括两个类别:一类是通过对操作系统内核和网络协议栈的增改(由于代码开放性等的限制,操作系统内核和网络协议栈的增改通常是在开源的Linux下进行),借助普通的网络接口卡(如将普通的以太网卡置于混杂模式(promiscuous mode)并借助于BPF完成对感兴趣数据包的过滤)等将一般的商用计算机转换成为具有数据包捕获和分析处理能力的流量测量系统。

另一类则是被测量的流量并非由普通的商用计算机直接获得,而是需要从服务器、交换机、路由器等特定的网络设备上经过一定处理后导出,然后再由普通的商用计算机完成后续的流量处理和统计分析等工作。需要说明的是,特定设备上所导出的流量通常并非是详细的网络级的原始数据包,而是根据特定设备的不同,可能是SNMP/RMON统计数据,可能是经过聚合处理后的flow数据,也可能是服务器日志,等等。不同形式的数据,对应要求在普通的商用计算机上通过不同的程序或软件实现相应的流量处理和统计分析功能。

5 网络流量的控制

作为网络管理人员,必须对网络上运行的各种应用有着确定的了解。在已组建的网络中,我们无法强制限制用户的各种应用。一个应用不明确的网络,即使规划再科学,也有可能因为病毒、木马或其它流量导致网络的拥塞。所以,只有对网络上的各种流量进行长期的监测,然后通过在接入ACL、核心交换机的流量控制以及网络防火墙上流量策略等技术手段来保证网络的正常稳定的运行。

摘要：网络流量简而言之就是网络上传输的数据量。就象要根据来往车辆的多少和流向来设计道路的宽度和连接方式一样,根据网络流量设计网络是十分必要的。同时,在已建立的网络中进行网络流量的监测及用技术手段来控制网络流量,保证关键性的应用,是网络运行中过程必须非常关注的方面。

关键词：网络,网络流量,规划,监测,控制

参考文献

[1]郑海,张国清.物理网络拓扑发现算法的研究[J].计算机研究与发展,2002,39[3]:264-268.

[2]赵瑞.基于分解方法的网络流量自适应短期预测方法研究[D].西安交通大学,2004.

水流量监测 篇5

【关键词】路由器；iP数据包；流量数据采集方法

Methods router IP packets for traffic analysis， monitoring and statistics based on

Wang Xiao-wei

（Handan City， the fourth Construction and Installation Co. Handan Hebei 056000）

【Abstract】This paper packets through the router IP traffic statistics data collection methods and characteristics discussed in detail description， to be able to network research and network management and traffic data collection play a role.

【Key words】Router；iP packets；Traffic data collection method

伴随着计算机科学技术在当今社会的飞跃式发展，网络的发展前景不可预期，网络上传输的数据量也随着时代和技术的发展而越来越大，同时近几年来有关部门采用流量来计费的方式越来越普遍，如何统计网络流量已经日益成为人们普遍关注的一个问题。为此。迫切需要一种对网络性能进行分析、监控和诊断的工具，也需要一种对网络数据流量进行统计分析地、有效地工具。在此种情况下，各种对网络数据流量进行分析、监测和统计的方法应运而生。

1. 数据流量的统计方法

通常情况下，流量统计的方法主要有数据采集和数据分析两个方面，其中以数据采集最为重要。就目前来说，统计网络数据流量的方法有很多，最主要的是通过两个途径完成网络流量的数据采集：使用代理服务器对网络流量进行采集和直接使用路由器实现数据的流量统计。

1.1 使用代理服务器实现网络流量的统计。

代理服务器是一种介于客户端和Web服务器之间的服务器，有了它之后，浏览器不是直接到Web服务器去取回自己想要的网页，而是向代理服务器发出信息、网页请求，信号会被先送到代理服务器，然后由代理服务器来从web浏览器上取回所需要的信息并传送给你的浏览器。代理服务器有很多功能，如缓冲功能、安全功能、日志功能等等，另外，代理服务器还具有日志功能，能够实现对网络流量的数据统计就是因为其本身具有记录流量的日志功能。这样就可以直接读取代理服务器上的日志文件实现网络流量数据的采集工作。利用代理服务器取得流量数据的方法比较方便，但是有时候也会出现一些偏差，因为代理服务器会出现丢失数据包的现象，从而不能准确的记录网络的数据流量。

1.2 使用路由器实现网络流量的统计。

除了代理服务器外，路由器是实现网络流量数据采集的最重要、最便捷的方式。路由器一般利用其内部所具有的流量记载功能，如ShowIpAccouting命令、SNMP协议和Telnet程序来实现流量数据的分析和采集。使用路由器对网络流量的数据进行采集避免了使用代理服务器出现的数据包丢失问题，因此，网络流量的数据采集比较精确。下面将重点介绍基于路由器IP数据包统计的流量数据采集方法。

2. 基于路由器IP数据包统计的流量数据采集方法

众所周知，路由器是一种连接多个网络和网段的设备，它能将不同网络和网段的信息进行解码、然后重新编码，使其网络间能够互相连挠，路由器可以根据数据包的目的地址选择最有效、最简捷的路径与其他网络实现连接，然后形成一个更大的网络，这样就能够最大程度的实现网络问的资源共享。它是流量数据出入的咽喉，局域网中所有到因特网的网络流量都必须经过路由器。因此，路由器充当了数据采集的角色。通过路由器对网络流量的数据进行采集的方法也有很多种，如show IP account命令、SNMP协议和Telnet程序等。因为路由器的主要功能是帮助IP数据包选择正确的路由，时期更快捷的到达目的地址，因此，我们通常不使用其本身自带的记录功能获取网络流量的数据统计，否则就会大大降低路由器的选择功能。从路由器上获取数据包的流量统计我们一般使用SNMP协议和Telnet程序的方法。

图1

2.1 通过SNMP协议获取数据流量。

（1）SNMP协议是互联网的标准网络管理协议，在SNMP协议中定义了具有支持操作寓意的管理信息变量，这些变量被称为MIB变量，MIB变量是与计费有关的一种变量。因为路由器是网络间互联的关键设备，因此只要对边界路由器作适当的配置，当一个数据包进人路由器后，路由器奖会寻找记录内是否有与之相匹配的源IP地址和目标IP地址，如果找到一直相匹配的记录，程序就会自动将其累加到记录上，这样一来就会获得网络的数据流量。例如：在Cisco公司为其路由器产品定义的SNMP的MIB变量的IP组中，提供了一个IPCheck pointAccountingTable变量表，通过读取表中的值和重新设置数据过期标志，可以连续获取流经该路由器的网络情况。Cisco为流量统计功能提供了相应的SNMP访问和控制方法，利用cisco路由器提供的“show IP account”命令查看当前的网络数据流量的统计情况。

（2）基于路由器IP数据包统计的数据处理流程如图1所示。

（3）采用SNMP对数据流量进行采集的应用最广泛的就是使用网络流量负荷的监测工具即MRTG。这是一个有Perl script和一个C程序组成的监测工具。前者在其中的作用是可以使用SNMP获得路由器上的数据流量，后者的功能是记录数据流量并生成一些可以表示网络数据流量的图标，使其更形象、生动。MRTG最大的优点就是它保存的数据时间较长并可以随时查看。它能够保留过去两年之内的从路由器上获取的所有数据，可以产生一个周、一个月甚至是一年的流量的可视化图表。

（4）目前国内大多数的ISP都采用SNMP进行数据的采集，它能够保护路由器的操作13令，可以提高数据采集的速度，但同时也增加了系统的复杂性，有利有弊。

2.2 使用Telnet程序实现网络数据的流量采集。

使用Telnet程序登陆到路由器上获取网络的流量数据的方法比SNMP的方法简单。它主要通过编码模仿，把Telnet在终端设备上输出的数据重新定向到另一个临时文件中，然后对这个临时文件进行分析，这样就可以得到一个关于数据流量的清单。这种通过编码模仿得到数据流量的方法类似于前面所说的利用代理服务器上的日志文件获取数据流量的方式。使用Telnet程序获取网络数据流量的速度很快，但它的局限性在于通用性不是很好。

3. 路由器IP数据包流量统计方法的特点

通过对网络的数据流量进行统计的方法还有很多，每种方法都有其利弊之处，通过路由器实现网络数据流量的统计方法具有以下特点：

3.1 数据流量的统计精确。

因为路由器是流量数据出入的咽喉，是实现网络间相互连接的重要的设备，网络间的通信都必须通过路由器的转换来完成。路由器的任务就是根据数据包的目的地址选择相应的路由，然后与其他的网络连接。因此，路由器可以准确的反映除了出入的网络数据流量。

3.2 使计费服务器不受地点限制。

我们知道，对网络的数据流量进行统计和监测的最终目的就是对其进行收费，由于各种统计方式本身的局限性使得计费的服务器必须要放在计费网段之内。结果就导致了有多少个计费网段就需要多少个计费服务器，大大增加了工作量。而如果使用路由器就会大道事半功倍的效果，我们只要计费服务器能够通过网络访问到网段所在的路由器就可以实现通过一个计费服务器完成所有网络流量的数据采集丁作，至于计费服务器位于哪个计费网段并不重要。而且，这种计费所使用的路由器并不需要太复杂，也不需要增加其他硬件，实现起来比其他的计费方式简单。

3.3 与其他网络管理功能的一致性。

因特网采用的是标准的网络管理协议SNMP，而路由器也主要通过SNMP协议的L些命令对网络数据流量进行统计和监测。这样就保证了在数据采集手段上与其他网络管理功能的一致性。

3.4 利用路由器统计网络数据流量的缺点。

利用路由器实现网络数据流量的统计采集方法虽然有很多的有点，大大提高了网络流量计费的速度，但是，对待任何事物都要用一分为二的观点，用路由器计算网络数据的流量也是有利有弊的，它必然存在一些不足、需要改进的地方。一方面，路由器的主要功能是实现数据的路由选择，帮助数据包选择最快捷的路径，使其尽快把数据出送到目标地址。然而，使用路由器对网络数据流量进行统计就会额外的占用路由器的内存和CPU开销，特别是对于通信流量比较大的网络，其矛盾会更加突出。严重的会导致计费缓冲区出现溢出的情况，导致出入的流量数据的丢失，最终也会影响网络的速度。另一方面，路由器是针对IP地址进行流量计费的，因此它不支持对用户的流量计费，也不能防止有心人士对IP地址的盗用，所以也会影响对网络数据流量的统计与监测。

4. 结束语

伴随现代科学技术的迅猛发展，网络计费已经成为网络管理中的重要组成部分，如何最有效的完成网络计费的工作也成为网络管理部门的一大难题。而网络计费的前提是如何统计网络的数据流量，本文就对网络流量的数据采集方法进行了简要的论述分析，基于路由器IP数据包统计流量的数据采集方法在目前的网络管理中已经应用的十分广泛了。因此本文重点讲述了基于路由器IP数据包的数据采集方法及其各种方法的利弊之处，随着网络设备的不断更新、发展，网络流量的数据采集方法会越来越多，基于路由器IP数据包统计的流量数据采集方法也会越来越成熟。

参考文献

[1] 杨晓朋，李雄，董栋，等.TRUNK技术在IP数据网络中的应用[A]//2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集，2009.

[2] 王晓东.动态分组传输技术（DPT）在天津教育科研宽带城域网中的成功应用[A]//第十八届中国（天津）'2004IT、网络、信息技术、电子、仪器仪表创新学术会议论文集，2004.

[3] 张军伟，罗红，乔向东.基于路由器的访问控制列表保护内部网络安全[J].计算机与信息技术，2008（9）.

[4] 刘宴兵，李秉智，尚明生，等.基于IP信源模型的数据包丢失分析的研究[J].重庆邮电学院学报：自然科学版，2001（4）.

一种蒸汽流量智能监测系统 篇6

当前建立节能减排考核体系是节能增效工作的重要方面, 精确快捷的测量技术更是节能减排考核的重要环节, 是能源管理的基础, 可靠自动的计量监控系统是集中供热、联片供汽动能优质超产低消耗运行的耳目, 是安全经济运行的保证。

杭州站集中供热锅炉房, 供应周边地区十多个路内外单位的生产、采暖及生活用汽, 安装3台燃用天然气的工业锅炉 (型号WN510-1.25YC) , 每台蒸发量为10 t/h, 工作压力1.25 MPa, 是上海铁路局最大的集中供热锅炉房, 2007年燃用天然气256万m3, 年燃料费用达675万元, 是上海铁路局的能耗大户。

为了提高运行水平, 加强经济核算, 减轻操作人员劳动强度, 及时发现事故隐患, 便于开展以节约燃料、节约电能为中心的能源科学管理, 必须尽快在该站锅炉热网系统安装准确可靠的计量仪表, 才能实现向各热网用户合理收费, 这将有效降低我站运输成本中的能源支出。让杭州站蒸汽能耗计量管理工作在局领导的关怀下, 达到环境效益、社会效益和经济效益的统一。

依据上海铁路局对杭州站锅炉房蒸汽能耗计量管理系统提出的总体目标和工程要求, 由上海海青仪器仪表公司设计和施工, 该项目经合同认定、方案论证、设备选型、分体校验、原系统检修、设备安装、线路架设、软件编制、整体调试、运行考验等阶段, 该监测系统已于2007年12月正式投入使用。

2 系统规模和要求

这个项目总体规模包括三台10 t/h锅炉产生饱和蒸汽向各用汽点送汽, 现有9路带温度压力自动补偿的蒸汽流量测量。

该计算机热网能耗监测管理系统, 主要技术要求是:

(1) 实现锅炉房热工仪表盘现场监视设备运行情况, 有9台现场监视蒸汽能源消耗的智能积算仪。

(2) 实现在综合车间二楼办公室, 远距离监视供热站及热网能耗情况。

(3) 实现计算机测量、记录、管理热网各项能耗计量数据, 对现场仪表进行动态监视可打印各项参数的变化曲线、图表和台帐, 供查询。

3 硬件的配置

(1) 蒸汽流量表的精选

这是硬件配置的核心。该工程选用上海海青仪器仪表有限公司生产的LUGB型涡街流量传感器, 它有耐高温、寿命长、测量下限低、互换性强等诸多优点, 产品的总体水平已达到国际先进水平, 荣获上海市高新技术证书。

LUGB型涡街流量传感器与传统的孔板——差压变送器流量测量装置相比较有两大优点:

A.运行可靠性高。该传感器直接装在管道上, 没有孔板差压变送器的导压管, 不会因导压管堵塞、泄漏、冻结而影响测量讯号发出。

B.扩大了量程比。工业锅炉热力管道流量波动很大, 该涡街传感器的量程比是20:1, 而普通孔板测量装置仅是3:1。较好地解决了流量测量的下限难题。

LUGB系列涡街传感器与其它涡街传感器相比, 又有五大优点:

A.寿命长, 敏感元件内部无填充料, 不会因填充料老化而影响仪表的使用寿命。

B.敏感元件的互换性强。维修及鉴定时不必拆除已固定在管道上的仪表本体, 只需拆卸敏感元件。

C.漩涡发生的频率与敏感元件无关。不同规格的LUGB传感器上的敏感元件可以互换。

D.特殊的压电材料, 使仪表工作温度可达350℃, 优于国内同类产品。

E.可以在锅炉房较差的环境 (高温、潮湿、粉尘) 下长期工作。

(2) 蒸汽流量测量的温度压力 (自动) 校正

由于供汽季节、时间、需求量等变化因素, 蒸汽的温度 (压力) 波动较大, 实际供汽温度 (压力) 越偏离设计压力, 在管道传感器处流量测量误差越大。由于饱和蒸汽温度和压力有一一对应的关系, 在每个流量测点附近装有测温铂电阻, 联接至传感器的讯号变送线路中, 就可以进行温度 (压力) 自动补偿校正。在准确的测量管道中蒸汽流量的同时, 又可测得管道中蒸汽介质的温度和压力。

(3) 选用XSJ型智能流量积算仪

为实现锅炉房仪表盘现场监测设备运行情况及汽、水电的消耗, 该工程选用了9台海青牌XSJ型智能流量积算仪, 该积算仪以80C522微处理器为硬件结构主体。稳定可靠, 功能齐全, 抗干扰能力强。这种积算仪可以与脉冲型的流量传感器配套使用, 也可以与模拟型的流量变送器配套使用。有显示、温度及压力补偿、参数设置、打印等功能。在停电的状态下, 可以无限期地保护数据。仪表的显示直观、操作简单、外形小、重量轻、安装方便。

4 软件的编制及功能

(1) 简述

热网集中监控管理系统 (以下简称热网系统) 是基于在计算机网络技术的基础上, 并综合了通信技术、数据库技术等计算机领域的先进技术, 实现锅炉房对其所属的供汽管道、锅炉所产生的蒸汽进行集中监控和管理, 对所辖区域的用户管道的温度、压力、流量频率进行实时采集、测量、记录全网运行参数, 并完成日常的管理任务, 包括报表的生成打印等。并可根据实测的全网参数, 分析运行工况, 统计各有关参数, 同时及时发现系统出现的各种异常现象。

该系统可不受环境、地理位置的限制, 只要在带有485接口的电缆覆盖范围内, 可灵活组网, 既可以建立基于一个监控中心的局域监控网路, 又可扩展成整个上海铁路局建立基于多个监控中心的广域监控网络, 并可根据需要灵活增加或删减, 是一套集科学性、先进性、技术性、灵活性于一体的智能化自动管理系统。

(2) 系统功能

从功能角度划分, 整个系统可分为四部分:数据接收;数据分检;数据保存;数据管理。

计算机网络部分共有三部分组成:通信前置机 (功能:数据接收) 、企业服务器 (功能:数据保存、数据分检) 、管理机 (功能:数据管理) 。根据杭州站实际情况, 我们将系统网络和所有的热网系统软件功能都集成在一台计算机上。

(附图:锅炉房蒸汽能耗电脑计量管理方框图)

5 系统特点

(1) 兼容性

热网自动监测管理系统可以兼容不同输入量的智能仪表 (如饱和蒸汽仪表、过热蒸汽仪表、液体仪表等) ;兼容多种通信协议以保证不同输入量的智能仪表可以在同一套管理系统上运行以减少不必要的重复投资。能够同时完成对所传输的数据的实时计量管理;完成对所传输的数据的贸易结算。

(2) 实时性

热网自动监测管理系统还可以通过定时呼叫使其各仪表在第一时间内将当前的实施数据上报至管理系统, 并可在专门的界面上显示。

(3) 先进性

系统采用当即IT领域先进的模块化理念和以太网方案, 确保了系统运行的独立、安全、可靠、以及数据保存的安全可靠。系统采用模块化结构和开放性设计, 可以方便地移植至其他应用领域。根据用户的需求灵活组网, 系统容量可以方便地增加和减少。

6 节能增效

(1) 提高了设备运行的安全性, 及时发现事故隐患, 制止能源浪费。

由于热网能耗的电脑集中监测, 领导及管理人员可以随时在综合车间办公室远距离了解锅炉房热网的汽量、汽压、水量、耗电量等, 加强了操作人员工作的责任心和设备运行的安全性。

(2) 节能降耗有了目标和可比性, 调动了司炉节约能源的积极性。

由于热网能耗的集中显示和监控, 解决了测算用户耗能, 合理收费的老大难, 大大提高了用户节能的积极性, 如上铁办事处, 以前是一周七天每天开汽, 监测投运后, 现在周六周日主动要求关汽。又如列车段也要求每天11点到下午5点关阀关汽。各用户耗能精打细算, 也节约了大量管路热损, 用户节能降耗有了目标和可比性。

新安装的智能蒸汽流量控制系统, 改进了以往按供汽管径和供汽时间计算的不合理的收费方法, 对用户按流量表计数合理收费, 由于计量正确, 用户心服口服, 而我站也回收了应得的能耗费用, 做到流量表当年投资, 当年收回投入。

该项目对司炉工的劳动成果和经济效益有了科学的计算和衡量, 蒸汽单耗班班有结算, 月月有考核, 进一步调动工人提高操作水平的责任心和节约能源的积极性。

该项目取得重大节能降耗成果, 2008年与2007年相比, 燃料消耗天然气由256万m3下降至218万m3, 年燃料费用由676万元下降至569万元, 下降幅度分别达15%和16% 。工程总投资17万, 两个月即可从节能降耗效益中回收。

(3) 促进了科学管理让机组在经济出力下运行。

服务器流量监测技术的研究 篇7

关键词：服务器,网络,流量监测

随着网络技术及应用的发展，网络结果日趋复杂，网络规模随之扩大。网络流量作为记录和反应网络及其用户活动的重要方法，对网络流量分析网络监控及安全管理有着重要的意义。网络流量监测是一种有效地网络服务质量解决方案，其本质在于有效解决拥塞控制及资源的合理调度，并在此基础上实现网络资源的管理和维护，进而做好安全的基本管理。而在网络的布局规划中，服务器作为重要节点，其数据流量是网络流量监测的重点。对服务器流量进行连续的采集，通过连续采集的服务器监测的流量、获得流量数据后对其进行统计和计算，定期形成状态报表。对状态报表进行长期、系统的研究，可以为服务器升级、单位网络行为监控、服务器安全提供第一手，也是最重要的资料。因此，作为网络管理者就应该重点抓住服务器的流量监测。

1 网络管理与网络流量监测

网络流量尤其是服务器流量记录着网络及用户活动。因此，对网络流量的实时监测及分析并及时发现可能存在的各种状况，是流量监测的一个关键性问题。这个问题直接影响着网络的可靠性和可用性，同时也是管理和优化网络资源的重要依据。

目前，网络流量的检测主要是对网络数据进行实时连续的采集、分析并存储，从而得到反映网络性能及应用的各项主要指标，形成性能报告，作为网络管理者分析及管理网络资源的依据。基本监测工具包括简单的PING、TRACEROUTE等工具，更为主要的形式如外部嗅探器(sniffer)或架在重要网络节点的独立监测系统。

网络流量数据主要有三种形式：主动数据、被动数据及路由数据。一般来说，对网络数据的检测方法有两种：主动监测和被动监测。

主动监测是端到端的测量，通过向被测网络注入一些探测流，使用这些探测流是为了探测网络特征等信息，并根据这些信息来理解被测网络的模型特征参数，如时延、丢包率等。通过这些参数对被监测网络进行流量统计等应用的指导。

由于主动监测法向网络注入探测流，因此会产生额外的流量。另一方面，探测流的流量大小以及其他参数均是可调的。

被动监测这种方式只会监听通过测量设备的报文，所以并不会影响到用户流量。典型的被动测量有SNMP、RMON、嗅探器 (Sniffer) 。

一方面，被动监测在理论上不会增加网络负荷;另一方面，很难对网络端到端的性能进行分析，且存在用户数据泄漏等安全性问题。

2 服务器流量的特点

服务器流量如图1所示。

从图1我们可以看出数据流是双向的，但实际上也是非对称的，用户上传数据至服务器时会导致上行流量大过下行流量，而用户下载数据时则相反。

3 基于SNMP的流量监测技术

SNMP (Simple Network Management Protocol，简单网络管理协议) 是用来对通信线路进行管理。管理者通过进程对MIB的访问进行控制，MIB位于管理中心位置，其间的通信通过提供的接口完成。

SNMP网络管理由管理基站，管理代理，管理信息库和网络管理工具等几个部分组成。其中管理基站可看作网络管理者和用户的接口，一般是独立的设备构成。在这个设备上必须配有管理软件，管理员通过用户接口从MIB取得信息的数据库，同时可以将管理命令发出基站。管理代理由如主机、网桥、路由器和集线器等网络设备构成，这些设备都能够接收管理基站发来的信息，其状态也由管理基站监视。

基于SNMP的流量监测是属于被动监测技术。从本质上说，它是通过网络设备收集一些流量信息有关的变量，通过这些变量反映出某些网络属性。通常情况下，收集的信息有：输入/出字节数、输入/出非广播包数、输入/出广播包数、输入/出包丢弃数、输入/出包错误数、输入/出未知协议包数等。

某单位局域网用户数量庞大，采用代理服务器方式联通内、外网。SNMP监测单位服务器流量如图2:

SNMP监测单位应用程序如图3:

参考文献

[1]杨策.计算机网络中流量监测技术[J].长安大学学报 (自然科学版) , 2002 (5) .

分布式异常流量监测系统的设计 篇8

随着互联网的广泛普及,网络管理的核心任务从用量管理转向安全管理。随着网络规模的扩大,各种网络攻击造成的损失也随之加大,网络攻击的手法也不断更新,因此网络安全日益成为人们普遍关注的焦点。

由于网络攻击越来越隐蔽,攻击的发起时刻到造成严重后果的时间间隔越来越短,因此以往的攻击侦测手段已经不适应当前网络安全管理中对网络攻击要“及时发现,快速定位,立即防范”的要求。用统计的方法,可以在短时间内对大量数据进行处理,通过统计结果,可以及时准确地发现网络攻击,为准确定位和实施防范赢得了宝贵的时间。网络安全管理有个原则,侦测点离攻击的源头越近,侦测的效率越高。因此,“从源头阻断攻击”的方法成为防范攻击的最新理念;尤其是在对付分布式攻击的时候,分布实施阻断是最有效的手段。

本文设计是一套专门面向骨干网的DoS/DDoS及异常流量监测的分布式分析系统。它采用NetFlow协议技术,通过统计流(Flow)数据及计算统计结果的变化趋势并结合各种判断规则(Rules),来判断网络是否存在异常,并根据异常流量确定攻击的来源,进而自动生成ACL、带宽限制或其他相关的安全配置建议,经确认后嵌入当前的配置文件,再手工确认对配置文件的更新,从而完成对网络攻击的阻断。由于流数据的采集和防范措施是分布在接入层完成的,最大限度地靠近攻击的源头,因此也是最有效率的。

1 系统设计

1.1 系统结构和主要功能

(1)系统结构

该系统是基于分析Netflow数据,通过特征模式匹配和与正常流量基线比较,来分析和判断网络的异常情况,并通过建立安全策略库,提出安全建议,实现对异常情况的处理,达到对IP网络的有效闭环管理。系统结构如图1所示。

(2)系统的主要功能

1)流量监视可以实时报告网络的流量、异常应用和异常流量,包括病毒和事实上的攻击。

2)流量统计以生成不同节点(这个节点是个逻辑上的概念,可以是一个IP地址、IP地址段、端口、AS等)之间的流量矩阵,呈现流量事实,展现关键指标,洞察网络流量全局。

3)趋势分析可以发现流量测度的变化,预测网络流量和设备的承受力,合理规划、建设网络。

4)流量关联可以找出应用、设备、用户等彼此间的影响和问题的根源,优化网络资源。

5)闭环处理建立安全策略库,通过流量关联,自动下发安全策略或提出安全建议,作到对异常流量的闭环处理。

(3)系统部署

从三个层面进行部署和系统分析:

1)第一层是位于网络接入层,主要进行采集参数的设定和管理,将采集到的原始流数据进行解码和归一整理,形成文本格式的流文件,传送到第二层服务器上。

2)第二层是位于网络的分布层,接受来自第一层服务器的流数据文件,进行分析计算,并进行异常流量报告和局部的事件关联分析,生成流量和入侵报告。

3)第三层是位于网络的核心层,接受汇总报表,进行进一步的异常流量和事件关联分析,生成流量和入侵报告,进行全局参数的管理,发放安全策略,同步控制、更新路由器的配置文件。

1.2 异常流量的判断方法

我们采用如下的方法来分析判断异常流量。

(1) Top N:取flow记录中排名前N位

1) TopN session:单个主机对单个或多个目标主机发出超出正常数量的连接请求,可能原因:大规模蠕虫爆发、DoS/DDoS攻击、网络滥用。

2) TopN transfer data amount:在一个时间段内,在两个网络主机间、或单个主机对个目标主机间持续产生了大量数据,可能原因:蠕虫、DoS/DDoS。

(2)模式匹配:每一种攻击通常都有特定的模式,比如说我们可以采用端口和地址匹配去判断攻击

1)端口匹配:Sql alammer的攻击是针对UDP端口1434端口的,那么管理员就可以过滤出目的端口地址等于1434。

2)地址匹配:W32/Netsky.c蠕虫发作时会向如下DNS主机发出解析请求:145.253.2.171,151.189.13.35,193.141.40.42,193.189.244.205,193.193.144.12,等等。

(3) TCP标志位

对于正常连接的TCP来说,TCP标志位是不单一的。例如,ACK/SYN/FIN可以通过检测大量的单一TCP SYN标志位记录,通过检查最为活跃的目标端口,进行行为判断。

(4)异常基线流量模型

基线是根据历史流量模式描述“正常”网络活动的模型,所有不符合已建立的流量模式中的流量将被认为是不正常的。通过这种方法,可以将注意力放到那些超过阈值的流记录。经过应用Neflow检测一段时间的网络流量,建立起一个基于时间的正常流量模型,该模型对监测网络的各个时间段的各种协议流量建立一个动态的流量基线,当某个时段,某个协议量与当前基线不符时,可以判断网络流量中出现异常情况。

1.3 基线的建立方法

(1)流量模型的设计

将空间维度、时间维度、协议维度和端口(类型)维度,以及表现网络流量特征的测度即流数、包数、字节数、到达率、持续时间、占比以及阈值和告警次数等,全面地综合在一起,通过可定义的参数,向用户提供满足需求的流量报告,真正地满足大型企业和电信级IP网络流量分析的需要。

1)空间维度按照Unit定义地址区域,这些Unit可以是一个IP地址、IP地址段、一个由若干IP地址定义的POP点、网吧、城市、省等。另外,对数据源(数据采集的位置)以路由器或交换机的地址并结合设备物理端口进行定义。

2)端口维度TCP、UDP端口和ICMP类型,也构成维度(当然,也可以按照协议+端口形成应用维度)。

3)流量测度合计流量、包大小、密度和持续时间、TCP-Flag、占比等。

4)时间维度按照可定义的时间粒度(5/10/15/…分钟),定义时、日、周、月、年。

5)协议维度TCP、UDP、ICMP等,定义协议的维度。

按照上述的维度和测度可定义成“流量立方”,逻辑上讲类似于数据仓库,基本涵盖了流量分析的全部可能指标、地址和时间的组合,剩下的工作就是按照对流量统计的业务需求,可进行灵活的定制。

(2)基线的计算方法

1)固定基线固定基线是一条水平直线,通常是根据经验或是实验测量的结果得来。例如ICMP请求响应比(ICMP Req/Rsp)在正常情况下大约为10:1。有ICMP攻击的时候会远远高于这个值。

2)动态周期性基线周期性基线通常是根据历史数据计算得到的,通常是一个单周期数据轮廓线。这条曲线由若干数据轮廓点组成。每个轮廓点代表一个采样时点。例如,假设基线周期为24小时,采样时点间隔为5分钟,则轮廓线由288个轮廓点组成。第N个轮廓点的值都是由一组同为第N个采样时点的实际测量值(历史数据)计算得来的。一个新的实际测量值如果没有超过基线范围,则取代那组历史数据中最陈旧的一个,用来计算新的轮廓值。如果一个新的测量值超过基线范围,则被丢弃,不参与新轮廓值的计算。如此循环往复,基线则始终保持在动态的变化。计算轮廓点的具体方法有很多,最常用的有三种:算术平均、加权平均、置信区间。为了增加基线的准确性,还可以多采用一些历史数据,并采用混合算法。也就是在历史数据学习期的前段采用算术平均,生成初步的基线。然后继续积累历史数据,对所有这些更多的历史数据采用加权平均和置信区间算法。这样既满足了实际应用系统对缩短学习期的要求,又兼顾了基线计算准确性的要求。

1.4 异常告警的闭环处理方法

系统中,一个异常告警发生的过程如下:

第一步:根据所定义的基线空间,统计和汇总流量,分析指标。

第二步:比较基线和统计分析结果。

第三步:根据门限值,决定是否告警以及告警的级别。我们可以按照以下两个方面设置门限值:一是特定的异常流量现象和产生地点,二是异常流量的“度”:超过门限定义的量值(程度,>10%,50%,…)、持续的时间(强度或者变化率)。

第四步:受影响相关联设备性能分析和受影响的程度关联分析:CPU/Mem./Link的利用率关联分析、响应时间/延迟时间等的关联分析。

第五步:在已探明的异常流量发生地,生成ACL、Rate Limit等安全配置命令建议,经网络管理人员或者网络安全管理人员确认后,对发生异常流量的设备进行相关的安全配置。

第六步:持续观察设置命令后的流量情况,观察流量的异常变化情况,修正、建立与事件关联的配置知识库。

2 结论

该系统很好地归纳了流量的特征并加以规则化,所以算法更高效。经实验表明,即使在PC/Linux服务器上,其对流量立方的综合统计速度最低也可达200万流记录/分钟,完全可以满足骨干网络的监测要求。

参考文献

[1]邹柏贤．一种网络异常实时检测方法[J]．计算机学报，2003：26 (8)：940-947．

[2]黄艳，李家滨．基于NetFlow的网络入侵检测系统[J]．计算机应用及软件，2006，23(6)：85-86．

[3]程光，龚俭，丁伟．基于抽样测量的高速网络实时异常检测模型[J]．软件学报，2003，14(3)：594-599．

[4]龚俭，陆晟，王倩．计算机网络安全导论[M]．南京：东南大学出版社，2000：203-236．

水流量监测 篇9

文献[7]提出基于幂均方算子的网络流量监测中在线数据融合方法,通过求出同一时刻不同网络流量数据的支持度函数,获取加权融合的最优权重,不需要其余任何概率统计知识,适合于网络流量监测在线数据的融合;但是支持度函数在实际应用中存在资源占用大的问题。文献[8]提出基于均值的分批估计法的网络流量监测中在线数据融合方法,不需要传感器网络的先验知识,通过采集的网络流量数据,就能完成高精度的在线数据融合,但是存在数据融合结果不可靠的问题。文献[9]提出基于贝叶斯理论的网络流量监测中在线数据融合方法,先通过分布图法对网络流量监测数据中的干扰数据进行过滤,再进行在线数据融合,该方法虽然能实现在线数据的融合,但是所需时间过长,实现过程复杂。文献[10]提出基于遗传算法的网络流量监测中在线数据融合方法,通过遗传算法对网络监测中在线数据融合过程进行改进,得到最优融合结果,虽然能够获取一个整体最优解,但容易陷入局部最优,导致最终得到的数据融合效果不佳的问题。

针对上述问题的产生,提出一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值;并此为基础,通过时空综合分析,计算节点的量测实时方差;并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,适应能力较强。

1 网络流量监测中在线数据融合方法改进

对网络流量监测中的在线数据进行融合,在提高网络安全方面具有重要意义。因此,提出一种新的网络流量监测中的在线数据融合方法,首先对在线数据进行采集,并以此为基础,通过卡尔曼滤波法获取网络流量状态值,计算出测量实时方差,依据最小二乘准则,求出加权系数;最后通过加权融合获取当前的在线数据融合结果。

1.1 网络流量监测中网络流量数据的采集

在对网络流量监测中的在线数据金鑫融合时,需要通过网络流量监测设备,对网络进行长时间的监测,同时对流量数据进行采集,可以为后续的网络流量状态值的获取提供基础依据。

在对流量数据进行采集时,采用处于高速数据链路中的流量监测设备(图1),对实时的网络流量数据进行采集;同时把获取的流量数据传输至监测中心,监测中心对得到的流量数据进行解析同并储存在数据库中,为在线数据融合提供数据基础。高速数据链路中的流量监测设备如图1所示。

假设,相关网络流量数据集为S,C和D分别为网络流量监测时的条件属性和决策属性,usw为流量大小,则网络流量数据特征代价函数可用式(1)进行获取。

式(1)中:u为流量数据传输速率,τ为流量数据阀值。

假设,S(t)为t时刻相关流量数据集,μ为网络流量数据采集时的参数。gx为x时刻采集流量数据的速率,gθ为θ时刻采集相关流量在线数据的速率。则流量在线数据可用式(2)进行采集。

式(2)中:K为常数,λ为x时刻采集在线数据速率的系数。获取的网络流量数据特征代价函数,可以减少采集在线数据时的能耗。代价函数值越大,其采集在线数据能耗越大,在线数据采集速度越慢;反之,代价函数值越小,在线数据采集能耗越小,在线数据采集速度越快;因此,网络流量需要维持在0≤usw≤1范围内,使网络流量数据特征代价函数值保持在最小的状态下,对网络流量监测中在线数据进行采集。

1.2 最优网络流量数据状态值的获取

在流量数据采集的基础上,通过卡尔曼滤波法对网络流量状态值进行预测,为测量方差的计算提供有效依据。假设,Zk为流量数据的观测值;Hk为流量数据的观测矩阵;Vk为均值是零的高斯白流量噪声;Xk为监测过程的数据状态向量;Wk为均值是零的流量噪声向量;Fk为k时刻的流量数据方差矩阵,则此时的网络流量数据的状态方程与观测方程为

在得到网络流量状态方程与观测方程的同时,通过卡尔曼滤波对网络流量数据进行滤波,而卡尔曼滤波就是在已知网络流量数据观测序列Z0,Z1,…,Zk+1的情况下,获取Xk+1的最优估计值,使估计误差的方差达到最小,也就是

则在得到网络流量观测序列Z0,Z1,…,Zk后,假设,已经找到网络流量监测时的在线数据状态向量Xk+1的最优线性流量数据估计值,并利用观测方程(4)求出k+1时刻流量数据观测值的预测值。

通过式(6)获取新的观测值Zk+1后,需对最优线性流量数据估计值进行调整,获取Xk+1的最优网络流量状态值。

为了通过新获取的观测值含有的信息进行最优估计,则网络流量数据状态值,可用式(1)进行获取。

式(7)中:Kk+1用于描述网络流量数据最优增益阵。则即为网络流量数据状态值的预测值。

1.3 最优测量方差估计值的获取

传统测量方差估计算法忽略了网络流量数据在传输过程中的误差、计算误差、环境噪声、人为干扰等因素,使得滤波精度降低,导致在线数据融合不准确的问题。通过对各种因素的干扰进行综合分析,获取一个不确定因素而变化的测量方差矩阵R的估计方法。在对测量方差进行估计的过程中,首先进行综合分析,并在分析的基础上,结合步骤1.2获取的最优网络流量数据状态值求出网络流量数据测量方差估计值。

1.3.1 空间分析

空间分析是对网络流量监测中在线数据的一次采样结果进行分析,可依据网络流量静态时在线数据的最优权值分配原则,也就是所有网络流量监测中在线数据的权系数为,其中Ri用于描述各流量数据采集精度,依据该原则可获取具有无偏性、有效性的在线数据融合结果。

1.3.2 时间分析

时间分析是针对一个网络流量监测中在线数据多次采样结果进行分析。测量方差是网络内部噪声和外界环境干扰的一种综合属性,该属性一直存在于整个在线数据融合过程,因此,可将不同方差分配赋予不同的权值,并将其看作是当前测量方差的实时估计值。

1.3.3 时空综合分析的网络流量在线数据测量方差估计算法

依据上述分析提出基于时空综合分析的量测方差估计算法,进行在线数据的融合,详细的过程如下所示:

假设,Zi(k)为网络流量监测中第i个采集节点第k次采集在线数据的的结果,则第k次采样时各采样节点测量的在线数据融合值Z-(k)可描述成:

式(8)中:ωi用于描述网络流量数据的权值;则结合最优网络流量数据状态值,可求出第i个采样节点第k次采集在线数据时的测量方差估计分配值Ri(k)为

假设,全部采样节点测量方差在采集网络流量在线数据过程中,网络流量在线数据的估计分配值为Ri(k-1),则网络流量在线数据测量方差平均值,为网络流量数据测量方差最优估计值的获取提供数据基础依据。计算公式如式(10)所示。

则网络流量数据测量方差最优估计值,可用式(11)进行计算。

式(11)中:网络流量数据取权系数序列为d(k)=(1-b)/(1-bk);0<b≤1,b为网络流量数据遗忘因子。若外界干扰因素较大,则b取小值,从而有效利用先验信息。若外部干扰因素较大,则b取大些,使网络流量数据测量方差的估计值最优化。

1.4 改进在线数据融合算法的实现

在对网络流量监测中在线数据融合方法进行改进时,关键步骤是最优测量方差估计值的获取。而确定最优测量方差估计值后,可依据最小二乘准则,进行数据加权,求出加权系数,并以此为基础,再结合步骤1.3获取的最优测量方差估计值,可实现在线数据融合算法的改进。其网络流量监测的在线数据融合结构用图2进行描述。

假设,zi为第i个采集在线数据时的观测向量;为第i个采集在线数据时的状态权值,同时符合的约束条件,则结合计算极小值点,获取加权最小二乘估计值,表达式如下所示。

则加权最小二乘估计值x^的无偏差网络流量监测状态估计量e(x^)的均值误差P进行计算:

依据均值误差p最小原则,将在线数据融合问题转换成存在约束的极值问题,通过Lagrange乘数法对极值点进行计算,获取各采集数据的加权系数。

式(14)中:用于描述采集节点i时的网络流量数据测量状态加权系数,n为常数。

依据最终的量测方差,通过式(12)、式(14)获取网络流量监测中k时刻在线数据的融合结果:

2 实验结果分析

在MATLAB仿真环境下进行,本文提出的网络流量监测中在线数据融合方法的有效性验证实验。实验的硬件情况是Intel Core3-530 1 G内存,操作系统是Windows 7,Kinect驱动,数据融合方法的开发工具为Microsoft Visual Studio 2010。先将50个传感器节点均匀分布于50 m×50 m范围的感知区域内,以最小二乘法作为对比进行实验分析。其融合精度可用式(16)进行计算。

式(16)中:μ为在线数据采集速率,x为在线数据集,σ为在线数据融合概率。

2.1 实验(1)

分别采用本文算法和最小二乘法对网络流量监测中在线数据进行融合,两种算法的融合精度比较结果用图3、图4进行描述。

分析图3、图4可以看出,采用本文方法的数据融合结果相比最小二乘法的融合结果,其融合曲线平稳,且最大(小)融合精度都高,并且绝对误差一直低于最小二乘法,说明本文方法的融合精度很高。

2.2 实验(2)

分别采用本文方法和最小二乘法对网络流量监测中在线数据融合时,网络能耗情况、在线数据融合量进行比较,得到的结果用图5进行描述。

分析图5可以看出,和最小二乘法相比,采用本文方法对网络流量监测中在线数据进行融合能耗减少10%,而且随着时间的逐渐增加,本文方法的能耗与最小二乘法能耗之间的差异越来越大,说明本文方法所需能耗较低。

图6描述的是采用本文方法和最小二乘法的在线数据融合量比较结果。

分析图6可知,随着实验次数的增加,采用本文方法的在线数据融合量明显高于最小二乘法,这主要是因为本文方法较最小二乘法具有更高的数据融合度,验证了本文方法的有效性。

3 结论

本文设计的一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值,并此为基础,通过时空综合分析,计算节点的量测实时方差,并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,融合数据量大。

参考文献

[1]刘维炜,殷智勇.基于信息融合的网络流量监控研究.空军预警学院学报,2014;28(2):123—126Liu Weiwei,Yin Zhiyong.Based on information fusion of network traffic monitoring research.Journal of Air Force Early Warning Academy,2014;28(2):123—126

[2] 冯本勇.基于物联网数据融合算法的土壤环境监测系统设计.黑龙江科技信息,2015;(21):98—99Feng Benyong.Based on Internet of data fusion algorithm of soil environmental monitoring system design.Heilongjiang Science and Technology Information,2015;(21):98—99

[3] 李春林,黄月江,牛长喜.一种面向云计算的网络异常流量分组方法.计算机应用研究,2014;31(12):3704—3706Li Chunlin,Huang Yuejiang,Niu Changxi.Network abnormal flow grouping method for cloud computing.Application Research of Computers,2014;31(12):3704—3706

[4] 李群,黄立宏.RST融合改进Q学习算法的在线网络IDS设计.计算机应用研究,2015;32(07):2068—2072Li Qun,Huang Lihong.Designing of online network IDS based on Fusion of RST and Q-learning algorithm.Computer Application Research.2015;32(07):2068—2072

[5] 高杨,沈重,张永辉.基于多传感器数据融合技术的臭氧监测系统设计.传感器与微系统,2014;33(5):66—68Gao Yang,Shen Zhong,Zhang Yonghui.Design of ozone monitoring system based on multi-sensor data fusion technology.Transdueer and Microsystem Technologies,2014;33(5):66—68

[6] 徐方,邓敏.校园网络流量监测系统的设计与分析.湖北工程学院学报,2014;34(3):51—55Xu Fang,Deng Min.The campus network traffic monitoring system design and analysis.Journal of Hubei Engineering University,2014;34(3):51—55

[7] 王睛晴,左羽,郭龙,等.洗煤厂WSN簇内数据融合方法设计.贵州师范学院学报,2014;30(3):5—8Wang Qingqing,Zuo Yu,Guo Long,et al.WSN cluster data fusion method in coal washery.Journal of Guizhou Normal College,2014;30(3):5—8

[8] 王汝言,唐季超,吴大鹏,等.WSN中基于GM-LSSVM的数据融合方法.计算机工程与设计,2013;33(9):3371—3375Wang Ruyan,Tang Jichao,Wu Dapeng,et al.GM-LSSVM based data sgregation in WSN.Computer Engineering and Design,2013;33(9):3371—3375

[9] 樊雷松,强彦,赵涓涓,等.无线传感网中基于BP神经网络的数据融合方法.计算机工程与设计,2014;35(1):62—66Fan Leisong,Qiang Yan,Zhao Juanjuan,et al.Data fusion method based on BP neural network in wireless sensor networks.Computer Engineering and Design,2014;35(1):62—66

水流量监测 篇10

随着互联网业务日趋丰富，网络规模日渐扩大，网络结构日益复杂，电信运营商迫切需要一种有效的网络管理手段，对网络和其承载的各类业务进行及时、准确的流量和流向分析。

1 NetFlow技术简介

1.1 NetFlow技术背景

NetFlow是Cisco在1996年开发的专有技术。该技术被用于网络设备对数据交换进行加速，并可同步实现对高速转发的IP数据流进行测量和统计。Juniper、Redback、Ex-treme等设备供应商也相继支持NetFlow技术，逐渐成为一种流量监测的新标准。

1.2 Net Flow工作原理

NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成缓存。随后同样的数据基于缓存信息在同一个数据流中进行传输，NetFlow缓存同时包含了随后数据流的统计信息。

NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。

通讯记录(Flow)是由7个关键字段标识的两个通讯终端间单方向的网络连接：包括来源IP地址、来源端口号、目的IP地址、目的端口号、协议种类、服务种类、路由器输入接口。路由器接收到新的数据包时，会根据这7个关键字段查询是否属于已有的Flow，有的话则将新收集到的数据包的相关流量信息整合到对应的Flow中，否则产生一条新的Flow储存在缓存中，然后以UDP数据包送往流量接收主机，并配合NetFlow相关收集软件作信息处理。

2 NetFlow应用实例

本文将以我市某IDC(互联网数据中心)机房采用NetFlow技术进行流量采集作为一典型案例进行分析 (出于安全原因考虑, 本文中出现的IP地址均经过处理)

2.1 NetFlow应用背景

IDC机房网络拓扑如图1所示，NetFlow流量采集应用在IDC出口路由器(Cisco7500_A)和(Cisco7500_B)上。

2.2 NetFlow数据配置

在IDC出口路由器上，分别完成如下的NETFLOW配置：

2.3 NetFlow数据分析

针对IDC出口路由器送出的NetFlow数据，查看方式有两种:

3 结束语

通过NetFlow技术可以实现网络进行准确的网络带宽使用率监测和网络流向分析，有助于电信运营商实时了解网络的负载情况，及时发现网络瓶颈，适时进行网络优化。

NetFlow技术也有一定的局限性，比如它只能统计inbound的流量，只支持单播，无法提供应用的反应时间等，所以，NetFlow技术在应用方面的能力也还需要提高。

参考文献