工业互联网要求将分布在各处的生产设备网络化实现连接, 比如:长距离的输油管线上各个站点要及时上报信息到监控中心, 包括温度压力流量以及设备状态等;公司的总部要监控了解分布于各地工厂的能耗情况、生产信息等。这些任务的共同特点是:覆盖范围广、传输不能中断、实时性要好等。这种任务的范围常常覆盖不同城市甚至不同国家, 传统的工业现场总线最多几十公里[1], 如果敷设专线, 建设费用巨大;工业生产连续不中断进行, 毫秒级的通讯中断常常导致停机, 意味着大量的材料、人力的浪费, 要求这种工业网络的高可用性;实时性要求信息传输延时小、抖动平稳, 如输油管线检测到有害气体, 从检测到传到监控中心要求在几十毫秒以内, 否则贻误警情处理。
面对长距离大范围传输, 人们积累了大量的方法, 从敷设专线、租用公共线路、采用无线技术、到利用公网传输等等。单独采用某技术通常都有缺陷, 如:敷设专线、租用公共线路均费用昂贵, 采用无线需架设塔台, 费用高而且通常只能视距传输, 利用公网 (互联网) 传输存在安全问题。从这些年的文献看解决长距离大范围问题, 大都采用公网+VPN专用隧道的方法[2], 既利用了公网覆盖范围广的优点, 又利用VPN隧道的安全性。但即使采用公网, 还是有一些公网覆盖不到的应用, 如野外水文站点的水情监控、输油管线的阀室等, 故提出了公网+无线覆盖技术[3]。但现有的无线3G或4G信号受地形变化或环境气候等影响较大, 有时不稳甚至中断, 所以有可靠性问题, 而这种传输可靠性是至关重要的, 它直接影响到工控网络的可用性。3G或4G移动通讯网实际上是专用的蜂窝网络, 从移动通讯网和互联网之间经过了网关路由, 经过多跳路由、选择切换, 期间的延时较大。这种公网+无线的大范围的通讯还需要解决高可用性和延时抖动等问题, 目前鲜有研究, 本文提出的解决方案已经在油气田的SCADA项目中实施。
一、网络结构的建立
基于公网建立VPN私有隧道的方式有很多种, 有站点到站点的VPN (Site-to-Site) 和远程接入VPN (Remote Access) , 按协议分有IPsec VPN、MPLS VPN、SSL VPN、VPDN (PPTP/L2TP) 。因为工控网络的特点无论是监控中心还是远程站点, 网关身后均有很多节点存在, 网络节点又需要永远在线以实现实时通讯;同时考虑MPLS VPN实际是利用运营商的网络, 运行费用较高, 利用互联网传输只需流量费用等需求特点, 故这里选用站点到站点 (Site-to-Site) 的IPsec VPN, 选用IPsec VPN能实现加密、完整性、源认证的安全功能。
二、高可用性问题
中心网关C1通过远程网关R1a、R2a基于中国电信网建立VPN隧道, 分别将OAS-1和OAS-2远程网络连到中心;中心网关C2通过远程网关R1b、R3a基于联通网建立VPN隧道, 分别将OAS-1和OAS-3远程网络连到中心网络;中心网关C3通过远程网关R2b、R3b基于中国移动网建立VPN隧道, 分别将OAS-2和OAS-3远程网络连到中心网络;这样安排可以满足高可用网络的要求, 以OAS-1为站点为例, 电信网关R1a链路失效后, 能通过联通网网关R1b联到C2, 再通过C1/C2/C3和ANCC间的动态路由仍然保持和中心站ANCC的联通。
要实现这样的高可用要求, 必须在VPN隧道内传输动态路由协议以便能快速地实现自动路径切换, 如:RIPv2、OSPF或EIGRP等, 这些路由协议都以组播数据包来交换路由状态信息, 而经典IPsec VPN不支持传输组播数据包, 能支持组播的是GRE over IPsec VPN、DMVPN、GETVPN等。具体的路由协议我们选用动态多点DMVPN, 它有许多优点, 如支持分支站点动态IP、新增分支不用修改中心配置、提供了虚拟网状连通性等。动态路由协议采用OSPF, 因为它采用Area分区域的方式, 分成一个核心区和多个外围区域, 某个外围区域的拓扑变化仅仅影响到相邻区域从而实现快速收敛。Area 0是必需的核心区域, 它最稳定由网关C1/C2/C3和三层交换机ANCC组成, Area 1/2/3及以后的区域根据远程站点的数量可以增减。如远程站点某个网关无线信号不稳, 如R1a从Area 1掉线后能自动路由选择网关R1b从Area 2联到中心站点, 以此类推, 每一个站点均有备份路径, 保证实现高可用的网络连通。
我们通过测试, OAS-1在与中心站点实时通讯的情况下, 关掉网关R1a的电源到R1b续接通讯的间隔时间约在40~45s内完成, 通过应用程序对通讯超时的处理, 可保证通讯不会中断。
三、影响实时性的因素
应用层的数据经过VPN网关加密后经运营商的公网传输到中心站点VPN网关解密, 一方面加密增加了数据包的头部开销, 另一方面IP分组中原始的To S字节经IPSec加密后 (ESP封装) , 新增的IP头部没有了To S字节, 不能被公网路由所识别。IPSec协议标准一开始就提供了复制原始IP头部To S字节到新增的IP头部的功能[6], 但经过不同运营商的网关, 由于兼容性问题不一定都能识别, 所以本测试未在出口路由器部署服务质量分类, 但在VPN通信点后的网络内部署了Qo S, 能够区分隧道内的不同性质的流量来分配优先级。
可以分析由VPN加密所带来的新增数据包开销。我们用的IPSec VPN是用tunnel隧道封装模式和ESP封装协议, 比正常的以太网分组增加的头部包括GRE头、ESP头、新IP头部, 所以加密带来的数据包增加76字节, 含GRE隧道24字节, IPsec ESP封装52字节 (已含ESP验证字节) 。加上原始数据包的字节:IP头20, TCP头20, 应用数据载荷40字节, 以及数据帧的开销802.1Q (4) , Ethernet (14) , 所以总的在出口路由器介质上传输的数据帧大小=14+4+52+24+20+20+40=174字节。
我们采用的工控PLC所发送的应用层数据包都较小, 这里以40字节为例。工控数据的特点是数据包小而通讯频率较高且不中断, 如应对SCADA需求按照每秒1个数据包的频率采集数据可满足要求, TCP是双向连接, 所以占用传输介质的带宽2 pps*174 Bytes/Packet*8 bit/byte=2784 bits/s。这是每个VPN远程站点的带宽, 若系统有40个远程站点, 占用2784*40=111.36 (K bit/s) .而现在中心站点宽带达10Mbps/s, 所以能满足应用需求。下面描述具体的测试结果。
四、性能测试:传输延时、丢包率和抖动、路由切换时间、消耗流量统计
上述的网络性能如何要通过应用层专用程序来测试, 我们在ANCC中心侧连接一台可编程控制器PLC1 (Rockwell的Control Logix系列PLC) [5], 在远端OAS1侧连接一台PLC2, 在远端OAS2侧连接一台PLC3等等, 利用PLC1和PLC2之间基于电信的VPN通讯可以测试传输延时、丢包率和抖动等参数, PLC1同时和PLC3基于联通建立VPN隧道, 通过电信VPN和联通VPN之间的隧道切换可测量路由切换时间。
PLC1每一秒向PLC2 (或PLC3) 发送数据 (包含序列号) , 并连续读回数据, 读到的数和送出的数之间的时间差为双向传输延时, 传输延时的波动为抖动, 一定时间内送出的总数和读到的总数之差为丢包率。我们先后用TCP和UDP的连接来传数, 这里均以TCP连接为例描述结果, 因为发现UDP连接在电信3G信号下传输丢包很严重。
(一) 传输延时 (毫秒) 和抖动
测试条件是PLC1向PLC2 (或PLC3) 用MSG (Message) 指令写或读40个Byte, MSG指令放在连续扫描任务中, 不同扫描循环间留40%的系统开销以预留足够的通讯带宽。先后测试了连接有cache缓存和无cache缓存的情况, 随机观察10分钟如表1。
说明有连接缓存时避免了TCP连接不断关闭又重建, 使得传输更稳定。单向传输延时在100ms±30ms的范围对于很多工业应用如SCADA是可行的。
(二) 丢包率
从发送到收到数据包的计数统计出丢包率:38/2000=1.9%.工业应用的程序是连续扫描, 很多应用可以接受少量的丢包。
1. 路径切换时间 (秒)
分别测试了VPN通道1 (电信) 和VPN通道2 (联通) 间的路由路径切换, 采用的方法是MSG指令不断经通道1送数和收数, 通道2作为备份 (路由的metric较高) , 拔掉通道1电信路由器上连接内网的网线, 观察MSG何时通过通道2接续上通讯, 计算时间差, 反之再切换回去。发现从电信到联通的切换时间约45秒, 从联通到电信的切换时间约40秒, 相差不大。
也尝试过降低OSPF的信息包的Hello间隔从默认的3秒降到1秒, 发现总的路径切换时间减少1~2秒, 但SIM的消耗流量激增, 运行成本增大, 不推荐。
也尝试过路由以负载均衡的方式互为备份, 发现路径切换时间减少2~3秒, 但传输的丢包率更高, 丢包应该与频繁选路有关。
2. 消耗流量统计。
由于中心和远端PLC之间的数据传输和链路维持均通过SIM卡的流量来传输, 所以SIM的流量消耗直接关系到运营成本。通过统计可以计算出:
电信SIM卡消耗流量14.8MByte/2小时, 联通SIM卡消耗流量8.8MByte/2小时, 取其平均值为5.9MByte/1小时, 即:5.9MByte/1小时=140MByte/天=4.2GByte/月。
按照每月不超过5GByte的流量套餐, 其费用在商业上是可以接受的。而且还有下降的趋势。
五、结论
通过建立公网+无线的IPSec VPN通道, 实现广域范围的安全、高可用而实时的传输通讯是可能的, 其传输延时和抖动、丢包率、路径切换时间等参数能满足工业级PLC通讯的要求, 商务上3G/4G的流量消耗也在可接受的范围。本研究得到的性能参数为以后的应用提供了翔实有力的参照。
摘要：现代制造业越来越跳出了本地的范畴, 要求更大范围的互联互通和信息整合。工业以太网为此提供了有力的技术支撑, 它不同于传统的现场总线, 相比商业计算机网络又有其特点。研究广域范围的工业以太网传输性能非常有意义, 表现在安全性尤其高可用性、实时性等方面, 项目利用公网+无线+VPN的技术构建了一种广域的高可用工业网络, 研究了它的实时传输性能, 如:传输延时、丢包率和抖动、路由切换时间等, 表明性能稳定而经济适用的广域工业网络是可以实现的。
关键词：工业以太网,高可用,实时性,传输延时,路由切换,服务质量 (QOS)
参考文献
[1] 阳宪惠.现场总线技术及其应用[M].北京:清华大学出版社, 2008.10-11.
[2] 陈腾飞.小区自来水加压泵站远程监控系统[D].徐州:中国矿业大学, 2014.
[3] 杨临.基于无线VPN技术的油梁式抽油机监控系统设计[D].青岛:中国石油大学, 2011.
[4] 秦柯.Cisco IPSec VPN实战指南[M].北京:人民邮电出版社, 2014.63-76.
[5] Rockwell Automation, Programming Manual of Logix5000Controllers Messages[M/OL], Publication 1756-PM012D-EN-P-November 2011:9-19.http://search.rockwellautomation.com/search?q=+1756-PM012&inbound=All&requiredfields=&client=liter ature&filter=0&ie=UTF-8&oe=UTF-8&output=xml_no_dtd&proxystyl esheet=literature&site=literature&getfields=*&lang=en&hl=en&sitela ng=en&dnavs=+1756-PM012.
[6] Tim Szigete着, 田敏译.端到端QoS网络设计[M].北京:人民邮电出版社, 2012.554-555.
