国产实时数据库(精选四篇)
国产实时数据库 篇1
传统的关系数据库优势在于处理持久性数据和复杂的业务关系,可保证数据的完整性、一致性等。而在现实世界中有一类应用除了关注数据本身之外,数据的采集、存储时间也同样重要,这类数据称为实时数据,主要应用在工业控制、电力、网络、证券交易、交通等领域[1]。
与关系数据库不同,实时数据库(Real-time Database,RTDB)是将实时技术应用到数据库管理系统中,达到处理具有较强时间特性数据的目的。顾名思义,实时数据库的重要特性之一就是实时性,意味着其所处理的数据除了完整、一致之外,还具有实效性,过时则不具有意义。实时数据库的架构、数据存储、读写方式与关系数据库有很大区别,不适合处理业务逻辑比较复杂的应用,但数据存储和查询性能高于关系数据库,因此适用于业务逻辑简单、数据实时性要求较高的领域。除了实时特性之外,实时数据库还具有数据采集、存储、查询速度快,事务吞吐量高、接口丰富、易于扩展等特性。实时数据库应用框架如图1所示。
实时数据库应用框架中的数据库服务器是数据库服务、实例运行的载体,磁盘阵列用于存储历史数据,数据采集端负责数据的采集,客户端可以进行数据查询、编辑、展示等操作。
1 电网实时数据库测试要点分析
在电力行业,实时数据库广泛应用于发电(特别是火力发电)、输电、配电等环节,为数据采集、存储、监控、分析提供基础支持[2,3]。本文主要讨论用于输配电环节的电网实时数据库选型测试,涉及电网用电数据的采集、存储、查询、分析等。
电网用电数据具有标签点多、数据吞吐量大、系统稳定可靠性要求高等特点,因此实时数据库的测试要点如下。
1)系统所支持的最大标签点数:实时数据库支持的最大标签点数量决定了该数据库的应用范围和存储能力。
2)数据的写入速度:因为数据采集具有周期性,数据的写入必须在一个采集周期内完成才能保证数据不会丢失,同时数据的写入速度也决定了数据库的吞吐量。
3)数据查询时间:包括实时数据查询响应时间和历史断面查询响应时间。实时数据查询响应时间主要考察查询单个或多个标签点实时值的响应时间;历史断面查询响应时间主要考察查询某个时刻单个或多个标签点历史值的响应时间。
4)异常情况处理能力:在数据采集过程中,可能遇到网络中断、数据库服务停止等异常情况,但要保证采集的数据不损坏、不丢失,一旦网络、数据库恢复,能够正常存储到数据库中,且不影响实时数据的采集。
5)数据库的稳定可靠性:一般情况下,数据采集按照一定的频率进行周期性写入,为使数据能够正确地存储到数据库中,必须保证数据库连续不停机运行,因此要求数据库是稳定、可靠的。
基于以上分析,对实时数据库的测试除了功能性之外,还需要重点关注其性能、可靠性、稳定性等特性。
2 电网实时数据库选型测试内容及方法
2.1 选型测试定义
选型测试是依据国家标准、行业标准和选型测试大纲,对参测的硬件产品或者软件产品进行比对测试。选型测试需要确保参测软、硬件产品测试范围、测试流程、测试资源、测试指标、测试内容、测试环境、评测准则等一致。其中最为核心的是确定统一的测试指标和评价准则。
2.1.1 确定统一的测试指标
必须从委托方的实际选型需求出发,尽量选择参测产品具有可比性的属性进行测试,不具可比性的属性可作为该产品的特色说明,以减少因产品差异性而带来的争议。
2.1.2 确定统一的评价准则
必须充分考虑到各产品的差异化,做到公平公正,应综合考虑用户在资源、响应时间等多方面指标的接受程度,制定评价准则。
选型测试应依据委托方的技术要求,确定统一的测试指标和评价准则,从功能实现、业务流程、系统性能等多个角度出发,对参测产品进行统一的检测,提供客观的结果作为用户选型的重要依据。
按照测试不同阶段,选型测试可以分为测试准备、测试执行和测试分析3个阶段。在测试准备阶段,首先由参测厂商提出测试申请,测试方明确测试需求并且制定测试大纲,测试大纲包括测试的目标、内容、方法、环境、用例、指标、评价准则等,测试大纲要经过委托方、测试组、参测厂商的评审,达成一致意见后,可以进入测试执行阶段。在测试执行阶段,首先要准备测试环境,并且对环境进行确认,同时完成测试数据、测试脚本、测试程序的准备工作。测试执行按照用例的先后顺序执行,并记录测试结果,测试结果需要经过测试方和厂商共同确认。执行完全部测试用例,进入测试分析阶段,在本阶段分析测试结果并出具测试报告。选型测试流程如图2所示。
2.2 实时数据库选型测试注意事项
对于不同的被测对象,如硬件、软件、平台等,选型测试都可以遵循图2所示的流程进行。但是测试目标、内容、方法、环境、指标、评价准则等却与被测对象有很大关系,需要根据被测对象的特点而制定。对于电网实时数据库选型测试,在测试过程中需要注意以下几方面。
1)在测试准备阶段,要重点关注测试大纲的编写,除了常规的内容之外,还需特别明确标签点定义的规则、用于测试的铺底数据规则和数据量,确保参测数据库具有相同的数据格式和数据量。除了测试大纲之外,在准备阶段还要确定厂商测试顺序,可以通过协商或者抽签的方式决定。
2)在测试执行阶段,针对不同厂商提供的参测产品,执行用例的操作步骤、操作方式、测试工具、测试数据、配置参数、测试脚本等要保持一致,特别是对于数据库的性能测试、可靠性测试、稳定性测试,其并发用户数、脚本执行参数、异常操作方式等均要保持一致,否则测试结果将不具有可比性。
3)在测试分析阶段,要对测试过程中产生的大量数据进行整理归纳,提取有意义的数据作为评价指标,数据分析要准确、客观、实事求是。
2.3 实时数据库选型测试内容
电网实时数据库测试包含功能和非功能2部分的内容。功能测试从功能的适合性、准确性、互操作性、安全保密性等方面进行。非功能测试包括性能测试、稳定性测试、可靠性测试等[4]。
功能测试内容包括实时数据库的运行部署、测点管理、数据管理、应用二次开发等内容,主要验证功能实现的正确性和有效性;性能测试内容包括数据库支持的最大测点数量、多用户并发查询、历史断面查询等,一方面考察事务处理的效率,另一方面考察系统的资源占用情况;可靠性测试主要通过模拟网络中断和系统异常中止等特殊情况,考察数据库的恢复和处理能力;稳定性测试检测在一定的压力条件下,系统长时间运行是否稳定。
2.4 实时数据库选型测试策略和方法
一般来说,受测试时间、环境、资源等限制,测试不可能做到完全覆盖。特别是对于选型测试,目标是参测产品优劣比较,所以选择合适的测试策略是必要的。测试策略的作用在于确定测试重点,用尽可能少的测试资源,达到测试的目标。
制定测试策略时,首先要分析测试类型、测试目标和被测系统特点。对于实时数据库选型测试,一方面要明确评价实时数据库的核心指标;另一方面要明确该数据库应用在行业中,有哪些特殊的要求和特点,最后所选择的指标要能够量化,便于比对。
根据不同的测试内容,测试方法也不完全相同。对于实时数据库的功能测试,一般测试内容为数据库数据的增加、删除、修改、查询等,因此主要采用等价类划分法、边界值法和错误推测法[5]。(1)等价类划分法是针对数据库某功能,将输入数据划分为若干部分(若干类),然后从每个部分中选取少数代表性数据作为测试用例,测试所选择的代表值就相当于对这一类其他值的测试。等价类划分包括有效等价类和无效等价类。验证功能正确性采用有效等价类,验证功能容错性采用无效等价类。(2)边界值法是针对功能的输入输出阈值,设计临界值和极限值,来检验功能的正确性。边界值法是等价类划分法的补充,它不是选择等价类的任意元素,而是选择等价类边界作为测试用例。(3)错误推测法是采用逆向思维方式,结合测试经验和直觉,列举出可能的错误和容易发生的错误等特殊情况来设计测试用例。
对于实时数据库的性能测试,其测试内容一方面要关注数据库的实时性,即处理数据的速度;另一方面要关注数据库的能力,包括可并发能力、事务吞吐能力、存储能力等。因此性能测试方法采用并发测试、大数据量测试、压力测试等方法。(1)并发测试通过将系统负载增加到事先设定的一个容量,在该负载下评估系统所能承受的压力和工作性能。(2)压力测试是在并发测试的基础上,逐渐增加并发负载量,直到系统性能不能满足需求或者系统处于失效状态,以此获得系统能提供的最大服务级别的测试。(3)大数据量测试是在一定基础数据量的前提下执行的性能测试,可以与并发测试、压力测试相结合。
对于可靠性、稳定性等质量特性,可以结合功能和性能的测试方法执行。
3 案例分析
为了评估实时数据库质量,为电网采用实时数据库提供客观依据,中国软件评测中心对实时数据库进行了选型测试。本文以适用于用电信息采集的实时数据库选型测试为例,阐述选型测试的整个过程。
首先根据本次选型的目标制定测试大纲,在测试大纲中明确参测产品、测试数据、测试环境、测试内容、测试方法、评价准则等。对于参测产品,需要确定产品名称和版本,同一产品可能有多个版本,测试结果只对参测的版本有效。考虑到数据安全,测试采用模拟数据,同时为保证选型的公平性和可对比性,测试所用的数据需要制定统一的标准。用电信息数据具有标签点数量多、不能压缩存储等特点,因此测试的重点除了必要的功能之外,还需关注数据库对大量标签点的处理能力、TB级数据的存储能力等非功能特性。
然后根据测试大纲的要求,设计测试用例。为了保证测试有效性和可追溯性,测试用例中要体现测试的内容、方法、测试执行步骤、预期结果等。本文以标签点功能测试为例,说明测试用例的体系和内容。功能测试用例层次如图3所示。
从图3中可以看出,实时数据库的功能测试按照选型所关注的内容,细化到功能点,以功能点为单位设计测试用例。本文以“标签点增加”为例,给出该功能点的测试用例(见表1)。
测试结束后进行测试结果分析。与其他测试类型不同,选型测试需要出具比对结果,在测试结果中不仅要体现参测产品本身的质量,也要体现不同产品之间的差异。图4是参测4个产品的功能测试结果对比图,从图中可以直观地看出4个产品的差异。
4 结语
实时数据库在电力行业有着重要的应用,本文以中国软件评测中心承担的电网实时数据库选型测试为例,阐述了实时数据库选型测试内容和方法,重点针对实时数据库的特点分析测试的要点,并通过具体案例介绍了测试前期准备、用例设计、结果分析等测试过程,不仅适用于实时数据库的选型测试,对其他产品的选型测试也具有一定的参考和借鉴意义。
参考文献
[1]刘吉臻,房方,牛玉广.电力企业中的实时数据库技术[J].中国电力,2004,37(2):73–77.LIU Ji-zhen,FANG Fang,NIU Yu-guang.Real-time database in electric power enterprise[J].Electric Power,2004,37(2):73–77.
[2]孔繁钢,吴国诚.电力企业海量实时数据库应用系统[M].北京:中国电力出版社,2012.
[3]刘双喜,王翠茹.基于SOA的电力系统实时数据仓库技术研究[J].电力信息化,2008,6(10):60–63.
[4]柳纯录,黄子河,陈渌萍.软件评测师教程[M].北京:清华大学出版社,2005.
国产实时数据库 篇2
一、“碎片化”消费下的精准营销
互联网环境下的电影消费呈现出“碎片化”趋势,这一趋势促使电影营销模式重新调整,进而显现出精准营销的新特征。“碎片化(fragmentation)”是社会学领域近年来的关注热点,当代中国社会格局逐渐突破单一局面,多元化结构日趋明显,并逐渐形成了“碎片化”趋势。学者黄生民将其引入到传播学领域,“消费、品牌、媒介、生活方式也正朝着 ‘碎片化’方向发生着相应变化„„从消费者的角度来看,这是追求自我、追求个性的必然发展方向。从生产者的角度来看,这是未来产品宣传、品牌定位、媒介选择的主要依据。”[1]电影消费过程中消费的“碎片化”特征为电影营销过程中的消费者定位带来巨大困难。传统电影营销模式中大众媒体的高覆盖优势对观众的影响逐渐减弱,而诸如豆瓣、微博、知乎等个性化社交媒体却迅速、集约地针对目标观众进行有效宣传。在电影消费“碎片化”的情况下,大众传媒的平面推荐不再是观众选取电影的重要参考因素,观众自我的观影诉求才是进行观影消费源泉。在此背景下,“碎片化”电影消费带来的潜在观影群体的自然分层成为当前国产电影充分挖掘市场,积极应用大数据技术进行电影营销的关键。
现象级影片《小时代》系列就是充分应用大数据技术指导营销活动的国产电影先驱。《小时代》系列在上映之前就依托大数据技术对网络平台用户相关话题热议度进行分析,适时展开针对核心观众的营销战略:在线上宣传过程中不断强调观众期待的剧情点;不间断发布惊喜“剧透”;主打歌、主题海报先行;制造微博热门话题。以上措施在多个社交平台协同进行,通过用户的话题搜索、话题参与、话题分享三个主要环节,最终达到了联合呼应的叠加效果。2015年票房大鳄《捉妖记》同样在营销阶段融入大数据技术进行精准营销,其营销团队以线上平台为基础,通过微博热门话题造势,利用电影主创们的微博动态进行宣传,最终成效颇丰。回顾2015年累计票房过亿的国产影片,诸如《港?濉贰堆傲?诀》《夏洛特烦恼》《煎饼侠》《九层妖塔》等影片在营销过程中都广泛应用了大数据分析,“碎片化”消费下基于大数据技术的电影营销模式已渐成常态。
二、大数据支持下的电影o2o
电影o2o“除了单纯承担销售、交易的功能,还可以借助抢先预售、造势等来参与宣传和营销。”[2]电影o2o平台可谓大数据集散中心,在大数据技术支撑下拥有强大的数据竞争力,在当前国产电影营销中优势显著。电影o2o平台可依据分享和消费两个不同层次分为两大类,其一是以分享为主的信息交流平台,该类平台通过信息的交流与分享实现电影票务交易,优势在于互联网社交引导,此类平台代表有时光网;其二是以交易为主的平台,其优势在于电影票价格相对低廉,购票流程简便快捷,此类平台代表有美团电影、淘宝电影等。当前消费者对电影的主要诉求在于影片内容与社交属性,消费者不再单纯关注电影的内容、情节,同样重视在什么情境下与何人看电影,看电影成为同聚餐、唱歌一样的社交活动。基于电影o2o,在线售票与在线推广使线下宣传频率降低,实现在短时间内抓取最多用户的青睐,在降低营销成本的同时亦保证了票房收入。基于大数据支撑的电影o2o成为更加高效的营销手段,通过交易平台历史数据分析,针对不同电影的销售记录关联的不同用户相关信息,包括性别、年龄、职业、所在地等,海量数据与电影消费进行匹配关联,建立与影片相关联的用户数据库。在营销流程中更有针对地对重点人群展开精准营销。例如,影片《栀子花开》《杀破狼2》根据电影o2o平台反馈的票务数据,针对观影人群多为三四线城市的情况,将营销重点放在这些城市,而非传统的一二线城市。片方选择与o2o平台进行合作主要基于两点考虑,首先,增加首场票房和首日票房,通过“开门红”后续吸引更多消费者。其次,成功的初期票房促使院线增加排片,从而通过增加场次提高票房,例如2015年上映的《九层妖塔》《道士下山》《唐人街探案》以及2016贺岁档的《美人鱼》均与电影o2o平台展开合作,通过特价票等形式进行线上票务营销。猫眼电影是以大数据为核心驱动力之一的电影o2o代表,当前,猫眼电影以70%的占有率称霸电影o2o平台。猫眼电影在大数据建设方面有三点领先之处:第一,据猫眼电影发布的大数据报告显示,猫眼电影消费数据样本超过5亿人次,拥有最大的数据样本量;第二,猫眼电影拥有覆盖影片映前映后全部用户流程的全面观影行为剖析;第三,猫眼电影拥有数量庞大的的电影画像实例解析,能够精准分析用户群体分布及喜好,从而为电影制片方的营销活动提供有力保障。猫眼大数据通过对上映初期的影评关键字挖掘,能够及时获知用户口碑,同时保证上映前后的全程把控,这些都有助于制片方制定更加精准的宣发策略。此外,猫眼通过大数据对线上购票用户进行画像解析,进而把握不同类型电影的用户关注特征。以2015年影片《杀破狼2》为例,猫眼电影提供的大数据报告指出《杀破狼2》核心消费群体为三四线城市青年人群。片方基于该项报告为核心观影群体量身定制了营销话题,准确触达了观众兴趣点。与此同时,片方加强与猫眼电影的合作,加大了预售力度和口碑营销,最终使得影片的上座率和口碑双双飙高。电影o2o平台提供的大数据报告能够通过对数据的解析让制片方对电影有清晰认识,从而进行精准营销,确保电影票房。在未来国产电影营销活动中,电影o2o平台提供的大数据报告能够让制片方获益,同时也为提升电影行业总体水平作出贡献。
三、隐忧与反思
尽管大数据营销模式在当下国产电影市场呈现“碎片化”消费的情景下显示出独特的价值,但国产电影对大数据营销的应用切不可急于求成。过度依赖大数据进行营销,反而可能造成一味迎合消费者而导致的同质化竞争。以2015年国产电影市场为例,就出现了短时期同类型影片扎堆的现象,《港?濉贰都灞?侠》《夏洛特烦恼》《万万没想到》等收获票房成功的喜剧电影背后却存在创意不足、同质化现象严重的问题。这些影片中,有原创电影,也有网络自制剧的衍生,它们在上映之后都面临同样的窘境――被不少网友评论到,影片中总是频频出现“用烂了的万年老梗”。无独有偶,同质化内容严重的领域还有青春电影,从早些年的《致我们终将逝去的青春》到近几年的《左耳》《匆匆那年》等,依赖大数据分析得出的营销方案看似投观众所好,长期以往却造成了同质化堆积以及观众的审美疲劳,实乃过犹不及。
国产数据库复制“高铁”模式 篇3
2014年10月,IBM将开放Informix数据库源码给国产数据库厂商天津南大通用数据技术股份有限公司(以下简称“南大通用”)的消息引起了业界的广泛关注,根据协议,南大通用可以基于IBM Informix推出自有的数据库。如今该数据库正式对外亮相,这就是GBase 8t(t表示这是一款交易型数据库),它与南大通用原有的分析型数据库GBase 8a、安全数据库GBase 8s、内存数据库GBase 8m等共同构成了南大通用未来参与数据库市场竞争的产品组合。
“GBase 8t是南大通用基于IBM的Informix自主构造的面向国内关键行业应用需求的交易型数据库,它具有与Oracle、DB2等国际一流数据库产品一样的高稳定性、高性能和高可用性。”南大通用CTO武新在GBase 8t的产品发布会上表示。
GBase 8t的推出意味着我国有了一款具有自主可控能力的高端数据库产品,有了可以和这些一流数据库同台竞技的机会。据介绍,GBase 8t可胜任大并发量核心事务处理,具有完备的高可用集群解决方案;容易维护,可通过零宕机实现计划内数据库软件的升级和维护;具有完备的自我配置、自我管理、自我恢复的能力;支持云部署,完全可以部署于要求极为严苛的数据库应用环境,将为中国的数据库用户带来新的选择。
众所周知,我国的IT产业长期处于缺“芯”(CPU)少“魂”(基础软件)的尴尬局面。作为基础支撑软件的数据库就属于这里所说的“魂”之列。和操作系统一样,数据库的核心技术长久以来被Oracle、IBM等少数厂商把持,虽然国家从政策和资金等方面给予国产数据库厂商支持,然而,一直没有根本性的改变。其根本原因在于,一直以来各种国内自主可控的产品缺乏市场历练,难以获得行业核心项目的信任。很多时候不是产品的技术不行,而是根本没有机会。
而GBase 8t选择了一条不同的路,在引进、消化、吸收再创新的基础上,推出了一套自主创新、能自主可控的高端数据库产品。武新称之为复制“高铁模式”:中国高铁正是通过引进、消化、吸收、再创新走出了一条属于自己的发展之路。
“Informix是一款可以与Oracle、DB2比肩的非常成熟的产品,出道30多年来拥有庞大的用户群,赢得了用户的信任。这要比从头来开发一个自己的数据库更容易为市场所接受。”武新告诉计算机世界记者。
显然,武新的预言不虚,中国市场对GBase 8t给予高度肯定。在新闻发布会上还举行了与合作伙伴的签约仪式,这些合伙伙伴包括浪潮、华为、中标软件、东软、东方通、启明星辰等,它们将与南大通用一起共同推出整合了GBase 8t的各种应用解决方案。而在此之前,南大通用已经与这些厂商进行了紧密合作,针对这些合作的软硬平台对GBase 8t进行产品优化和适配。
为了打开市场,在发布会上,南大通用还宣布启动“GBase高校行”计划,将向一些高校免费赠送GBase 8t等软件,并提供技术指导,其用意也在于为国产数据库建立起一支人才队伍,进而打造一个更好的应用环境。
PI实时数据库综述 篇4
1 PI数据库系统模块组成
PI实时数据库是一个包含实时数据采集、数据组织、分析处理、发布浏览等模块的软件系统, 由PI服务器端模块、PI客户端模块和接口软件三部分组成。PI服务器端模块用于现场生产数据的采集、存储及维护;PI客户端模块提供对实时/历史数据的二次应用;接口软件实现现场不同控制系统和PI系统的连接及第三方软件与PI数据库的通信。
1.1 PI系统服务器端模块
全局数据服务器PI-UDS (PI Universal Data Server) 是PI系统的核心, 它提供对实时数据信息的采集和存储以及对整个系统的维护, 主要包含4个模块:
(1) 核心子系统模块主要包括:基本子系统, 用来维护数据库中测点的属性信息;快照子系统 (每个点的当前值被称作快照) , 负责判断快照是应该送到档案子系统中还是被新的快照所取代;归档子系统用来存储每个点的多时间标记测量值, 如开关量、压力、流量、温度设定值等。
(2) 网络管理器模块提供驻留在PI主结点上, 管理与各PI-UDS子系统之间的连接, 同时也负责管理PI系统与客户端应用之间的连接。
(3) PI服务器组件模块主要包括:性能方程式模块, 允许用户不必用高级语言实施复杂的计算功能;批处理模块, 以一个批量前后关系存储和读取PI系统的数据, 而不是单纯以时间轴为依据;报警服务模块, 可对PI系统中任何一个测点设置报警条件, 这些报警可送到PI系统中的事件档案中, 用户可以筛选和查看报警条件。
(4) PI系统管理工具模块主要包括:PI标签配置工具, 通过Excel创建和维护标签点;创建工具, 用于标签的创建和开关量状态表维护;PI系统检测工具, 为查看日志文件和系统信息提供更便捷通道的工具;PI接口配置工具可管理接口服务和配置文件。
1.2 PI系统客户端模块
客户端模块是基于Windows操作系统下开发的一系列客户工具软件, 用户可以很方便地以不同格式从PI数据库里读取数据, 并对数据进行分析和展示发布。
客户端模块通过PI-API函数与PI数据库服务器进行数据通讯, 通讯协议采用的是标准TCP/IP协议。PI客户端模块主要包括以下几种:
(1) PI-PB (PI-Process Book) 是一个客户端流程画面在线组态和运行工具, 可以创建和构思与现场工序相同/相似的工艺图和趋势图, 支持VBA、ODBC、Active X等技术。以流程图和趋势图的方式组织和显示来自PI实时数据库和关系数据库的数据。
(2) PI-DL (PI-Data Link) 通过在电子表格软件如Excel, Lotus系统中嵌入菜单, 实现和PI数据库系统之间的数据交换和数据管理。用户可在Excel中通过该工具直接取得服务器中的实时数据, 用于分析或改进工艺流程, 编制各种应用报表。
(3) PI-Active View是一个浏览器客户端的应用, 它允许用户将PI-PB中生成的画面在通用的浏览器中发布。
(4) PI-ODBC客户端, 支持PI实时数据库与关系型数据库进行互访, 用户可以很方便地访问外部数据库。
(5) PI-SDK (PI-API) 提供面向对象的类库、动态链接库 (函数库) 供用户开发应用程序, 用户使用该工具编程可以缩短研制开发周期。PI-API是一套可以被包括C、Visual Basic等多种语言调用的函数库, 为第三方软件提供了功能强大的编程接口。PI-SDK提供了面向对象的类库, 用户使用该工具编程可以提高开发效率, 该工具可以在VC++, VB, VBScript等开发环境下使用, 用来与PI系统进行交互。
1.3 PI系统接口软件
PI系统提供了400余个接口软件, 实现各类自动化控制系统与PI数据库数据采集功能, 支持工业标准的数据通信接口, 如OPC、MODBUS等。为优化数据采集的效率和可靠性, 通过保密协议, 实现与主流自动化厂家的底层接口服务软件, 利用PI-API为第三方软件与PI数据库的通信提供的应用程序接口。
PI系统接口软件里包含了三类程序:面向设备的数据通讯接口程序、面向PI服务器的API模块以及介于两者之间的界面程序。它的作用是:建立与数据源设备之间的连接, 读取实时数据;通过PI-API访问PI服务器, 将实时数据送入PI服务器。
PI系统接口软件里设置了例外检查 (Exception check) 环节, 根据数据的变化决定数据的取舍。只有变化量超过设定范围的数据才会被送往PI服务器的快照子系统, 成为该测点的当前值。
PI系统接口软件是实时数据进入PI数据库的桥梁, 其运行的可靠性直接关系到实时数据库的效能。为保证数据的完整性, PI的接口软件提供数据缓冲服务。当P I服务器与接口软件之间因软件、硬件升级等原因引起离线时, 接口软件可把采集的现场数据暂存起来;待P I服务器恢复正常运行后, 再把缓存队列中数据传送到PI服务器数据库中。
2 PI系统的数据流图
PI系统的数据流图如图1所示。
现场控制系统的实时数据首先被送往PI接口进行例外测试, 以对原始数据进行筛选。例外测试根据3个参数:例外偏差 (excdev) 、最大例外时间 (excmax) 和最小例外时间 (excmin) 执行。通过例外测试的数据被送往快照子系统, 成为当前值;先前的快照值经过压缩后, 被送到归档子系统。PI数据库采用旋转门压缩算法, 根据数据的变化趋势进行精度可调的有损压缩, 只提取重要数据。在历史数据查询时通过数据插值快速解压缩。
实时数据的产生具有周期性和波动性特点, 而每次磁盘操作都需要花费较长的时间, 须要对磁盘访问进行优化。PI数据库设置了事件队列和归档缓存区, 经过压缩算法过滤后的实时数据被保存在事件队列中, 由归档进程写入归档缓存。在事件队列已满并且归档进程忙的情况下, 事件队列中的数据将被写入磁盘文件, 等归档可用时再转入归档数据库。当归档缓存已满或者距离上次归档超过规定时间, 归档缓存中的数据将被写入归档数据库, 成为历史数据。
3 PI实时数据库特性分析
与关系数据库不同, PI系统的时间序列数据库规模扩展自如, 可在线存储大量准确地、一致性地运行数据达数年, 数据存储分辨率可为分钟级、秒级或毫秒级, 甚至达到微秒级, 而系统性能不会恶化。PI系统特有的先进储存算法, 保证了所提取的是能反映实际过程中的准确值, 而非推算值。此外, PI系统独特的数据库和数据基础架构, 保证了系统可在几十秒钟内完成访问一周前或十年前的数据。
参考文献
[1]石钢.PI实时数据库在电厂SIS系统中的应用[J].现代冶金, 2010 (2) :57
[2]杨源源, 王希宁.实时数据库PI在企业MES系统中的应用[J].自动化与仪表, 2009, 12:38
[3]周阳, 吴海姬, 周建新.基于PI数据库的SIS报表解决方案[J].中国电力, 2008, 6
相关文章:
实时数据采集系统方案01-12
实时数据传输01-12
用于实时大数据处理的Lambda架构01-12
实时嵌入式数据库01-12
机构投资者的异质性01-12
用电信息实时数据采集01-12
黄河水质01-12
报纸编排的发展趋势01-12
数据交换与共享平台建设01-12
系统分析师论文提纲01-12