关键词： 评价

数据实时处理（精选十篇）

数据实时处理 篇1

模糊综合评价就是用模糊数学方法对受到多种因素制约的对象作出一个总的评价。设因素集为U={u1,u2,…,un},评语集为V={v1,v2,…,vm}。评价组每一成员的个体评语矩阵为Ai(i=1,2,…,S;S为评价组成员的总数),这是一个m×n阶矩阵,矩阵元素为0或1且每一列元素的和为1。将评价组每一成员的个体评语矩阵相加,可得评价组的评语矩阵,经模糊运算即得对该对象的综合评价。

现在的问题是,为实施现场评价,需实时录入评价组每一成员的个体评语矩阵并计算评价结果。如果用普通方法录入S个m×n阶矩阵,工作量较大且不易修改数据,与实时相违。本文用可视化编程语言VB,给出模糊综合评价的实时数据处理方法。为说明问题,个体评语矩阵为4×6阶矩阵。

2 数据处理方法

设置标签控件数组labds(24个)排成4行6列,用于录入个体评语矩阵和显示已录入的评语矩阵。根据个体评语矩阵由0或1组成的特性,将标签控件数组的caption属性设置为一块翻板,其值正面为1,反面为0,并初始置0。单击标签控件数组(翻板),改变其值(正反面),就可完成个体评语矩阵的录入和修改工作。我们也称此数据录入方法为数据翻板。标签控件labdss其caption属性用于动态显示已录入个体评语矩阵的总数。设置命令按钮控件4个,其caption属性分别为录入、清零、显示和退出。单击录入命令按钮控件,若数据满足条件则录入一组个体评语矩阵并累加;反之,对列和不为1的列标背景显示红色,提示数据错误,重新录入。显示命令按钮控件用于显示已录入个体评语矩阵的总数。窗体运行如下图所示。

3 程序代码

Dim flag(23)As Integer

Dim dsa(23)As Integer

Dim dsb(5)As Integer

4 结论

本文为模糊综合评价提供了实时数据处理方法,具有直观、方便、快速、准确等优点,有助于模糊综合评价电算化

摘要：本文用可视化编程语言VB,给出模糊综合评价的实时数据处理方法,该方法界面友好直观、录入数据快速、准确。

关键词：模糊综合评价,实时数据处理

参考文献

[1]王利华,宋连天编.模糊论方法学.北京:中国建筑工业出版社,1988.

数据实时处理 篇2

Query = Function(All Data)

该等式的含义是：查询是应用于数据集上的函数。该定义看似简单，却几乎囊括了数据库和数据系统的所有领域：RDBMS、索引、OLAP、OLTP、MapReduce、EFL、分布式文件系统、NoSQL等都可以用这个等式来表示。

让我们进一步深入看一下函数的特性，从而挖掘函数自身的特点来执行查询。

有一类称为Monoid特性的函数应用非常广泛。Monoid的概念来源于范畴学（Category Theory），其一个重要特性是满足结合律。如整数的加法就满足Monoid特性：

(a+b)+c=a+(b+c)

不满足Monoid特性的函数很多时候可以转化成多个满足Monoid特性的函数的运算。如多个数的平均值Avg函数，多个平均值没法直接通过结合来得到最终的平均值，但是可以拆成分母除以分子，分母和分子都是整数的加法，从而满足Monoid特性。

Monoid的结合律特性在分布式计算中极其重要，满足Monoid特性意味着我们可以将计算分解到多台机器并行运算，然后再结合各自的部分运算结果得到最终结果。同时也意味着部分运算结果可以储存下来被别的运算共享利用（如果该运算也包含相同的部分子运算），从而减少重复运算的工作量。

4.Lambda架构

有了上面对数据系统本质的探讨，下面我们来讨论大数据系统的关键问题：如何实时地在任意大数据集上进行查询？大数据再加上实时计算，问题的难度比较大。

最简单的方法是，根据前述的查询等式Query = Function(All Data)，在全体数据集上在线运行查询函数得到结果。但如果数据量比较大，该方法的计算代价太大了，所以不现实。

数据实时处理 篇3

关键词 实时数据库 数据采集 系统设计 实现

中图分类号：TP392 文献标识码：A

这些年，企业进行信息化建设是我国一些大型企业所面临的重大问题。自从新世纪以来，烟草企业也逐渐开始信息化建设。随着MES 系统逐渐被人们认可，在接下来的几年之内，卷烟企业进行战略性调整和信息化建设是关键的工作，这直接决定了中国烟草工业的命运。

1 数据中心框架结构和设计

1.1系统设计的目标

设计出来的实时数据采集系统达到的效果如下：能够建设符合各个领域里面的决策系统；集中了很多小规模范围里面的应用；能够有效分担其它的事物处理系统的负担，提高决策和事物处理的效率。这个系统建设是以公司的业务流程建立的一个管理机制，是可以提供准确相同的分析数据。整个系统采用的是大量数据集中在一起的方式，这样就可以实现数据的自动获取和积累，还有就是业务数据和信息在整个行业里面实现共享。这个系统还能够提供一个相当强大的数据处理平台，能够满足不同种类业务的分析。整个系统的建立还能够提高工作的效率和准确性。这个系统能够满足现代的企业管理模式，这样就可以使得业务流程化和规范化。这样就可以通过智能的商业技术对集团的信息进行分析预测，还可以实现业务的自动化，为企业领导分析决策提供一个准确的依据。

1.2系统的性能指标

在进行实时数据库系统设计的时候需要保证的系统性能如下：（1）可靠性和及时性，设计出来的系统必须能够二十四小时进行工作。这样就可以保证系统在任何情况之下都可以进行资源的分配，这样就可以保证各个板块的功能能够正常进行。（2）系统的整体性和效率性，设计的系统需要是一个高效的一体化管理系统，系统需要能够容纳大量的数据，而且数据的更新还需要在短时间之内完成。整个系统需要在短时间之内完成对数据的处理，而且还需要高效率高质量完成。（3）系统需要先进和实时，整个系统可以运用充分的资源，然后根据客户的要求，把高的工作效率和好的经济效益当作是主要要求，在这个基础上，为客户提供一系列业务服务平台。（4）系统的安全性和实时性，系统采集的数据安全是十分重要的，在系统的设计过程当中，设计人员需要采取严格的技术来对技术进行保密。设计人员需要通过保密技术来保证用户身份的真实性，数据的完整性。在网络连接良好的情况之下，对每一个IP地址请求的操作处理时间需要控制在一分钟时间之内。（5）整个系统需要支持集群技术，设计人员可以通过多个服务器来完成一个集群，当服务器上面的用户达到最大的时候，其它的服务器会开始工作。（6）整个系统需要有一个完好的信息输出端口，整个系统的目标是为了对数据进行分析，而分析的目的是为了借鉴使用。为了能够进行应用，就需要把分析得到的结果数据转化成不同的输出文本，有的人需要把它变成演讲文稿，有的人就需要获得一个Excel数据。一般的开发格式有Excel， PPT， HTML等。

2 系统的结构

烟草企业对过程的监控和数据出来了是通过紫金桥实时数据库来完成的，它把现场的各种数据集中在一起，这些数据包括了生产上面的数据、设备的数据和质量数据等，在此同时整个数据库还包括一个完整的数据查询和分析功能，这可以为企业的生产和决策提供一个可靠的依据。还有生产过程出现状况的时候，系统还能够随时发出警报，这样就能够很方便采取处理解决的措施。整个系统还需要提供各种接口，比如说S Q L 接口、AP I接口等，通过这些接口就可以把各种组件连接到一起，这样就可以实现数据库能够正常工作。

3 实时数据库的功能

实时数据库的作用是对烟草企业的生产过程实施监控管理，但是它在这个系统的作用不只是储存数据，它还需要处理现场采集获得的数据，对获得的数据进行加工分析，一旦出现异常情况发出警报。它需要实现的功能如下：（1）事故的追忆功能。这就需要系统对和事件有关的状态进行记录，这样在事件产生之后就能够进行原因分析了。事件的数量、时间范围等都是可以自由设定的。（2）数据的压缩备份功能，中心的服务器刷新的时间是1 s ，在这样的情况之下，数据库不进行压缩的话是无法容纳这么多数据的。这就要求数据库进行压缩运算，这就可以解决数据量大的问题。（3）物料平衡，系统需要对实际的投料数据、收率数据等进行计算，然后对不同的时间数据进行统计分析。实时数据库当中的数据也是可以来自现场的，也可以通过人工输入的方式。（4）趋势分析，趋势功能主要包括了用户可以选择查看一些含有PID 数值的趋势图，也可以把趋势图打印出来，或者是把图片保存成图片的格式。用户还可以输入开始和结束的时间来查看数据的走向。趋势图如图1 所示。（5）系统还需要有班组考核功能，主要通过对重要工艺数据的追踪，发现生产过程当中的问题，然后提出改进意见。（6）系统还需要有统计分析功能，这样就可以全程监控产品质量。（7）系统还需要有报表系统，这样就可以制作各种各样的报表。

4 总结

考虑到我国烟草企业的规模大，所以系统的点数要多，这样就要有好的数据采集和储存，还需要制定大量的趋势图和报表。实施数据库需要有良好的性能和繁多的数据接口，这样不仅能够满足项目要求，还能够对烟草企业做出评价，推动烟草企业的信息化发展。

参考文献

[1] 张俊良，薛振兴.烟草企业数据中心系统的设计与实现[J].安徽：电脑知识与技术，2009（5） ： 2316.

[2] 付文，范广辉.实时数据库实现烟草行业过程管理实时监控系统[J].江苏：工业控制计算机，2009（3） ： 17-18.

[3] 徐毅博.烟草一号工程工业数据采集系统设计与实现[J].北京：硅谷，2012（7） ： 170-172.

物联网感知层实时数据处理技术研究 篇4

1 物联网数据的特性

1.1 海量性

物联网动态网络的形成依靠的是若干个无线识别的物体彼此的连接和结合, 其中包含了大量的传感器节点, 这些传感器节点不间断地产生新的采用数据且种类丰富多样, 除了数值采样数据之外, 还包括多媒体采样数据。在生态监测等实时监控领域, 无线传感网需要对多个节点的多媒体信息进行记录, 其数据量之大超乎想象, 每天可高达1TB以上。不仅如此, 在一些应急处理的实施监控系统中, 数据具有实时、高速的特点, 这足以体现出数据的海量性特征。

1.2 实效性

被感知的事物处于不断的变化发展当中, 因此对于物联网的数据采集工作要求是随时进行的, 需要定期向服务器发送数据。由于物联网数据海量性的特征, 数据更新速度快, 无法做到长期保存, 只有不停地采集新数据才能够实时掌握所感知事物的现有状态。因此, 系统的反应速度或相应时间决定了系统的可靠性与实用性, 这对于物联网的软件数据处理系统提出了更高的要求, 也突出了其具有实效性的特点。

1.3 异构性

基于传感器件在物理特性、产品特性以及系统设计等方面的差异, 其采集生产的数据在类型、进度与数理方面也不尽相同, 这样一来, 物联网数据处于多种模式并存的状态, 对其统一带来了一定程度的困难。

1.4 多维性与关联性

多维性是物联网数据中常见且必要的特点之一, 它能够有效区分视域普通的互联网数据。物联网系统在对原始数据进行采集的过程中, 包含时间、空间、设备戳三种默认的状态属性。与此同时, 物联网的物理对象之间即使存在着不同的管理属性, 但他们仍然是相互关联的。物联网数据与数据属性是相互依存、缺一不可的, 一旦离开数据属性, 物联网数据的代表意义也不复存在。由此可见, 在数据的传输、储存于使用过程中, 注重属性的完整性与正确性是十分必要的。

2 物联网感知层实时数据处理技术研究

2.1 IPV6

依靠数字系统与物理系统的有效结合, 物联网技术通过对物联网的整合, 实现对整个物质世界进行智能化的管理与控制。物联网采用的RFID射频识别技术, 在使用过程当中要以得到特定物体的标志码为前提, 而我国目前互联网使用的仍然是IPV4的地址寻找方式, 无法满足物联网数据海量性特征的要求, 因此, 对于IPV6的应用是目前不容忽视的问题。但是, 想要实现从IPV4向IPV6的过渡还需要漫长的时间, 同时, 对IPV6的使用还需要考虑目前与IPV4系统之间兼容性的问题。

2.2 中间件技术

由于中间件能够有效解决底层操作系统的复杂性, 因此其作为一种数据处理平台被普遍使用并且被大家广泛熟知。不仅如此, 作为操作系统和应用程序之间的软件, 中间件技术还能够有效处理物联网数据的异构性。

2.3 云计算

不同于人与人之间的通讯, 物联网所产生的数据业务具有海量性的特点, 不仅如此, 物联网已经渗透至人类生活和社会的方方面面, 因此需要云计算来配合处理。云计算自身具备动态可拓展性、资源按需分配的特点, 恰好符合物联网业务的实际需求, 也是提高解决物联网海量数据的重要环节。物联网分为感知层、接入层和应用层三个部分, 其中数据采集的工作集中在感知层和应用层, 最后传送至数据中心。云计算自身所具备的特点与服务性能够有效针对物联网数据海量性的特征, 通过云存储和服务技术加强对数据采集和后期管理工作。

2.4 超级计算机

随着科学技术的飞速发展, 为了适应物联网工作的实际需要, 高性能、智能化的计算机逐渐成为人们的迫切需要。计算机的核心任务是高速度、大数据、高精准度的计算, 由于物联网数据具有海量性, 传统的计算机已经无法胜任物联网工作的要求, 只有超级计算机才能满足对于物联网数据的分析与处理。在物联网感知层实时数据处理工作中, 只有将超级计算机与云计算有效结合, 还能够有效推动物联网的发展。

2.5 系统架构

物联网应用工作的第一步是对数据进行采集, 继而将数据进行传输。只有严格按照顺序对采集和传输工作进行规范, 才能够实现系统对数据加工和处理的有效保障。传感器、读写器以及节点等硬件设备的建设影响着数据采集和传输的工作, 只有保证物联网系统操作的长期性、有效性, 才能够使得物联网被有效利用, 从而实现有效地传输数据的目的。基于此, 系统硬件的安全性、抗干扰性以及低功耗性能都必须得到有效保障。系统架构的有效建立是确保系统成熟可靠的基本前提。

3 结束语

终上所述, 对物联网感知层实时数据处理技术的研究是推动整个物联网发展的关键环节, 其重要性不言而喻。在充分考虑到物联网数据特点的基础上, 对感知层实时数据处理技术进行不断的改革与创新, 能够更好地满足物联网海量数据处理的要求, 从而进一步推广了物联网应用领域的延伸和扩展。

参考文献

[1]刘仰华.物联网数据处理技术[J].信息与电脑 (理论版) , 2012, 07:87-88.

[2]张燕.基于物联网海量数据处理的数据库技术分析与研究[J].计算机光盘软件与应用, 2014, 19:97-99.

[3]张炎, 向罗勇.物联网数据分析及处理软件的设计与实现[J].数字通信, 2013, 03:30-33.

数据实时处理 篇5

读写分离将读和写两个视角进行分离，带来的好处是复杂性的隔离，从而简化系统的设计。相比于传统做法中的将读和写操作放在一起的处理方式，对于读写操作业务非常复杂的系统，只会使系统变得异常复杂，难以维护。

7.总结

本文介绍了Lambda架构的基本概念。Lambda架构通过对数据和查询的本质认识，融合了不可变性（Immunability），读写分离和复杂性隔离等一系列架构原则，将大数据处理系统划分为Batch Layer, Speed Layer和Serving Layer三层，从而设计出一个能满足实时大数据系统关键特性（如高容错、低延时和可扩展等）的架构。Lambda架构作为一个通用的大数据处理框架，可以很方便的集成Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组件。

★ 数据处理员简历表格

★ 实时户口迁移申请书

★ gps数据处理实训心得

★ 测斜数据处理有哪些要点？

★ 陕北煤田地震数据处理技术初探

★ 组织架构调整通知范文

★ 浅谈网站架构的优化

★ 物业公司组织架构及岗位职责

★ 用于表白的诗句

数据实时处理 篇6

关键词：实时线损;大数据;采集系统

引言

近年来随着科技的进步、電力技术的不断升级，以及智能电网的建设与运用，实现了高质量、高效能的数据通信。目前公司的居民用户智能电表已基本达到全覆盖，使得公司拥有了强大的用电数据采集能力，为公司实现线损的实时管理奠定了基础。

1  配电网线损面临的难题

1.1  人为统计线损数据量大、效率低

近几年，随着社会经济的高速发展和人民生活水平的逐步提高，电力客户增长迅猛，配电网线损统计工作的工作量也是日益增大。加上，线损本身就是一个涉及部门比较广泛的工作，它反映了电力企业从规划设计阶段到经营运行阶段的全过程管理，三集五大体系改革使得各个部门之前的配合协作还需要一段时间去适应，在相关流程、工作方法等方面还存在很多不足。在这种情况下，配电网线损工作开展有一定的困难、且效率不高。

1.2  供售电量的抄表时间不同期

供电量的抄表时段和售电量的抄表时段不一致，是造成统计线损率与实际线损率偏大的主要原因，它会造成统计线损率在不同月份的虚增或虚降，在遇季节性负荷、节假日等特殊情况时比较显著。这是公司普遍存在的现象。

部分县公司还存在单双月抄表现象。单双月抄表存在单双月抄表户数不均的情况，这也会造成统计线损与实际线损的偏差。

1.3  配网运行方式的多变性

为提高供电可靠性，配网线路设计了分段和联络线路，线路末端进行手拉手形式的联络[1]。因此，配网的运行方式的改变，将影响10kV分线线损的真实统计。如果配网运行方式变化频繁，而又无法获得实时变化的供电量，线损统计时就会出现一条线路线损率明显偏高，而另一条线路线损率偏低甚至出现负损的现象。

1.4  营销业务系统与现场的线台户挂接关系不一致

目前线路的售电量是根据营销业务系统内的线-台-户拓扑关系进行统计的，如果现场和营销业务系统中的拓扑关系不一致，就会造成供售电量的统计范围不一致，那么统计出来的线损明显是与实际不符的。

2、实现实时线损统计分析

电能量采集系统的建设与应用，实现了实时线损的统计分析，解决了传统线损分析以月为周期，线损分析周期较长，且受供售抄表时间不一致和季节性因素影响的难题，从而减少了人为因素引起的线损波动。

电能量信息采集系统主要由多功能电能表、采集终端和采集主站构成，采用通讯和安全加密等技术实现用电信息和控制命令的采集和传输[2]。随着电能量信息采集系统的不断建设，将逐步实现对10kV线路、专变、公变、电力客户进行采集终端或集抄系统的安装，公司正在朝着全采集、全覆盖的目标前进，以尽早实现市公司范围内每日准确计算10kV分线和400V台区的线损率。

当然，在采集系统的逐步推进、线损功能实用化的过程中，也遇到了一些问题，如营销业务系统中未建立变电站10kV出线关口档案、线台挂接关系与现场不一致、变电站10kV出线关口、台区关口CT变比与实际有出入、营销业务系统台区关口档案不规范等等。

3、以电能量采集系统为技术支撑、稳推配电网实时线损管理

为了更好的运用电能量采集系统，解决在采集系统推进过程中遇到的问题，更加科学的管理配电网线损，还需继续做好以下两个方面的工作。

第一方面要尽快实现营销与配网信息共享、完善营销基础档案。随着城市建设的步伐，配网建设也在不断跟进，新建、改接线路相应较多，但营销系统内用户档案没有及时按实际运行情况进行变更，以至用户档案与现场实际运行不一致，造成分线售电量统计不准确，从而出现高损及负损情况。在日常工作中，应加强配网与营销的沟通联系，避免营配数据信息更新不一致而导致分线线损异常。

另外，借营配数据清理机会，清理存量数据，确保“站-线-公变（专变）-客户”数据统一、准确[3];规范新增数据，特别要对营销业务系统中的变电站、线路、台区命名规则进行规范要求，以利于变-线-台关系管理。

总之，营销基础资料的准确性是一切工作的基础，一定要尽可能的提高营销数据质量。当然，工作方式应多样化，也可以根据采集系统中的10kV分线线损监测情况，来指导一些具体的工作。

第二方面要尽快实现全采集、全覆盖，保持较高采集成功率。采取多种渠道获得未装终端台区、需更换智能表才能安装终端的台区、客户等，确保终端全覆盖;并经常对采集系统中不在线、在线抄不起数据的终端进行维护，力争采集成功率100%。

全采集、全覆盖及保持较高采集成功率是实现实时线损的基本条件，实现了实时线损统计，才可以对配电网的线损做出准确的分析判断，保证掌握到及时的、正确有效的数据，才能确保配电网系统的高效运行。

4、结束语

随着社会的不断发展进步，电力客户越来越多，也就意味着电力企业掌握的数据量越来越大，如果线损专责还不能从填报线损报表中解脱出来，那就不能与时俱进了。我们要将科技的力量和人的智慧充分融合，建设好电能量信息采集系统，稳步推进实时线损管理工作，为将来面临更大的挑战做好充足准备。

参考文献：

[1]陈国锋.配电网线损分析及降损技术管理措施[J].机电信息，2010，（09）：23-24

[2]赵岩，郭锐，郑建华.基于用电信息采集的配网在线监控预警系统[J].电工文摘，2014，（05）：41-43

数据实时处理 篇7

1 Map Reduce并行计算框架

Google提出的Map Reduce是一种处理大数据的并行编程模式,它是一种能够用于大规模数据集的并行计算软件架构。用户只用考虑怎么样实现Map和Reduce这两个过程来达到满足需求。Map Reduce包括Map(映射)和Reduce(规约)这两个函数,Map函数接受一个输入对,对原始的数据进行映射操作,Reduce函数接受一个中间key和与它相关的value的值集合,对Map操作过程中产生的中间结果进行化简,也就是通常意义上的合并。Map和Reduce操作可以并行运行。

2 Map Reduce存在的主要问题

Map Rdeuce与传统分布式的处理程序相比,它更能封装了并行的处理、本地化计算、对错误的容纳处理、负载均衡等细节性方面,并且为之提供了一个虽然简单但却强大的接口川。不仅如此,Map Reduce还具有一定性的通用性和扩展性,因为由普通PC'构成的庞大计算集群存在,大大实现良好性能的同时还降低了费用。尽管有如此的优点,但是在实际使用操作过程中,根据一些企业和用户提出的需求,Map Reduce框架仍然存在一些不足。

第一是主节点的可靠性问题。因为Mapreduce采用的是主从架构,而在这个环节中主节点的可靠性对整个系统的可靠性具有关键性作用。在主节点中,Job Tracker进程的任务主要有对作业的管理和分发,并且对作业的处理顺序进行调度和调整,集中监测集群中节点的集群资源使用情况和存活状态和等。事实上,在操作过程中,就目前存在的框架的主节点运行并不可靠,一旦出现单点性的故障问题,系统的可用性将会受到不同程度的影响。

第二是可预测的延迟问题。可预测的延迟问题主要是对提交作业的响应速度,这也是我们企业以及用户十分关心和重视的问题。通常这一问题的出现,原因主要有三个:一是通信信号的延迟。Job Tracker进程在进行作业的分配前,需要了解集群中各个工作节点的负载、资源情况。Job Tracker进程与Task Tracker进程的通信,会产生一定的时间上的延迟;二是对中间结果处理的延迟。Map阶段产生的中间结果最先开始要写入本地磁盘,然后Reduce阶段再对这些本地磁盘上的数据进行远程的读取,在这一过程中,磁盘的读写速度也将会对延迟产生一定影响;三是作业处理的延迟。由于一些作业调度算法的不够合理,所以会影响集群并行性的发挥,使得一些小作业并不能及时被解决,这样就加深了作业处理延迟。

Map Reduce存在的这些问题,很多学者也做了大量的研究,现本文就以解决可预测延迟这个问题进行归纳和总结,并对缓解这个问题的相关实时处理优化技术进行阐述。

3 实时处理优化

随着企业业务节奏的加快,需要分析的实时信息的数量也迅速增长,因此,为了更好地满足大规模的数据流的实时处理需求,Map Reduce必须具有很强的实时性处理能力。但是在现有的实现运行机制中,出现对读取大量中间结果的效率不高,特别是在Map工作机上发生的本地写入操作中,也就是把中间结果写入位于本地磁盘的中间文件中,以及Reduce工作机对此中间文件的远程读取操作过程中,都会对Map Reduce的读取数据实时处理造成一定程度上的影响。在大量的实际应用中,大规模的中间文件需要共享中间节点的数据,而在此过程中产生大量的磁盘读写操作和多线程并发读写操作,会大大降低Map Reduce的整体处理速度。

为提高中间结果的读写效率和中间结果的高并发性能,有学者提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存结构[2]。内存Hash B树对不同负载均有较高的读写性能,为了进一步提高并发查询的性能,采用了概率构造算法和多路搜索算法。并且针对SSTable文件结构中的读写操作开销不均衡的问题,建立了key/value中间结果外存文件,并改造了外存读写策略,其次对读写开销进行估算,使得外存读写得到了优化。

那钦等人针对中间节点有大量数据需要共享这个问题,提出了对中间数据的存贮与传输优化的解决方案。[3]中间数据的存贮主要由Map工作机上的中间数据存贮模块和Reduce工作机上的中间数据存贮模块负责共同完成,并且通过管理磁盘读写操作进行性能优化,将中间数据能够存储到内存中。这样中间数据的传输则依靠中间数据传输优化模块完成。这个模块可以对中间数据在各个节点之间的传输速度进行优化处理。将Map工作机内存中的中间文件以更快的速度和更少的网络连接数推送到Reduce工作机,这样就加快了整体处理速度。也有专家提出对于中间结果数据的存储优化。他认为,实现了一个处理Map Reduce迭代计算的分布式迭代处理系统Twister,该系统从工作机的本地磁盘上读取相关数据,处理后将中间结果存储在分布的工作机本地内存中。采用该结构,实现了对中间结果的复用,也极大提高了大规模数据处理的实时性能。

Map Reduce在对于诸如在线查询或咨询等短作业这种问题处理时,它对实时性提出了更高的要求,可是就目前现有的一些框架对作业的setup/cleanup处理、Task Tracker通过心跳检测获取首次任务的方式都可能会带来一定的推迟。顾荣等人在这几点点上对Map Reduce进行了优化并提出自己的看法。也就是说在作业初始化结束后,J ob Tracker能够直接对此作业执行setup;当该作业完map/reduce任务后,同样由Job Tracker对此作业执行cleanup。那么首次任务的获得就由Task Tracker“拉”模式转变为Job Tracker向Task Tracker"推送”任务。[4]该文献在这两方而的优化,大大缩短了短作业操作执行延迟,并且有效提高了Map Reduce对短作业的响应速度。

4 结束语

在当今大数据流时代下,Map Reduce是进行大量数据处理的强有力武器。而针对Map Reduce这种编程模型和实行相关机制,现有的相关优化研究主要分为三大方向:处理性能优化、底层架构优化以及服务模型优化。其中针对处理性能的优化,本文主要就实时处理相关优化技术进行综述。但是在实际的应用过程中还存在不少问题,因此,在将来的Map Reduce的发展过程中,实时性、故障恢复机制和相关费用问题应该是Ma⁃p Reduce进一步深化研究和优化的方向,也是我们应该关注的重点。

参考文献

[1]Borthakur D.Hadoop Distributed File System[EB/OL].

[2]亓开元,韩燕波,赵卓峰,等.支持高并发数据流处理的mapre-duce中间结果缓存[J].计算机研究与发展,2013,50(1):111-121.

[3]那钦.集群引擎Map Reduce的中间数据存贮与传输优化的研究与实现[D].哈尔滨:计算机研究与发展,2013,50(1).

[4]顾荣,严金双,杨晓亮,等.Hadoop+Map Reduce短作业执行性能优化[J].计算机研究与发展,2014,51(6):1270-1280.

数据实时处理 篇8

PDA (Personal Digital Assistant) , 字面翻译是个人数码助理, 作为一种新兴的电子智能产品, 是数据采集的理想载体[1]。PDA系统具有便携、快捷、方便地对现场采集数据并进行计算等特点, 在公路测量和桥梁检测等方面有着广泛的应用。测绘的行业特点, 使得许多的测绘工作需要在野外进行, 人工数据处理的速度远远达不到工程进度的需要, 且纸质手簿记录数据十分繁琐, 不能提示拼写错误。PDA的开放性, 使得用户可以根据自己的需要, 开发适合自己的软件, 在PDA上进行安装, 让PDA完成特定的功能。工业或工程产品在制造或安装过程中, 经常需要对其制造或安装精度进行检测, 常用的检测方法为高精度全站仪极坐标法、前方交会法等。目前, 外业观测数据多采用纸质手簿记录, 由记录人员现场记录测量数据, 再将数据输入到计算机内, 利用相关测绘软件进行内业计算。这种外业测量与内业计算分开进行的方法, 不能实现现场的实时检测, 甚至会影响到工程进度。本文研究了基于PDA的外业数据处理和实时数据处理的方法, 实现外业数据的记录、现场处理和有关分析, 及时报告检测结果, 这样将极大减少作业量, 提高工作效率。

2 坐标转换模型

以钢箱梁外形规格检测为例, 在检测过程中, 为了测量的快捷, 经常采用自由设站的模式观测各个角点坐标, 然后进行坐标转换, 转换到统一的坐标系后, 将观测坐标与设计坐标进行比较, 判断产品的合格性。测站的平面坐标通过相似变换进行坐标转换, 转换过程可分3步进行[2]:

1) 坐标系旋转。

首先将原始坐标系旋转一个角度a, 使旋转后的坐标系与目标坐标系平行, 则[x, y]S在旋转后的坐标系下的坐标为[x, y]R:

2) 坐标系平移。

再将旋转后的坐标系平移[Δx, Δy], 使平移后的坐标系与目标坐标系的原点重合, 则[x, y]R在平移后的坐标系下的坐标为[x, y]M:

3) 尺度修正。

最后将平移后的坐标系进行尺度修正, 使修正后的坐标系与目标坐标系统尺度一致。设k为尺度因子, 则[x, y]M在修正后的坐标系下的坐标为[x, y]T:

综合上面3步, 得:

通过解算转换参数A, B, C, D来进行坐标转换。

利用坐标系之间的公共点, 建立间接平差误差方程式:

根据最小二乘原理:

求得转换参数的平差值:

3 PDA结合全站仪作业模式

“内外业一体化”要求测绘工作者在完成外业采集数据后, 能快速、准确地计算出测量结果数据。这种测绘模式, 要求数据采集、数据存储、数据处理、结果输出的一体化。利用PDA作为平台, 以嵌入式语言编写测量数据的自动采集、存储、处理的相关软件, 将PDA作为电子手簿。根据不同的工程需要, 可以设计出符合实际测绘工作需要的产品[3]。PDA结合全站仪的测绘模式见图1。在这个过程中, PDA起到了一个很大的协助作用, 是数据采集、数据处理、数据输出的载体。图2为基于PDA的数据采集程序的流程图。

4 应用实例

本文中采用鄂东长江公路大桥钢箱梁制造第一轮测量的三组数据为例, 一组是固定测量坐标系统中的观测数据, 另外两组是任意设站数据。利用这三组数据, 对基于PDA开发的电子手簿进行了测试, 主要分数据采集、数据处理和坐标转换三个大模块。

数据采集用于现场记录观测数据, 用电子手簿代替纸质手簿, 实现自动计算测量限差功能, 及时发现现场实测中的粗差, 减少测量的返工率。数据采集的界面如图3所示。

采集的数据为观测的距离和角度值, 数据采集后, 进入到【坐标计算】界面, 先导入之前的【数据采集】界面保存的观测数据, 再计算出每一站的坐标, 界面如图4所示。坐标计算后, 要将不在固定测量坐标系中的坐标转换到固定坐标系中, 因为坐标转换利用的是公共点法, 必须保证有足够的公共点。如果某个任意站不是和基准站有公共点, 而是和其他任意站有公共点, 要通过公共点进行传递, 最后传递到固定坐标系中。坐标转换的界面如图5所示。

通过坐标转换后的所有钢箱梁角点坐标位于相同的坐标系内, 即可与实际的设计坐标进行比较, 判断产品的合格性。

5 结语

全站仪观测速度快, 精度高, 结合PDA应用程序, 可以快速采集现场数据, 提高工作效率, 达到内外业一体化。利用嵌入该程序的PDA, 可以在钢箱梁检测现场实现数据的采集、处理, 从而省略了检测外业到内业的作业过程, 提高了工作效率。在检测现场, 将测得的几何控制点坐标与其设计坐标进行比较, 必要时进行坐标反算, 可以对钢箱梁的制造精度进行实时分析和评价, 为控制钢箱梁的制造质量提供依据。

摘要：为了解决现场数据处理不及时的问题, 研究了利用PDA完成数据采集、坐标计算、坐标转换到坐标反算的作业模式, 并用钢箱梁制造检测的实测数据, 对开发的程序进行了测试, 论证了该方法的可行性。

关键词：PDA,坐标转换,数据处理

参考文献

[1]宋晓明, 冯晓, 唐代华.路基施工检测数据处理PDA系统[J].重庆交通大学学报 (自然科学版) , 2008 (27) :941.

[2]李剑.平面坐标转换计算程序的开发及应用[J].勘察、测绘与测试技术, 2008 (3) :44-43.

数据实时处理 篇9

随着科学技术的发展及数据采集系统的广泛应用, 对数据采集与信号处理系统提出了越来越高的要求。传统方法通常采用单片机或者DSP作为核心芯片, 由于单片机的时钟频率相对较低, 运行软件的时间占采用时间很大的比例, 很难适应高速采集系统的要求。DSP运行速度虽然快, 但是不能够完成外围的硬件逻辑控制。FPGA时钟频率相对比较高, 延时小, 因而可以完成高速数据的采集、缓冲和传输控制。USB接口具有热插拔、速度快和外设容量大以及便携等特性。本文设计并实现了此款便携式高速、高精度数据采集系统。

2 系统硬件结构

FPGA芯片采用Xilinx公司的Spartan3E系列中的XC3S1600E, 该芯片的具有系统门数为150万门, 分布式RAM容量231K, 块RAM容量648K, 专用乘法器数量为36, DCM数为8, 最大可用I/O及最大差分对数分别为376和156。ADC采集模块采用了TI公司的具有Ref引脚和伪双极全差动输入的16位2MSPS并行ADS8412。用以实现16bit的A/D分辨率及大于1MHz的A/D转换频率的双通道并行数据采集与处理。

该系统可完成两路中频信号的采样处理, 单路信号加入到到模数转换器中, ADS8412将模拟信号转换为16bit的数字信号。通过FPGA的地址译码分时选通AD1和AD2实现双通道的由AD到FPGA内部FIFO模块的。相应的信号处理算法在FPGA内部模块中实现。系统总体结构框图如下:

3 模拟ADC的选取

本系统采用的ADC芯片是德州仪器公司推出的一款2Msps采样速率的16位逐次逼近模数转换器ADS8412。该ADC芯片带有内部时钟和基准电压源, 无丢失码, 2MHz采样频率时的功耗为175m W, SNR为90d B。有16位和8位可选择接口, 本系统设计采用16位的总线输出, 转换时钟由芯片内部产生, 360ms的转换时间可保护2MHz的数据吞吐, 模拟输入信号由+IN和-IN两个引脚提供。

4 FPGA以及外围芯片电路配置

Spartan-3E是Xilinx在Spartan-3基础上, 针对用户对更低成本的需要推出的一款性价比较高的FPGA, 主要满足要求有效逻辑和大量资源的逻辑集成、DSP协处理器和嵌入式控制等应用。由于该系统约需要800K存储空间, 因此选择XC3S1600E这一款的芯片, 芯片的各个内核时钟信号均是利用DCM来实现。配置方式采用主并行配置方式, FPGA驱动PROM CLK。

5 USB接口电路结构

USB2.0接口芯片采用CY7C680132。该芯片将一个增强型8051内核、智能USB串行接口引擎、USB收发模块、存储器、串行口等部件集成在一起, 减少了芯片的接口时序, 使其易于操作。USB接口结构框图如下:

6 数据采集与处理流程

由于本系统应用中要求对两个通道中的数据采取不同处理方式。AD1采集荧光信号, AD2采集多普勒信号。当系统启动后两个通道同时进行进行2K的数据循环采样, 于此同时对AD1中的数据进行50个连续数据累加检测, 当连续50个数据的和大于事先设置好的触发门限时, 两个通道都开始进行6K数据的采样, 由于保存了触发前的两个通道的2K数据, 所以最后两个通道中的数据都为8K, 最后对AD1中的8K采样信号求最大值和最小值, 计算出中间值, 通过对AD1中的数据与中间值进行比较得到其下标地址, 进而计算出脉冲中间值的宽度。在AD2中对采集的8K数据进行快速傅里叶变换得到其频谱, 最后将以上计算后得到的数据上传到主机进行显示。

结束语

本文主要介绍了基于芯片FPGA XC3S1600E的USB接口数据采集系统, 通过了以上工作开发了适用于中频速度的具有广泛适应性的数据采集系统。该系统的创新之处在于将FPGA的高速数据处理与USB接口器件的高集成度及便携等特点有机结合。主要应用于基于激发荧光和激光多普勒技术的浮游植物粒径分布现场在线监测系统中的数据采集与处理部分, 在实际应用中根据执行任务不同可以随时更换软核模块, 增强了系统的灵活性。

摘要：本文主要介绍了一种基于FPGA的USB总线技术的双通道数据采集系统设计方案, 该方案采用Spartan3E XC3S1600E作为核心处理芯片, 使用FPGA内部的软核及状态机把各个模块有效的连接起来。

关键词：Spartan3E,XC3S1600E,FPGA,USB,实时数据采集处理

参考文献

[1]吴振宇, 常玉保, 冯林.基于FPGA和USB2.0的高速数据采集系统.仪器仪表学报, Vol.27No.6June.2006.

[2]Fast Fourier Transform Data Sheet.Xilinx.Inc.2003.

[3]皮代军.基于FPGA的高精度实时数据采集系统设计.贵州大学, 2010.5.

[4]周俊容.高速数据采集系统.电子工程师, 2005.5.

[5]田耘, 徐文波, 胡彬.Xilinx ISE Design Suite10.xFPGA开发指南--逻辑设计篇.人民邮电出版社, 2008年11月.

数据实时处理 篇10

信息化是企业的一场产业提升和革命, 通过信息化手段和手段的现代化, 实现企业的发展和效益提高, 目前国内电力企业信息化建设已进入了一个飞速发展的阶段。而随着信息化建设的发展, 数据仓库技术和实时数据库技术在电力企业中得到了广泛应用。

传统的数据仓库技术已经能够消除电力企业各系统异构性强、信息集成度差造成的“信息孤岛”现象, 很好地解决了数据冗余和多数据源的问题, 使得各系统信息共享, 管理系统可以跨应用系统实施业务流程管理, 并构造有效的知识管理系统, 为管理层和决策层提供综合分析和辅助决策支持。但电力企业中的多种数据处理对实时性有着很高要求, 而数据仓库的相对稳定性使得电力企业数据仓库建设受到了很大制约。

因此, 为了解决数据仓库的实时应用问题, 这里通过引入实时数据库与数据仓库相结合, 建立实时数据仓库, 并根据目前国内部分电力企业已经使用PI数据库的情况, 设计了融合PI系统的数据仓库体系结构, 为数据仓库的实时应用提出切实可行的解决方案。

1 数据仓库技术

1.1 数据仓库定义

W.H.Inmon对数据仓库的定义为:数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、时变的数据集合。主题是数据归类的标准, 每个主题对应一个客观分析领域, 如电量、电费、负荷等, 它可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据, 经集成后进入数据仓库的数据是极少更新的。数据仓库的数据量相对传统数据库来说非常庞大, 省电力公司企业级数据仓库达到TB级规模。

1.2 数据仓库的数据结构

数据仓库是存储数据的一种组织形式, 它从传统数据库中获得原始数据, 先按辅助决策的主题要求形成当前基本数据层, 再按综合决策的要求形成综合数据层 (又可分为轻度综合层和高度综合层) 。数据仓库中的数据均按维度框架进行呈现和存储, 典型的呈现方式有ROLAP (由关系事实表和维表组成) 、MOLAP (空间超立方体形式) 和HOLAP (混合OLAP) 等。

1.3 数据仓库系统

数据仓库系统 (DWS) 主要由数据登台服务器层 (E T L, Extraction, Transformation and Load) 、数据仓库呈现服务器层和数据展现层3部分组成。数据登台区是一个存储区, 包括净化、转换、组合、存档等一系列过程, 最终装载维度表和事实表为输出到数据集市做好准备。数据仓库则以维度形式存储ETL抽取出的数据;而数据展现层面向最终用户, 是对数据的直接应用, 应用方式灵活多变, 包括即席查询、灵活报表、信息融合、数据挖掘等, 实现了用户对决策支持系统的各种要求。

2 实时数据库技术

目前, 数据库理论与技术的发展极其迅速, 其应用日益广泛, 以关系型为代表的三大经典 (层次、网状、关系) 型数据库在传统的 (商务和管理的事务型) 应用领域获得了极大成功。然而它们在现代的 (非传统) 工程和时间关键型应用面前却显得软弱无力, 面临着新的严峻挑战, 由此而导致了实时数据库的产生和发展。实时数据库无缝地集成了数据库与定时性, 兼顾了常规数据库处理能力和实时处理技术需求, 适应多种工程或过程及时间关键型的应用, 在自动化建设、信息高速公路及信息产业的建设中有着广阔的应用前景[1,2]

2.1 实时数据库管理结构

从系统的组成结构来看, 实时数据库管理系统与传统数据库管理系统基本相同。图1给出了它的主要功能部件及其组成。

2.2 实时数据库的特征

实时数据库的特征主要表现在数据和事务的定时限制上, 在实时数据库中, 数据随外部环境状态的变化而快速变化, 其值只在一定的时间内是“流行”的, 过时则无效, 故系统除了维护数据库内部状态 (数据值) 的正确性、相容性外, 还必须同时维护内部状态与外部环境实际状态的一致性, 以及数据用来决策或推导新数据时在时间上的相互一致性。

实时数据库中的1个数据对象d由3个分量组成 (dv, dtp, devi) , 它们分别为d的当前值、采样时间、外部有效期 (外部现实对象状态变化的时间间隔) , 有效期即自dtp算起dv有效的时间长度。对于实时数据库中的每一个数据对象d, 有内部一致性、外部一致性和相互一致性特征。

由于实时任务往往有内部结构和相互之间的联系, 传统的“原子的、平淡的数据库操作序列”的事务概念及模型对实时事务不适合。定时可以是绝对、相对或周期时间。实时数据库的定时性一方面由数据的时间一致性引起, 此时它往往取周期或定期性限制的形式, 如“每5秒取样一次”、“7:00启动机器人”等;定时性的另一根源是对现实世界施加于系统的反应时间的要求, 这时它典型地取施加于非周期事务的截止时间限制的形式, 如“若温度达到1 000 OC度, 则在5秒内加冷却剂到反应堆”。

2.3 实时数据库应用

利用实时数据库可以完成以下应用: (1) 记录实时过程的历史数据, 用于过程存档、历史数据查询、事故分析、系统建模等; (2) 连接各种类型的自控设备, 实现自动监控; (3) 通过数据库网络通信构建分布应用系统; (4) 运行在控制系统的上位机中, 在数据库上运行先进控制软件、优化控制软件和其他用户应用程序, 在客户机上运行各种界面监控软件, 实现可扩展的先进控制或优化控制的目标; (5) 连接多种控制系统和设备, 实现车间级、分厂级及总厂级实时数据综合利用和管理; (6) 配合关系数据库管理系统, 构建生产指挥调度系统及其他管控一体化系统; (7) 通过数据的Web功能, 利用Internet资源, 在浏览器上访问生产过程数据; (8) 完全的开放功能, 以实时数据库为平台进行再次开发。

3 实时数据仓库

3.1 实时数据仓库结构设计

根据数据仓库和实时数据库的特点, 建设实时数据仓库采用的方法是在常规的、静态的数据仓库之外建立一个实时的分区, 其在物理上和管理上都独立于传统的数据仓库[3,4]。这里实时分区不是数据库概念上的一个表分区, 实时分区是一个独立的表, 可以在其上进行更新和查询操作。存储实时分区的系统称为ODS (theOperationData Store) , ODS处于业务系统与数据仓库之间具有实时特点, 引入之后数据仓库的体系结构如图2所示。

实时分区必须满足如下要求: (1) 在静态数据仓库更新前承担所有查询操作和支持查询的高响应。 (2) 在粒度和内容上与静态数据仓库的事实表能够吻合链接。

目前很多实时数据库系统都满足高响应的查询操作要求, 实现实时数据仓库的关键是设计合适的方式实现实时分区和数据仓库事实表的链接。

3.2 实时数据仓库维度模型

在数据仓库维度模型中, 有3种主要的事实表:事务粒度表 (Transaction Grain) 、周期映射表 (Periodic Snapshot Grain) 、累积映射表 (AccumulatingSnapshot Grain) 。针对这3种不同事实表, 设计出不同的结构来实现实时分区同静态数据仓库的链接, 在这3种情况下实时分区起着不同的作用:

(1) 事务粒度表中包括每个事务交易的记录, 如果没有新的事务就没有记录, 事务越多记录越多。因此事实粒度表必然有庞大的索引, 并支持聚合计算。此时实时分区不需要有索引和进行预聚合计算, 只需建立主键链接事实表, 能够支持快速的数据插入, 实现高性能的数据查询即可。这里实时分区的作用只是维护新数据加载, 执行数据插入和查询操作。

(2) 周期映射表是在时间维度上保存高粒度的数据 (如月份) 的事实表, 这时实时分区应能够查看当前月的明细数据。例如在电费记录系统中, 对于一个10 M的账户群, 周期映射表的粒度是每个账户每个月的记录, 这样12个月的数据就为120M。而实时分区存储当前月份数据, 每个月更新一次。应用时, 从事实表到实时分区钻取的查询操作与事务粒度表中有些不同。实时分区中的很多数据查询可以直接通过链接完成, 但整个当前月的数据必须聚合到月份层次, 保持数据整齐以便进入周期映射表。最后, 在每个月份的最后一天将实时分区数据加载到静态数据仓库, 然后把实时分区清空。

(3) 累积映射表主要用于时段事务的处理, 事实表中的记录根据活动的产生进行更新, 而不是周期性更新。以客户投诉业务为例, 一个投诉要经过提交、复核、处理、反馈等过程, 这个过程中事实表不停更新数据。为了性能上的考虑, 可以使这个更新在特定时间完成 (例如凌晨) 。这里实时分区只包括今天的记录, 凌晨时实时分区数据写到事实表中并覆盖已存在记录。在进行查询操作时, 需要读取事实表和实时分区, 可以在2个表上做外联操作或在2个表上做并集, 即可以实现查询刚新加入的记录, 体现在报表上。

通过这样的处理方式, 使实时分区同静态数据仓库链接起来, 完成实时数据仓库的构建。对于具体实时数据库系统还可以根据其各自的特点, 完成与静态数据仓库的结合, 设计出不同于静态数据仓库的应用。

4 基于PI系统的实时数据仓库设计

4.1 PI系统

PI实时数据库系统 (Plant Information System) 是由美国OSI Software公司开发的基于C/S、B/S结构的商品化软件应用平台。PI实时数据库系统适用于电力、石油、化工、冶金、造纸、制药、水处理、食品饮料、通信等各种生产流程企业的生产过程优化。

PI采用了旋转门压缩专利技术和独到的二次过滤技术, 使进入到PI数据库的数据经过了最有效的压缩, 极大地节省了硬盘空间。据计算, 每秒1万点数据存储1年, 仅需要4G的空间, 即一只普通硬盘也可存贮510年的数据。是效率最高, 使用最简单, 使用最广泛的实时数据库, 在具体的设计中应充分考虑到这一点。

PI的功能强大, 一方面, 作为大型实时数据库和历史数据库服务器, PI系统通过丰富的数据源接口, 对底层控制系统的实时数据进行自动采集、存储和监视, 提供清晰、精确的操作情况画面, 供用户浏览当前的实时生产状态或对历史生产过程进行回顾;另一方面, PI系统为最终用户和应用软件开发人员提供了快捷高效的企业信息应用平台[5,6]。在统一的数据仓库之上, PI系统提供丰富的客户端应用程序、强大的数据处理模型和灵活的二次开发环境, 使用户能方便地对实时数据进行加工和信息提炼, 并快速开发出用户自己的企业信息系统, 如性能分析/优化、设备故障诊断检修、专家系统等。

4.2 结合PI系统的实时数据仓库系统设计实例

PI系统和数据仓库都已经在电力企业中得到全面应用, 并在企业数据层结构中占有重要地位。某市电力公司信息环境中数据层的系统有: (1) 生产领域SCADA/EMS、DMS、TMR、生产管理系统等信息系统的私有数据库系统; (2) 支持数据交互的信息一体化平台; (3) 支持数据共享的数据中心; (4) 按点存储实时数据的PI数据库; (5) 按照维度模型存储支持决策分析的数据仓库系统。某市电力公司整体数据结构图如图3所示。

利用PI系统接口丰富、存储量大等特点, PI在应用中可以扮演数据登台的缓冲区和实时分区双重角色, 此时整个实时数据仓库系统结构图如图4所示。

在图4所示结构中, 一方面发挥PI的多接口特点同各种底层数据库连接, 采集数据作为数据仓库登台的缓冲区。另一方面, 作为实时分区通过设计的维度模型同静态数据仓库相链接, 为各种平台的实时应用提供数据源。

5 结语

为解决传统数据仓库对实时数据的处理问题, 提出了一种实时数据仓库构建方法, 并设计了实时分区与静态数据仓库的维度模型链接方式。在杭州电力企业的数据仓库规划系统中考虑PI实时数据库的特点, 设计了新的数据仓库体系结构, 协调了各系统在整个数据仓库系统中的关系, 发挥出PI系统的特点, 为各种基于数据仓库的应用特别是实时应用提供了一个高效平台。

摘要：数据仓库和实时数据库技术已成功应用于电力企业, 但目前两者在实际应用中各自独立, 使得两者的数据处理能力都受到一定的限制, 特别是数据仓库因其静态稳定性, 无法完成实时数据应用处理。分析了数据仓库维度事实表的特点, 通过设计出新的实时分区同静态数据仓库链接方式, 建立实时数据仓库, 并在电力企业数据仓库实际规划中考虑PI实时数据库系统特点, 将已有的静态数据仓库和实时数据库纳入到新型数据仓库体系结构中, 构建出高效平台以改善数据仓库处理实时应用的能力。

关键词：数据仓库,实时数据库,维度模型,实时数据仓库

参考文献

[1]叶彤, 吴钦章, 蒋平.实时数据库的应用研究[J].光电工程, 2004, 31 (6) :70-72.

[2]刘吉臻, 房方, 牛玉广.电力企业中的实时数据库技术[J].中国电力, 2004, 37 (2) :73-75.

[3]张磊, 王备战.一种主动实时数据仓库的体系架构分析[J].江西科技师范学院学报, 2006, (4) :111-114.

[4]张俊, 张忠能.实时数据仓库体系架构的研究[J].计算机工程, 2004, 30:180-183.

[5]周怡, 王坚敏, 罗斐, 等.PI实时数据库在供电企业中的应用架构[J].中国电力, 2005, (1) :40-43.