数据集成系统 篇1
一般情况下,数据集成采用的方法包括数据格式的定义、数据的整理、规则的描述等几种,可以有效解决不同数据源在同一平面被共享和运用的问题,以实现不同数据库系统中各种内容的整体显示。因此,数据的查询必须非常简单、快速,以在集成范围内进行统一标识。根据信息系统集成的实际情况可知,网络集成是非常重要的硬基础,而数据是信息系统的重要软基础,必须实现获得各种数据,才能为信息系统的构建提供参考依据,从而实现企业各种资源的最优化配置和最有效利用。所以,在企业的管理系统中,比较典型的数据集成模型是由系统功能层、用户界面层、数据存储层组成的。
由于数据集成是为了实现各个异构数据源之间的数据共享,因此,在为企业制定各种决策提供比较全面的信息资源的前提下,需要改进和优化各个数据库之间存在的局限,采用压缩保存、转化为资产等方法进行数据资源的利用,才能真正为企业不断发展提供重要支持。在信息技术和网络技术不断更新的大环境下,企业数据集成应用的模式已经有很多,其中,基于中间件模型、联邦式、数据仓库等是最常见的三种,在不同情况下可以实现数据共享,最终为企业制定各种决策提供可靠支持。本文就上述三种模式进行简单介绍,一般联邦数据库系统是某些互相联系但又独立存在的单元数据库的集合,可以按照不同的依据对数据库系统进行不一样的集成。因此,数据在互相共享时,联邦数据源之间会相互提供可访问的接口,其分布情况有集中数据库系统、分布式数据库系统和其他数据库系统等多种。在这种情况下,其主要分为两种形式:松耦合、紧耦合。在实际应用中,联邦数据库主要包括数据库、数据、命令、映射、模式和处理器几个部分。与其相比,中间件模式一般是在统一全局数据模型后进行web资源、异构数据库等的访问,因此,其主要存在与应用程序和异构数据源系统两者之间,可以为各种应用、数据访问提供连通接口,也能有效协调各种数据源。另外,数据仓库通常是指企业决策、管理时面对的各种数据集合,如与时间相关的、不能修改的数据,因此,数据是比较广义的,不可重复的。由此可见,在实际应用上述几种模式时,为了降低数据之间转换的误差,需要根据企业决策的实际情况和数据管理情况来确定,以免出现更严重的管理问题。
2 异构数据源之间的数据转换策略
根据信息系统集成与数据集成的整体情况来看,数据源出现异构是由数据库管理系统、应用系统、存贮模式、操作方式等不一样引起的,因此,其可以分为系统上的异构、模式上的异构两种,而数据的存贮模式主要有对象关系模式、对象模式、关系模式等多种,其中,关系模式是最常用的模式。在实践应用中,异构数据源之间的数据转换策略主要包括如下几种:首先,软件工具的合理运用。通常情况下,数据库管理系统都有着将外部数据转移到自身数据库表的相关工具,其有着一定专用性、特定性等特点。已建成,数据库转换的数据必须与数据库对应,才能在合理运用软件工具的基础上,避免数据更新存在不同步问题,最终保证数据库转换的完整性和准确性。其次,中间数据库的有效转换。在进行两个具体的数据库的转换时,可以根据关系定义来确定数据转换模式,从而对数据源的数据进行准确读出,从而在中间件数据的转换下被写入到目的数据库中。虽然采用这种方法进行数据库转换需要的模块比较少,扩展性也较好,但需要的空间比较大,整个过程也比较复杂,需要谨慎使用。最后,数据库组件的科学运用。在科学运用目的数据库、源数据库组件的情况下,数据可以得到直接转换。如果出现源数据库、目的数据库有着不同类型的数据的情况,则需要将他们转换成统一类型的数据,才能确保双方赋值的准确性和可靠性。
3 结束语
综上所述,在社会和经济不断发展的新形势下,信息系统集成是高科技技术不断创新的产物,是服务方式现代化、信息化发展的重要体现,对于实现企业各种数据的优化管理有着极大作用。因此,充分利用信息系统集成与数据集成策略,不但能最大限度的提高企业决策的可行性,还能促进企业更长远发展,是企业经济效益不断增长的重要支持。
摘要：在企业信息化建设力度不断加大的情况下,各种数据急剧增多,需要采用合适的信息系统对这些数据进行集成化管理,才能确保企业各项活动的有序开展。因此,充分了解信息系统集成与数据集成之间的关系,并掌握信息系统集成与数据集成策略,对于推动企业更长远发展有着重要影响。
关键词：信息系统集成,数据集成,数据源
参考文献
[1]焦汉科,马林兵,邓孺孺,等.多源遥感数据管理与远程处理集成实现[J].测绘科学,2015(11):131-136.
[2]刘博,夏新,陈彦东.基于信息集成平台的业务整合与数据共享方案[J].医疗卫生装备,2013(7):46-48.
地球空间数据集成研究概况 篇2
数字地球空间数据的`集成研究及应用始于本世纪60年代,地理信息系统的出现及应用、多元数据的使用推动了地球空间数据集成研究及其应用.本文首先对地球空间数据概念进行描述,然后对地球空间数据集成研究状况及存在的问题进行了详细的分析.结合数据集成需求及存在的问题,论文分析了数据集成的发展方向.
作 者：李军 费川云 LI Jun FEI Chuan-yun 作者单位：李军,LI Jun(中国科学院遥感应用研究所,北京,100083;中国科学院地理科学与资源研究所,北京,100101)
费川云,FEI Chuan-yun(中国科学院地理科学与资源研究所,北京,100101)
数据集成系统 篇3
摘要：本文对煤炭企业信息数据的特征从安全性、动态性、多样性、关联性和复杂性等方面进行了分析，提出了基于数据仓库的煤炭企业信息数据集成模式，并就其在淮北矿业集团的实施进行了分析，对其他大型企业实施数据集成有较强的参考意义。
关键词：煤炭企业信息系统数据集成淮北矿业集团
0引言
近几年来我国煤业集团进行了大规模的兼并重组，实行了大集团、大公司化的改革，企业规模的急剧膨胀虽带来效益的相应增长，也造成了“大而全”、“规模不经济”的局面。究其原因，管理模式较生产规模的相对落后是很重要的一方面，由于企业资源充裕，国家扶植，造成了能源企业在一定程度上的粗放经营和凭生产经验作管理的不符合市场经济的做法，往往忽视管理的科学性。因此有必要采用一种新的、适合目前我国煤业集团企业实际情况的先进的管理模式，以促进我国煤业集团的加速发展。
引进设计具有本企业特征的管理信息系统是当前各大煤炭企业进行科学管理的重要途径，并已经取得了显著的经济社会效益。煤炭信息化的一个重中之重是煤炭产运销存财管理信息化，这几方面对煤炭企业提升经营管理水平和效率，提高决策能力具有至关重要的意义。但煤炭企业集团规模庞大，生产地点分散，信息种类繁杂，如一个煤炭企业中存在生产监测系统、运输机集控系统，煤位、水位监测系统、井下运输信号集中闭锁系统、井下移动通信系统、人员定位系统、工业电视系统、煤炭运销系统、物资供应系统、资金结算系统、医疗管理系统和住房基金管理系统等。由于这些系统历史上并不是同时引进使用的，造成各种信息系统之间相互隔离，造成所谓的“信息孤岛”现象在煤炭企业中普遍存在，各种资源信息不能共享。在这种背景下，煤炭行业信息工作的现状已不能适应信息化的发展趋势，如何依据煤炭企业信息系统数据特点，设计数据集成的最优模式，通过数据共享来加强内控降低成本已经成为我国煤炭行业提升管理水平的迫切需要。
1煤炭企业信息系统数据特点
煤炭企业信息数据反映煤炭企业各种活动状态、特征的信息，是对企业活动的运动变化、相互作用、相互联系的真实反映，包含知识、资料、情报、图像、数据、文件、语言、声音等各种形式，它随着采购、库存、生产、运输、消费等活动的产生而产生，是整个企业生产经营活动顺利进行所不可缺少的条件。
煤炭企业信息数据除了具有一般信息的基本属性，还具有自己的一些特点，主要如下：
1.1安全性信息数据要求高。安全是煤炭生产永恒的主题，随着煤炭采掘的进行，巷道状况受到矿山压力的影响而不断变化，采掘作业环境也随之而变，煤炭生产安全问题尤为突出；同时，煤炭企业生产安全另外一个重要保障是煤炭物资的质量可靠性，大部分物资必须具备特殊安全性能和使用许可。因此，煤炭生产和物资采购中对安全方面的信息数据要求较高。
1.2信息数据的动态性。煤炭生产过程属于流程型生产，煤炭资源经过固定的工艺流程连续不断的经过一系列设备和装置被采掘出来和加工成产品，生产活动连续进行，不能中断。另外，受自然因素制约影响，煤炭工作地分散，生产环境较差，缺货所产生的补给时间因上下井和工作地较远等原因比其他行业要长，导致缺货成本较大，客观上要求煤炭物资供给的及时性和连续性，在管理信息系统中表现为动态性信息。
1.3信息数据的多样性。煤炭生产过程的复杂性决定了煤炭信息数据的多样性，包括安全信息、物资信息、地质信息、生产信息、运输信息、再加工信息、销售信息、人员信息等等不一而足；从其稳定程度来看，又有固定信息、流动信息与偶然信息等，从其加工程度看，又有原始信息与加工信息等；从其发生时间来看，又有滞后信息、实时信息和预测信息等。在进行煤炭企业管理信息系统规划时，应根据不同种类的信息数据进行分类收集和整理。
1.4信息数据的关联性。煤炭企业生产经营活动是多环节、多因素、多角色共同参与的活动，目的就是实现煤炭的节约开采和安全供给，因此在该活动中所产生的各种物流信息数据必然存在十分密切的联系，如地质信息、采掘信息、运输信息、储备信息、需求信息间都是相互关联、相互影响的。这种相互联系的特性是保证煤炭企业各子系统、供应链各环节以及企业内部系统与企业外部系统相互协调运作的重要因素。
1.5信息数据的复杂性。煤炭物资品种繁杂，需求总量大、多层级储备、使用地点多变、连续不间断供应等特点使煤炭信息数据复杂多变；同时，煤炭信息广泛性、联系性、多样性和动态性也带来了煤炭企业信息的复杂性，企业管理者需要对不同来源、不同种类、不同时间和相互联系的煤炭信息进行反复研究和处理，才能得到有实际应用价值的信息数据，去指导实践活动，这是一个非常复杂的过程。
2煤炭企业信息系统数据集成模式的选择
煤炭信息的上述特点决定了煤炭企业信息系统构建的首要任务是设计科学的数据集成模式。当前在企业中应用比较成熟的数据集成方案有重新规划、企业应用集成和数据仓库。
2.1数据集成的模式
2.1.1推到重来，重新规划实施。但这对于一个已有众多系统正在应用的大型煤炭企业集团来说，显然是不可行的。
2.1.2 EAI，即企业应用集成。它是将基于各种不同平台、用不同方案建立的异构系统应用集成的一种方法和技术。它强调的是应用层面的集成，各系统之间数据实时交互处理，实现不同业务部门之间的协作，是企业信息化应用的高级模式。但其实施费用高，开发周期长。
2.1.3数据仓库。即根据企业决策的需要，通过数据抓取、挖掘等工具，将异构系统的数据抓取并进行分析处理，形成对企业决策有用的信息，从而达到决策支持作用。
2.2适用于煤炭企业的数据集成模式从煤炭企业生产经营活动的特征分析，本文认为目前国内煤炭企业应该选择数据仓库的信息集成模式。理由如下
2.2.1在信息集成方面，煤炭行业的信息流有自身的特点，如底层信息来自现场设备、PLC系统等基础自动化层的数据采集，具有数据量大、种类繁多、处理困难，与信息准确、实时性强、处理快速的生产操作要求相矛盾。为实现企业目标，必须集成处理包括实时监测信息、辅助管理决策的长期信息以及原煤及成品煤的质量信息等在内的众多信息，这种集成难度很高。数据仓库是一个面向主题的、整合的、稳定的、并且时变地收集数据以支持管理决策的一种数据结构形式，可以有效解决煤炭信息集成时遇到的这些问题。
2.2.2煤炭企业生产过程环节众多，所需要的配套系统也繁杂，因此在生产过程中各个业务环节都将产生大量的信息，如果分散处理，必将会产生大量的信息孤岛，虽然在某个业务局部会提高效率，但其直接后果就是形成更大的集团信息壁垒。作为集团化运作，其规划效益的产生就是要通过不同系统之间和不同数据格式之间的信息共享与交换，快速反映企业经营的方方面面，使得企业经营对外能够快速响应竞争要求，提高处理突发事件的能力，对内能够快
速调配各类资源，使得成本最低，效益最好。数据仓库紧耦合的数据集成将各个数据源的数据预先集成，并存在共享库中，供用户直接查询和分析，从而提高系统共享程度，解决信息孤岛问题。
2.2.3由于煤炭企业信息数据来自安全、采掘、加工、储备、物资、运输和市场等多个方面，数据来源多样，数据类型异构化程度较高，给数据集成带来了困难。数据仓库在处理异构数据源方面有着独特的优势，不仅能集成规则的数据，还能够集成半结构化和无结构化的数据；不仅能够将现有的数据集成起来，还能使得系统方便的加入最新的数据，从而进行系统数据的更新，从而满足煤炭数据的动态性需求。此外，这种数据集成方式还能够将地理上分布于不同区域的煤炭企业数据集成起来，并向用户提供一个统一的数据访问接口以方便使用，从而有效解决了数据分散问题。
3面向数据集成的淮北矿业集团管理信息系统构建
3.1淮北矿业集团数据集成管理现状淮北矿业(集团)有限责任公司坐落在安徽省淮北市，集团现有总资产253亿元，员工9万余人，生产矿井16对，在建、筹建矿井5对，核定年生产能力2789万吨，年产精煤750多万吨，年入洗能力1500万吨，是华东地区最大的冶炼精煤生产基地。近几年，集团信息化工作作为企业重要的管理手段得到的高度重视和长足发展。在硬件建设上，已建成覆盖全矿区的高速光缆主干网，光缆皮长近600公里、网络交换路由设备65台套、服务器50台套(其中小型机6台)、防火墙28台。在软件应用上，建立了集团级财务管理系统、资金结算系统、人力资源管理系统、设备管理系统、物资管理信息系统、煤炭销售管理系统、全矿区分布式安全信息监测预警系统、办公自动化系统等诸多信息系统，并在实际工作中发挥着重要作用，有力促进了企业的快速发展。
就像很多企业一样，淮北矿业集团在发展信息化的过程中，由于缺少总体规划，导致“信息孤岛”林立。随着企业的不断发展壮大，企业的组织机构、业务流程、管控模式等都在发生着变化。“信息孤岛”的存在给企业管理带来的负面影响逐渐显现，主要体现在以下几个方面：
3.1.1数据的一致性无法保证。由于信息定义与采集过程彼此独立，同一数据可能在不同的应用中不一致。
3.1.2信息不能及时共享和反馈。由于信息分散在各个不同系统之中，各系统之间没有信息传递的和共享的平台，因此，信息不能及时充分共享和反馈，导致资源大量浪费。
3.1.3信息需要重复多次的输入，导致信息失真。对信息的多次采集不仅导致大量额外劳动，更重要的是容易导致数据失真，信息利用价值降低。
3.1.4由于信息的共享性、时效性差，不利于对数据进行挖掘分析，从而降低决策质量和效率。
这些日渐成为企业信息化发展的“瓶颈”问题，乃至影响到整个企业的进一步发展壮大，因此必须加以解决。
3.2淮北矿业集团信息系统数据集成方案淮北矿业集团通过考察、调研、收集分析资料并向有关专家咨询，结合淮北矿业集团信息化应用现状和煤矿生产经营特点，对淮北矿业集团信息集成方式达成了共识，即：由于煤矿生产经营的特殊性，真正意义上的ERP无法实现，且各业务系统的关联不紧密，绝大多数业务对数据的实时性要求不严格。而企业最迫切需要解决的问题是对各系统中最关键的数据进行分析、挖掘、分析，达到监控企业运行，保障企业经济运行平稳的目标。因此，集团最终确定了以数据仓库为最终方案并选择了上海宝信作为合作伙伴，经过认真研究后，提出了中心资源库的数据集成方案，如图1所示：
方案中，通过建立一个中心资源库，进行数据抓取，将目前各个应用系统的异构数据及集团公司网站、子网站及外部互联网上的数据根据需要抓取，放到中心资源库中，再通过数据挖掘工具对中心资源库中的数据进行挖掘分析，展示在一个综合信息平台上。企业的企业高层领导、决策参谋机构及有关部门通过企业综合信息平台获得企业决策所需数据，从而达到决策支持目的。
3.3淮北矿业集团信息系统的实施效果2006年8月，淮北矿业集团中心资源库建设正式开始，经过一年多的开发和不断修改、补充、完善、调试、试运行。项目在2007年底结束并投入正式运行。通过一年时间的正式运行，项目基本达到了预期目的。总的来说，实现了以下几个方面的功能：
3.3.1决策支持功能。这是本项目最主要的目的。首先集团高层管理人员及决策支持部门提出关键信息需求，信息技术部门根据需求定制抓取内容。目前，物资管理信息系统、营销管理信息系统、生产调度信息系统数据均采取ETL工具直接抓取，财务管理信息系统由于对数据保密的特殊要求，采用系统定时推出数据，再通过ETL工具抓取的方式。数据抓取后放到中心资源库中，将集团公司经济运行相关数据通过OLAP进行切片和切块(Slice and Dice)、钻取(Drill)、旋转(Rotate)，达到对数据信息的挖掘和分析，并且采用数据、图表(饼状、柱状、曲线、趋势、分布图等)方式进行展现。比如，在产量指标上可以通过表格方式看到集团公司当天总产量、分矿产量、当月产量、历年同月产量、分矿历年同月产量等等。在物耗指标上，可以看到当天物资消耗情况、分矿物资消耗情况等等，只要有异常情况，立刻能够显示出来。同时，以上数据还能够以柱状图、条形图、饼图等图形形式显示，非常直观且便于对比及进行趋势分析。
3.3.2丰富门户网站内容。淮北矿业集团内部门户网站很早就已建立，但由于缺乏维护，内容更新慢，功能少。而集团下属各单位、各部门都建立了各自独立的网站，且内容丰富、更新及时。对各子网站及外部网站的数据抓取也是淮北矿业集团数据集成应用的一项重要工作。项目组采用一种叫“e-paw”的技术，将集团公司各子网站及外部网站的内容，按照需求抓取到集团公司门户网站的不同栏目上，实现了数据的及时更新，门户网站的内容和及时性得到了保证。
3.3.3基于门户网站的一站式登录。采用“ePASS”统一认证系统，将办公自动化系统、电子邮件系统、综合信息平台、生产调度系统、机电运输管理系统、绩效考核系统、计划管理系统、企业短信平台等子系统集成到门户网站中，实现了“一站式”登录。即只要登录门户网站时输入一次用户名和密码即可实现所有子系统的登录，工作效率有了较大提升。
4结论
由于生产经营活动的特殊性，煤炭企业数据来源多样、数据结构复杂，容易造成“信息孤岛”问题，给企业生产经营决策带来困难。本文通过分析煤炭信息数据特征，提出了基于数据仓库技术的数据集成模式，并就其在淮北矿业集团的应用实践进行了分析，论证其应用的可行性和实施效果。
参考文献：
[1]李焕荣，杨鉴淞.大型煤炭企业物流信息系统的设计[J]中国煤炭2007，33(5)：27—28
[2]陆卫国，卢国斌，黄晓丽.管理信息系统在煤炭工业中的应用[J]辽宁工程技术大学学报(自然科学版)2008，5：260—262.
数据集成系统 篇4
数据集成系统是国土资源“一张图”工程的基础工作, “一张图”工程建设需要调查成果及各业务数据库的支撑。市级基础地理成果主要是基础测绘成果, 调查成果有二次土地调查、矿业权核查成果, 规划成果有土地利用总体规划及专项规划、矿产资源规划等成果, 各业务数据库包括地籍、土地征用、土地储备等数据库。在专题数据库建设完成之后, 通过对各个专题数据库对应的业务之间关系的梳理, 建立起各业务之间逻辑关系, 进而进行数据的有机整合与集成, 让这些成果在一张图中得到充分展示并能联动协同办公, 与电子政务结合, 实现带图审核, 达到“一张图”管理模式。
2 系统设计原则
(1) 一致性原则:一致性指在数据集成过程中所涉及的专业术语、专业名词在定义的界定上, 必须严格保持在语义和概念上具有完全的一致性, 对同一个专业名词和专业术语的解释一定是唯一的, 不允许存在两次或以上不同的解释。 (2) 集约性原则:集约性指经过集成的数据库要符合行业规程的要求和对应的数据库标准, 不能存在数据库结构冗余, 也不能存在数据内容的冗余, 奠定数据的共享基础。 (3) 独立性原则:独立性是指数据库要独立于业务所使用的应用系统, 即不管业务应用系统如何变化, 基础数据库数据不会因为应用系统的变化而发生例如数据内容和结构这样实质性的变化, 必须消除数据本身对应用系统的任何依赖。 (4) 适用性原则:适用性指经过集成的数据要符合行业标准和国家标准, 保证数据共享和交换无障碍。集成后的数据要能正确无误地应对不同的应用系统, 保证每次调用结果相同且有效, 工作效率不受影响。 (5) 完整性原则:完整性是指集成后的数据在整体上要具有概括性和包容性, 并且要严格符合地理信息系统格式的要求和数据建库标准, 含有数据库标准的全部信息, 不得重复或遗漏。同时对空间数据库进行整合时, 要满足原数据或用户对精度的要求。
3 系统的总体框架
国土资源业务系统是在信息化条件下进行国土资源管理的各类系统的统称, 根据国土资源管理职能, 简要将国土资源业务管理系统分为基础地理信息系统、专项业务系统、电子政务系统和信息发布系统四大类。在专项业务系统中, 又根据职能分工将专项业务系统分为地政管理、矿政管理、测绘管理和综合业务管理四个方面。根据目前市级国土局各项业务需求, 设计市级国土资源“一张图”数据集成系统的总体框架, 如图1所示。
4 系统的体系结构
国土资源“一张图”数据集成系在从体系结构上采用C/S和B/S两种混合模式, 前者侧重于业务办理功能, 主要用于对业务基础数据信息的处理、统计、分析、输出;后者侧重于“带图”行政审批, 主要用于政务信息的网上流转、审批办理以及信息的对外发布和服务。系统采用三层体系结构:数据层、支持层、应用层。系统体系结构设计如图2所示。
(1) 数据层:负责国土资源“一张图”数据库之间的数据通讯、数据同步、数据交换与数据安全管理等功能。 (2) 支持层:支持层保证整个系统运行的环境, 它直接或间接为系统服务, 以服务的形式支持国土资源“一张图”数据集成系统的运行。 (3) 应用层:国土资源“一张图”数据集成系统在该层提供可视化的操作界面, 允许用户输入信息后并提交给后台, 也可以提出数据请求, 是用户与系统交互的接口。
5 系统建设平台设计
市和各县区采用统一搭建平台, 主要包括GIS数据处理及应用平台、电子政务运行平台和电子政务构建平台。电子政务运行平台是国土资源政务管理信息系统和社会化服务系统的支撑环境。
搭建平台的核心思想是:利用电子政务构建平台定制和维护各项业务应用, 同时建立电子政务平台支撑数据库;通过电子政务运行平台对支撑数据库中的元字典的解释和调用, 形成国土资源“一张图”业务应用系统。系统平台框架如图3所示。搭建平台主要功能包括:工作流引擎、图形发布访问引擎 (WEBGIS) 、内容管理引擎、统计分析引擎、电子邮件管理、信息全文检索、日程安排、通讯录管理、即时通讯等功能。支持各种外部接口, 如通用信息发布接口、外网网站接口、移动终端查询接口、远程信息提供接口以及其他服务提供接口等。国土资源“一张图”数据集成关系到整个系统的稳定性和运行速度, 不管是纯粹的空间数据集成或是整体的数据库和系统集成, 必须严密设计并严格遵循预先的设计程序, 该文所设计的国土资源“一张图”数据集成程序见图4。
6 结语
主要介绍了国土资源“一张图”系统的总体设计, 分别从国土资源“一张图”的系统框架设计、系统功能设计、数据库设计研究数据集成, 提出了数据建库的技术方案。
参考文献
[1]国土资源部信息化领导小组办公室.全国国土资源政务管理信息系统与信息服务系统建设总体方案 (一) [J].国土资源信息化, 2001 (2) :2-13.
[2]田凤山.加强国土资源信息化建设促进国土资源事业加快发展——在全国国土资源信息化工作会议上的讲话[J].国土资源信息化, 2001 (3) :2-7.
数据集成系统 篇5
XML可谓最新的数据存储解决方案了。XML相比HTML给予了Web开发人员更大的编程灵活性。这种新技术驱动开发机构尝试把XML同自己的产品集成起来。微软就是采取如此举措的先驱者。微软公司在开发Inte.net产品的时候一度慢慢腾腾，现在可就不同了。最近一位微软公司的高级职员就这样说：“你要给我们一刀，伤口里出来的尽是XML。”也许形容得有点过分，但事实确实是这样的：微软的几乎所有产品中都能看到XML的身影。举个例子：微软是如何在其SQL Server产品线中集成XML的呢?下面咱们就来看看关键的FOR XML子句。
以XML的名义获取信息
SQL Server和XML之间的集成首要一点就是根据SQL数据创建XML文件。XML文件的构造并不复杂，用简单的脚本和ADO记录集就可以轻松产生。这个任务虽然不算麻烦，但开发人员却需要针对他们从服务器获取的结果集合产生不同的脚本，或者编写更为复杂的通用脚本。SELECT 语句则由此而配备了新的FOR XML子句。
该子句的语法如下所示：
[ FOR { XML { RAW | AUTO | EXPLICIT }
[ , XMLDATA ]
[ , ELEMENTS ]
[ , BINARY BASE64 ] } ]
FOR XML子句的XML模式由三种参数值表示：RAW、AUTO或者EXPLICIT。模式决定了结果XML的形式和组成。下面我们就更深入些地通过以下示例了解以上各个XML选项。
RAW示例
我们执行以下的SQL语句：
SET ROWCOUNT 3
SELECT Orders.OrderID, Orders.OrderDate, ProductID
FROM Orders, [Order Details]
WHERE Orders.OrderID = [Order Details].OrderID
ORDER BY Orders.OrderID
FOR XML RAW
执行后产生的结果如下：
AUTO示例
我们执行以下的SQL语句：
‘结果限制为3条记录。
SET ROWCOUNT 3
SELECT Orders.OrderID, Orders.OrderDate, ProductID
FROM Orders, [Order Details]
WHERE Orders.OrderID = [Order Details].OrderID
ORDER BY Orders.OrderID
FOR XML AUTO
产生的结果如下所示：
EXPLICIT示例
Explicit模式给予查询编程人员对产生XML的完全控制能力，
然而这种控制力度却要价不菲：你得编写每一查询以便SQL语句能包含XML信息。
有关的语法很复杂，而且超出了本文的讨论范围。[ , XMLDATA ] [ , ELEMENTS ] [ , BINARY BASE64 ] 是相应的可选参数。
可选元素
示例可以让我们对各种设置的内部工作机理有更多的了解，下面我们就进一步研究下FOR XML语句的可选元素XMLDATA。
如果你设置该选项，那么XML-Data schema就会包含在结果集合里。以下是SQL语句：
SET ROWCOUNT 3
SELECT Orders.OrderID, Orders.OrderDate, ProductID
FROM Orders, [Order Details]
WHERE Orders.OrderID = [Order Details].OrderID
ORDER BY Orders.OrderID
FOR XML AUTO, XMLDATA
以上的SQL语句产生以下结果：
ccurs=”*"/>…
ELEMENTS
ELEMENTS选项指示各数据列作为子元素而非属性返回。假如你采用AUTO模式就可以只采用该选项。
BINARY BASE64
使用该选项表示你希望采用base64编码格式表示二进制数据。
采用XML子句的说法可就多了，你最好参考下SQL在线图书。
在线指南
SQL Server在线图书 对FOR XML子句的用法进行了阐述。而且还提到了在使用这一子句时要注意的多项限制。比方说，FOR XML字句不能同视图定义或者COMPUTE BY子句合用。你不妨参考有关文档了解更多细节。
本文只是对FOR XML子句的简单说明，这里要提醒你的是这一部分不过是XML同SQL Server集成需要注意的一点，其他方面的问题还包括IIS的OPENXML 函数和模版文件等。看来真是这样，SQL Server的每个毛孔都滴着XML这种东西。
数据集成系统 篇6
关键词：ArcSDE技术；GIS技术；集成化管理；面对对象
中图分类号：TP311
随着城市规模不断的发展和壮大，建设市级综合资源的基础数据库已经成为必须。运用现代的数据库信息技术，面向对象集成化管理各级多源的空间数据。现在常采用的数据库管理技术有ArcSDE技术、GIS数据库、CAD平台、MapGIS、Maplnfo、SuperMap、Arcels等矢量数据格式、遥感影像数据、航空影像数据、卫星影像数据等。建设市级综合资源信息系统，不仅可以加快服务工作的信息化，提高日常的办公效率和市级政府的管理水平，同时，也对整个信息化和经济化的社会带来好的影响。这些年来，计算机技术、软件更新、硬件设施和空间信息技术的发展壮大，已经有大量的城市综合信息为市级政府提供支持和服务。城市综合信息数据库的建设也有很好的发展。在GIS技术不成熟之前，城市的信息数据是相分离的，空间数据和非空间数据不能集成在一起，因此对城市信息的收集和管理缺乏统一的认识。在GIS空间数据库技术成熟之后的今天，已经实现了空间数据库管理空间数据的可能性，集成空间数据与属性数据为一体整理存档在空间数据库管理系统中，早前出现的大量文件形式的数据存取难、多名使用者同时发送和数据远程共享等多方面的限制已经被解决。城市综合信息集成化空间数据库的建立为城市的管理和信息共享提供了可能，只有标准化、面对对象的、集成型的资源共享平台，才能更好的服务于城市建设和管理，综合应用一体化空间数据库管理各式各样的内容、格式、尺度、时间的空间数据，才是科学有效的城市综合信息数据库。在城市综合信息数据库中，基础的地理信息数据库是城市公用性最重要的数据库。能否建立一个健全的市级基础地理信息数据库，是检验一个城市的数字信息化程度的一个重要标准。为推动不同地理空间数据集的非重复采纳，避免浪费，调节地理空间数据的采用，对地理信息进行高效且经济的管理，需要建设地理基础信息数据库。国家测绘局提出的4D产品战略已经基本完成了全国范围内的1：5万、1：25万、1：100万的基础地理数据库的管理。我市与其他各省市正在按照国家的标准建立属于自己的基础地理数据库。本文结合我市基础地理数据库的建设开展研究，对如何建立面向对象的集成化数据库系统进行设计并实现。
1 城市地理数据特点
（1）地理数据类型。城市地理数据类型按数据的类型划分，有属性文件数据、空间图形数据、多媒体数据、相关的文档数据等内容。数字线划图是带有拓扑关系的用矢量描述的空间信息，同时还包含关系结构属性信息。涵盖的内容有居民居住地、政府部门所在区域、交通和管理网、水系统以及配套设施、地形地貌、街区名测量控制点等内容。此数据库的建立可以方便的用于城市规划建设、资源管理方面、商业规划等各个方面。也可以为某些专业信息系统提供空间定位系统。也可以生产关于地形图方面的产品。（2）地理空间数据的格式。地理空间图形数据的格式有多种多样，地理空间图形数据的测绘大多是在CAD平台的基础上，在地理空间数据中应该包括建成的GIS数据。另外地理空间数据还应该包含关于遥感的影像数据的处理，其中卫星影像数据和航空影像数据应包含在遥感的影像数据中。只有地理空间数据格式多种多样才能保证数据在应用中和共享方面的复杂多样。（3）地理空间数据的尺度。地理空间数据的尺度需求为多尺度的，同类型的地理空间要素要表现不同的性质在不同类型的尺度中。多尺度类型的数据可以更好更全面的表现基础地理数据库的业务差异和需求。在区县的地籍管理中，空间地理位置要求更高的精确度，常采用很大的比例尺作为空间数据尺度。（4）地理空间数据的时间。时间特性是基础地理空间数据库的一个重要的特点。地理空间数据在实践方面总处于变化之中，每次的变化都是用空间数据来更新体现。在地理空间数据库中，也经常要对过去的变化信息进行分析更新，以此提高判断的科学性和高效性。
2 数据库的设计思路
我市的基础地理空间数据库管理系统运用ArcSDE技术的建库模式，采用面对对象这一基本组件进行开发。运用工具VB和ArcObjects开发。用Oracle9i作为数据库的管理层面，Oracle9i的优点是大数据库支持可以实现安全以及完整性的控制要求，并且可兼容、可连接、可移植。空间数据引擎引用ArcSDE，该空间数据引擎与Oracle的结合实现了空间数据的大量存储管理。同时这两者的结合也是至今为止世界上最成熟稳定的空间数据管理技术，同样也是我市建设基础空间数据库的主要形式。
数据库管理系统的总体有以下几部分组成，有软硬件、网络环境、空间数据库、数据库的管理服务系统等，具体如一些工作站、服务平台、微型空间数据库、存储装置、网络设备等等。空间数据库则包括了数字线划图、数字栅格地图、数字高程模型、地名以及数字正射影像地图等数据库。数据库的管理系统中对服务系统的维护和使用是利用软件系统的开发实现的，譬如数据入库、处理、管理、维护、制图等。
我市地理基础空间数据库采用GeoDatabase数据模型，面向对象进行数据模型的组织，利用这个GeoDatabase数据模型定义不同的客户，因而为不同客户提供不同的且完整的数据平台。根据基础地理信息的数据结构与GeoDataBase的数据模型相结合，将空间数据库划分为五个等级：总库、分库、子库、逻辑层、物理层。总库通过命名Oracle数据库自定义为市基础空间数据库。分库命名也根据Oracle数据库自定义为1：25万为“250K”、1：5万为“50K”、1：1万为“10K”。每个分库在划分子库，命名为“DLG”为矢量数据库，“DOM”为数字正射影像数据库等。接下来是逻辑层和物理层，根据DLG数据库的要求，按每个逻辑层和Feature Class进行分层，ArcSDE中相对应Feature Class的命名规定为总库名+分库名+“_”+子库名+带号+“_”+逻辑层代码+“_”+物理层层代码。
多个空间的数据服务器应用系统一体化集成是地理空间数据库必须解决的问题，数据量特别庞大，且常用一台服务器进行管理，在数据的大量处理中必然会带来一定影响。所以可以将空间数据库进行多台服务器存放，服务器可分不同区域存放，分散空间数据库的方式是一种高效的管理途径。通过数据管理器对不同空间数据服务器的集成管理满足了大规模空间数据库应用系统的建设需要。
3 结束语
GeoStar的核心是面向对象的集成数据库的管理系统，它高效、适应性广、直观。已经应用在全国的基础地理信息系统上。本文介绍的利用ArcSDE技术和GIS技术，并且采用集成化管理影像、矢量和DEM三库集成的的空间数据为模型。
对市级基础地理数据库进行基础库管理系统的设计，已经在应用中，并且为“数字地球”的目标提供了一个可以实施的方案。
参考文献：
[1]潘瑜春，钟耳顺，梁军.基于空间数据库技术的地籍管理系统研究[J].地理研究，2003（02）：237-244.
[2]万定生，张俐，吴红.中间件技术在汛情监视地理信息系统中的应用[J].计算机工程与科学，2003（01）.
[3]张成才，孙喜梅，黄慧.SDE的实体——关系模型空间数据管理方式研究[J].计算机工程与应用，2003（02）：199-201.
[4]周卫.Arc/Info的新型数据模型Geodatabase及其操作[J].计算机与地图，2001（05）.
[5]ESRI.ArcGIS Hydro Data Model[Z].ESRI Press，2001.
[6]李家田，刘洪斌，武伟，等.基于SDE的土壤信息系统空间数据库的设计和构建[J].西南农业大学学报，2003（02）.
作者简介：刘群娣（1975.10-），女，本科，讲师。
数据集成系统中多查询优化的研究 篇7
数据集成的目标是为多个分布的、自治的、异构的数据源提供一个统一的接口。为了支持对异构数据源的存取, 很多系统采用了中间件的体系结构[1] (mediationarchitecture) , 中间件通过访问数据源来处理用户的查询请求。中间件本身并没有存储实际的数据, 它通过转换用户的查询为一个或多个对数据源的查询, 然后转换这些查询结果并返回给用户。
中间件包含一个查询处理器, 它负责优化和执行查询。多查询优化可以识别出查询的冗余部分, 并消除这些冗余。这样就大大节约了数据源处理查询的时间和查询结果从数据源到中间件的传输时间。现有多查询优化算法包括分支定界算法[2]、优化查询集合算法[3], 最具代表性的是通过查询图来识别公共子表达式的算法[4]。但是上述算法都有其自身的缺陷。现提出的多查询优化算法, 把一个查询集合作为输入, 将这个查询集合拆分为若干个集合, 这样的处理可以有效的解决上述算法存在的问题。最后, 将本算法和识别公共子表达式算法进行对比, 论述其改进之处, 并对其进行展望。
1多查询优化介绍
多查询处理的主要问题是不同的查询访问相同的数据集所导致的查询冗余。多查询优化的主要目标是识别出这些冗余部分, 并消除这些冗余在中间件体系结构中, 当多个查询同时到达中间件后, 中间件要能够识别出这些查询中存在的冗余部分, 然后消除冗余部分, 这样就大大节约了数据源处理查询的时间和查询结果从数据源到中间件的传输时间。另外, 查询结果从数据源到达中间件后, 中间件应该对这些查询结果加以处理, 以对应用户的出示查询请求, 并将处理后的结果分发给各个查询请求者。
多查询优化问题包括两个重要的方面:
(1) 识别公共子表达式;
(2) 构建全局优化的查询计划。现有的算法都是基于上述两个问题展开的。
2多查询优化框架
多查询优化采用如下体系结构, 结构中包含全局优化器、查询计划生成器和结果生成器三个组件。如图1所示。
对于查询Q1, Q2, …, Qn, 经过全局优化器, 根据相应的多查询优化算法, 生成查询R1, R2, …, Rm其优化过程分为以下四个步骤:
1) 根据输入的查询集合构造一棵相应的伪包含树, 这棵树对应该集合的一个拆分;
2) 扩展树中的每个查询的头部变量;
3) 重写树中的每个查询;
4) 选取部分查询提交给查询计划生成器。
其中扩展查询头部变量和重写树中查询的算法都是已有的。现采取的扩展查询头部变量算法以及重写树中查询算法都是基于伪包含的, 在原有算法基础上需要稍作改进。
查询计划生成器, 根据查询折叠算法[5], 生成查询计划P1, P2, …, Pk。
结果生成器, 将数据源返回的查询结果通过综合、一致化后生成用户的最终查询结果。
3多查询优化在数据集成中的应用
3.1伪包含简介
3.1.1 伪包含的定义
设有两个查询Q1, Q2, 如果Q1, Q2满足条件A, 称Q1伪包含Q2, 记作
条件A:Q1和Q2的头部变量可以不同。但是查询的体部分和算术比较子目标部分满足包含映射的条件。
3.1.2 伪包含树的构造
首先, 根据伪包含关系表得出所有的伪包含关系。设置树的根节点为TRUE节点, 若
STEP1:初始化
置树T为一棵空树, 向树T中插入节点TRUE;
STEP2:查询集合预处理
把集合中的查询按势的非增顺序排列, 令处理后的序列为S, 其长度为Len;
STEP3:把S中的查询逐个插入到树T中
置current初值为1, 若current≤ Len, 则产生树T的 根t;根t的所有子节点序列为:s:<t1, …, tk>当存在属于s中的 子节点ti且序列中当前插入的节点伪包含于ti, 且ti是满足这种关系的第一个查询, 则将子树T的 根t置换为ti, 并更新t的子节点序列, 否则将tj作为S[current]的子节点;
当任意的s中的节点tj且序列中当钱插入的节点伪包含ti, tj作为S[current]的子节点;
把S[current]作为t的最后一个子节点;current++。
3.2对伪包含树进行操作
根据上述算法构造了一棵伪包含树T后, 经过修改每个节点表示的查询的头部变量, 运用扩展查询头部变量算法, 扩展T中的每一个节点。自底向上, 如果Qj是Qi的子节点, 扩展Qi的投影谓词, 令修改后的蕴含树为T′.最后对这棵伪包含树进行解析, 对树中每个节点表示的查询, 发送到查询计划生成器。
3.3算法性能分析
对于一个查询集Q, 设对于其中的每个查询Qi, 需要的连接次数为cost (Qi) , 如果, 每个查询被单独执行, 可得到总的连接次数为:
4实验结果及分析
本实验对比了两个伪包含的查询头部变量扩展算法和识别公共子表达式算法的情况, 实验结果如图2所示。图中的epv表示扩展头部变量算法, bj表示公共子表达式分析算法。
从图中的实验结果可以看出, epv算法的执行时间小于bj算法的执行时间。数据量越大, epv算法越显示出较好的性能。
5结论与展望
从上面的实验结果可以看出, 扩展头部变量算法在查询之间有伪包含关系的情况下要比公共子表达式分析算法的性能更优。但是, 如果没有伪包含关系的前提, epv算法的效率是要低于bj算法的。但是考虑80-20法则[6], 提出的算法性能在实践上是优于bj算法的。本文提出的算法由于只在有伪包含关系的前提之下有性能的改进, 在扩展性方面还有很大的改进空间。
参考文献
[1] Adali S, Candan K, Papakonstantinou Y, et al. Query caching and optimization in distributed mediator system. In:Proceedings of ACM SIGMOD Conference on Management of Data, Montreal, Canada, June 1996
[2] Grant J, Minker J. On optimizing the evaluations of a set of expression. International Journal of Parallel Programming. Springer Netherlands, 1980:179—191
[3] Sellis T K. Multiple query optimizations. ACM Transactions on Database Systems archive. ACM New York, NY, USA, 1988; 23—52
[4] Finkelstein S.Common expression analysis in database applications. International Conference on Management of Data archive.ACM New York, NY, USA, 1982;235—245
[5] Qian X. Query folding. In Proceedings of the Twelfth International Conference on Data Engineering. New Orleans, LA, USA, 1996;48—55
数据集成系统 篇8
某省供电公司为精确了解各县供电公司的业务运行数据统计, 为宏观管理提供决策依据构建一个业务数据统计系统。该系统要求各县供电公司提供2000多个统计数据并录入。这些数据统计计算复杂, 并且大部分可由已有的MIS或其他数据源直接获得, 但是需要各相关专工按指标统计频率 (月、季或年) 编写SQL语句在各相应数据源提取统计数据然后再录入上述系统。随之而来的问题是: (1) 各专工大都非计算机专业出身, 编写复杂SQL勉为其难; (2) 每种数据统计每月或每季都需编写一次SQL, 费时费力且容易出错, 随着数据源数量的增多和规模的增大, 这种方式甚至是不切实际的[1]。因此, 有必要构建一个数据集成系统解决上述两个问题。
对异构数据库的集成[2]已经有了多种方法, 本文所论述的系统主要是解决包括数据库系统在内的各种类型的异构数据集成问题, 重点在于各个信息系统的数据集成, 而不是功能集成。
根据上述需求, 该系统需具备以下几个特点: (1) 跨系统。可统计基于异构数据源的数据。 (2) 操作方便。需要统计时仅需简单的人工触发 (如点击按钮) 。 (3) 响应迅速。因为统计计算大量数据本身需要花费几秒甚至几十秒的时间, 所以各数据统计的计算需要并行执行以大量节约响应时间。 (4) 运行日志。因为数据源存在脏数据或出现系统故障或网络故障等原因, 系统运行出现错误在所难免, 这些错误信息如错误源、错误时间、错误内容等信息应实时记录到日志中。 (5) 外部接口。该系统应具备通用接口以使统计好的数据被业务数据统计系统等相关系统利用。
因为该系统牵涉到多个信息系统的数据源, 从全局应用需求入手, 采用了自顶向下的策略[3]来设计目标系统。与自底向上的策略[3]相比, 自顶向下的方法是根据对全局信息的需求来设计整个应用系统, 而不是以实现对所有成员数据源本身的紧密集成为目的。自顶向下的策略会导致更为松散的耦合, 而这恰恰对于数据源经常变化、原有数据源撤除和新数据源加入经常发生, 甚至全局需求也经常变化的情况十分适合。
1 系统的数据模型
系统关键实体的数据模型如图1所示, 包括统计项目实体Item, 计算步骤实体Step, 统计项目历史值实体History, ODBC数据源实体ODBCSource, 用户实体Users, 日志实体sysdtslog 9。
1.1 实体Item
实体Item表示统计项目。其中index_frequncy属性表示统计频率, 值域为“年”、“季”、“月“。
1.2 实体Step
实体Step表示统计项目的计算步骤, 其各属性值应组合成一条用于统计的SQL语句。SQL语句的统计结果值存放在Step-Value中。其中SelectSentence属性、FromSentence属性表示SQL语句的Select子句部分和From子句部分;WhereSentence属性表示Where子句的一部分;Year属性表示提取年份值的表达式;Quater属性表示提取季度值的表达式。如果相关联实体Item的index_frequncy属性值为“月”, 则该属性值为“0”;Month属性表示提取季度值的表达式, 如果相关联实体Item的index_frequncy属性值为“季”, 则该属性值为“00”;Operater属性表示运算符, 与一个Item实体相关联的Step实体的StepValue值根据相应Operater属性值计算出Item实体的统计值。
1.3 实体History
实体History表示统计项目的历史值。其中Year属性表示数据统计的年份;Quarter属性表示数据统计的季度。如果相关联实体Item的index_frequncy属性值为“月”, 则该属性值为“0”;Quarter属性表示数据统计的月份。如果相关联实体Item的index_frequncy属性值为“季”, 则该属性值为“00”。
1.4 实体ODBCSource
实体ODBCSource表示统计数据所在的ODBC数据源, 是本系统实现跨系统的关键实体。其中ServerType属性表示数据源的类型, 包括Sybase、Oracle、SqlServer、DBF、Excell等。
1.5 实体sysdtslog90
sysdtslog90实体表示系统运行日志, 是由SSIS自动创建的。其中computer属性表示发送日志信息的计算机名, source属性表示发送日志信息的任务, starttime表示开始时间, message表示详细日志信息。
2 SSIS关键类
SSIS是生成高性能数据集成解决方案 (包括数据仓库的提取、转换和加载 (ETL) 包) 的系统, 包括用于执行工作流函数 (如 FTP 操作) 、执行 SQL 语句或发送电子邮件的任务;用于提取和加载数据的数据源和目标;用于清理、聚合、合并和复制数据的转换;以及用于对 Integration Services 对象模型编程的应用程序编程接口 (API) 等。本系统中使用到的API对象主要有包Package和任务Task。
2.1 包 (Package)
包是一个有组织的集合, 其中可包括连接、控制流元素、数据流元素、事件处理程序、变量和配置, 可使用SSIS提供的图形设计工具或以编程生成方式将这些对象组合到包中。然后, 可将完成的包保存到 SQL Server 2005、SSIS 包存储区或文件系统中。包是可被检索、执行和保存的工作单元。
日志是在包运行时所收集的有关包的信息集合。例如, 日志可提供包运行的起始时间和结束时间。日志提供程序定义了包及其容器和任务在记录运行信息时可使用的目标类型和格式。日志与包相关联, 但包中的任务和容器可将信息记录到任何包日志中。Integration Services 中包含了多种用于日志记录的内置日志提供程序。例如, Integration Services 中包含了用于 SQL Server 和文本文件的日志提供程序。
2.2 任务 (TaskHost)
任务是一些控制流元素, 它定义包控制流中执行的工作单元。SSIS包由一个或多个任务组成。如果包中包含多个任务, 则它们将按照优先约束在控制流中进行连接和排序。
Integration Services 中很多类型的任务, 本系统主要使用了执行 SQL 任务:从包中运行 SQL 语句或存储过程。此任务可以包含单个 SQL 语句, 也可以包含按顺序运行的多个 SQL 语句。本系统中该任务用于执行实体Step对应的SQL语句。
优先约束将包中的可执行文件、容器和任务链接成控制流, 并指定决定可执行文件是否运行的条件。
3 统计项目提取算法
算法:基于SSIS的统计项目提取算法。其中I是统计项目对象集 (其成员统计频率一致) ;S是计算步骤对象集;P是类Package的对象;T是类TaskHost的对象;h是历史值实体集的一个对象。
输入: 统计年份Year, 统计季度Quarter (若项目统计频率不为“季”, 则该值为“0”) , 统计月份Month (若项目统计频率不为“月”, 则该值为“00”) 。
输出: 项目历史值实体集H (H.Year=Year, H.Quater=Quater, H.Month=Month) 。
方法:
(1) for each Ii in I do
(2) begin
(3) for each Si in S and Si.Item_Id=Ii.Id do
(4) begin
(5) T.SQLStatement=″select
Si.Value=″+Si.SelectSentence +″from
″+Si.FromSentence+″ where
″+Si.WhereSentence+″and″+Si.Year+″
=+Year +and″+Si.Quater+″=
+Quater+″+ and″+Si.Month+″=
+Month+″;
P.add (T) ; //将任务T增加到包P中
(6) end
(7) end
(8) P.Execute () ; //执行包P中的所有任务所对应的SQL语句
(9) for each Ii in I do
(10) begin
(11) R=0;
(12) for each Si in S and Si.Item_Id=Ii.Id do
(13) begin
(14) R=R (Si.Operater) Si.Value
(15) end
(16) h.Item_Id=Ii.Id;
(17) h.Year=Year;
(18) h.Quater= Quater;
(19) h.Month= Month;
(20) h.Value= R;
(21) H.Add (h) ; (22) end
4 外部接口
本系统的外部接口采用Web Service技术, 外部系统作为Web Service客户端向本系统的服务端发起请求。这样可以一方面消除本系统和外部业务系统之间复杂的耦合关系, 另一方面可确保各业务系统之间相对的独立性、完整性和安全性。
接口服务的服务名为FOR_CEIM_SERVICE, 四个输入参数分别为YEAR (年) 、QUARTER (季) 、MONTH (月) 、ITEM_CODES (需要提取的项目编码串) , 输出参数为与输入参数相应的项目值。
5 总 结
本系统已经用.net2005和SQL Server2005实现并成功在某县供电公司运行。事实证明, 本系统与其他类似系统相比具有设计简化、运行安全稳定等优点。
摘要：论述了一个基于SSIS (Microsoft SQL Server 2005 Integration Services) 的企业数据集成系统的技术实现。该系统采用自顶向下的策略实现, 其任务执行、并发控制与日志功能均以SSIS为基础, 可以对包括远程和本地关系型数据库、文本文件、Excel表格等各种企业异构数据源中的业务数据进行统计计算并将统计结果通过Web Services发布到外部系统。
关键词：SSIS,数据集成,集成系统
参考文献
[1]Miller R J, Hern偄ndez MA, Haas L M, et al.The Clio Project:Manag-ing Heterogeneity[J].SIGMOD Record, 2001, 30 (1) .
[2]Sheth AP, Larson J A.Federated Database Systems forManagingDistrib-uted.Heterogeneous, and Autonomous Database, ACM Computing Sur-veys, 1990, 22 (3) .
数据集成系统 篇9
在DPM系统环境下实现与其他应用系统之间的集成包括3个层次, 即应用封装、接口模式和集成模式。
1.1 应用封装模式
应用系统产生的文档由PDM自动存储和管理。为了使不同的应用系统之间能够共享信息以及对应用系统所产生的数据进行统一管理, 只要对外部应用系统进行“封装”, PDM就可以对它的数据进行有效管理, 将特征数据和数据文件分别放在数据库和文件柜中。所谓“封装”是指把对象的属性和操作方法同时封装在定义对象中。用操作集来描述可见的模块外部接口, 从而保证了对象的界面独立于对象的内部表达。对象的操作方法和结构是不可见的, 接口是作用于对象上的操作集的说明, 这是对象唯一的可见部分。“封装”意味着用户“看不到”对象的内部结构, 但可以通过调整操作即程序来使用对象, 这充分体现了信息隐蔽原则。当程序设计改变一个对象类型的数据结构内部表达时, 可以不改变在该对象类型上工作的任何程序。封装的内容包括应用工具本身及由这些应用工具产生的文件, PDM对这两方面都要管起来。封装可以使数据和操作具有统一的模型界面和逻辑的独立性。在不改变对象类型程序的情况下能够改变类型的实现。“封装”使数据和操作有了统一的管理界面。
通过PDM系统的应用封装, PDM系统不仅要管理封装的应用程序, 同时对由应用程序所产生的数据文件进行管理。也就是说, PDM系统能够自动识别、存储和管理由应用程序产生的文件, 同时被存储的文件可以在PDM系统环境中被激活时, 可以启动相应的应用程序, 并被编辑和修改。这样通过PDM系统的封装, 应用程序和由其产生的数据文件在PDM系统环境中相互关联。
产品数据的集成就是对产生这些数据的应用程序的集成。为了使不同的应用系统之间在PDM系统环境中能够共享信息以及对应用系统所产生的数据进行统一的管理, PDM系统通过对外部应用系统进行”封装”, 将产生这些数据的应用程序进行集成, 就可以对分别放在数据库中的特征数据和文件柜中的数据文件进行有效的管理。此外, “封装”还提供从一种应用转到另一种应用的功能。对于包含产品结构信息的数据, 还有其特殊性。因为“封装”不能了解文件内部的具体数据, 而PDM的产品结构配置模块必须掌握产品内部的结构关系, 应该采用接口或紧密集成模式。
1.2 接口模式
程序接口模式是一种比封装集成更加紧密、自动化程度更高、无需用户直接参与的集成模式, 它把应用系统与PDM系统之间需要共享的数据模型抽取出来, 并定义到PDM的整体模型中, 以使应用系统与PDM之间有统一的数据结构。通过接口集成, 应用系统作为一个对象纳入到PDM系统环境中。接口模式集成的特点是应用系统的数据对象自动创建到PDM系统中, 在封装的基础上, 按照应用系统与PDM系统间共享数据模型, 通过数据接口, 实现应用系统的部分数据对象自动创建到PDM系统环境中, 或从PDM系统中提取应用系统需要的某些数据对象, 使二者保持异步一致。在接口模式中, 每个应用程序除了共享部分的数据模型外, 还可以拥有自己的私有数据模型。一般地, 根据用户对系统数据的要求, 可以有工具式接口、直通式接口和间接接口方式。
1.3 紧密集成模式
紧密集成模式是最高层次的集成, 是每个实施PDM的企业所期盼的目标。在这一层次中, 各应用程序被视为PDM系统的组成部分。应用程序与PDM系统之间不仅可以共享数据, 还可以相互调用有关服务, 执行相关操作, 真正实现一体化。PDM系统对集成的信息类型, 包括面向应用的数据、特征数据等提供了全自动地双向交换功能。
PDM可提供各种类型信息的全自动双向交换, 包括产品信息、特征信息、参数和面向应用对象的信息等, 而各个孤岛技术系统能使用所有的PDM功能。首先在应用系统和PDM系统之间建立一种共享信息模型, 使其在应用系统或PDM系统创建或修改共享数据时, 对方也能进行自动修改保证双方数据的一致性。另外, 在应用系统中需要有PDM中相关的数据对象编辑与修改功能, 以使应用系统编辑某一对象时, PDM也能对该对象进行自动修改。紧密集成模式在CAD/CAM系统与PDM、MRP-II系统与PDM系统都有应用。紧密集成模式使应用系统成为PDM系统的有机组成部分, 它们之间不仅共享数据, 还能进行互操作, 真正实现一体化。
2 PDM与CAD/CAPP/CAM的集成
PDM是用来管理所有与产品相关的信息 (包括零件、配置、图档、CAD文件、结构、权限等) 和过程 (包括工作流程、更改流程等) 的集成技术, 它能有效地将产品数据从概念设计、计算分析、详细设计、过程设计、加工制造、试验验证、销售维护直至产品消亡的整个生命周期内及其各阶段的相关数据, 按照一定的数学模式加以定义、组织和管理, 使产品数据在其整个生命周期内一致、最新、共享和安全, 提供产品全生命周期的信息管理, 为企业的产品设计与制造建立一个并行化的协作环境。PDM作为工程领域的信息集成框架, 为产品数据、过程管理、并行化产品设计、CAX系统的集成提供了必要的支撑环境。CAX系统是产品的主要数据源, 由于不同CAX系统有不同的数据行为, 如CAD和CAP主般都有多种数据输入和输出方式和格式。这样, 在集成时所要处理的信息内容也是不同的, 这就要求在PDM框架中采用对信息统一编码的方式来解决数据的复用、数据的共享、数据的历史追踪等问题, 以保证数据的一致性和协调性。目前, PDM系统是最好的3C集成平台, 可以把与产品有关的信息统一管理起来, 并将信息按不同的用途分别地进行有条不紊的管理。不同的CAX系统都可以从PDM中提取各自所需要的信息, 再把结果放回PDM中, 从而真正实现3C集成。
在一个企业中, 可能存在着不同的CAD、CAPP、CAM系统, 也可能存在着这些系统与供应商、不同合作商之间的产品模型信息交换, 因而每天都在产生大量的数据和文档。在这样复杂的环境中, PDM作为集成平台, 一方面要为CAD/CAPP/CAM提供数据管理与协同工作的环境, 同时还要为他们的运行提供支持。图1给出了CAD/CAPP/CAM与PDM之间的信息流说明, CAD系统产生的二维图纸、三维模型、零部件的基本属性、产品明细表、产品零部件之间的装配关系、产品数据版本及其状态等需要交由PDM系统来管理, 而CAD系统也需要从PDM系统获取设计任务书、技术参数、原有零部件图纸、资料以及更改要求等信息;CAPP系统产生的工艺信息, 如工艺路线、工序、工步、工装夹具要求以及对设计的修改意见等交由PDM进行管理, 而CAPP也需要从PDM系统中获取产品模型信息、原材料信息、设备资源信息等;CAM则将其产生的刀位文件、NC代码交由PDM管理, 同时从PDM系统获取产品模型信息、工艺信息等。
实现应用系统CAD/CAPP/CAM与PDM系统集成的体系结构如图2所示。
作为一个集成平台, PDM具有对CAD/CAPP/CAM的封装能力, 并对其封装性提供从一种应用转换到另一种应用的功能。当PDM系统封装CAD/CAPP/CAM时, 在PDM系统中可以直接激活相应的CAD、CAPP、CAM系统, 并使不同的3C系统之间能够实现信息共享, 对他们产生的数据进行统一管理, 并在PDM系统中将图形文件显示为相应的实际图形;同样, 3C系统也可以直接进入PDM系统, 进行相应的数据管理操作, 而无需退出原来的系统、重新进入另一个系统。例如, 在PDM系统中, 当一个CAD应用程序被封装后, 在PDM系统中就可以查到该对象, 激活该对象进行工程设计。设计结束后所获得的设计结果如图形、属性等信息能够自动地在PDM系统中存储和管理。另外, 当需要对该图形进行修改时, 在PDM系统中查到该文件, 用鼠标双击即可以启动该CAD系统, 进行进行图形修改。此外, “封装”还提供从一种应用转到另一种应用的功能。PDM系统不仅可以封装CAD/CAM系统, 还可以封装其它的应用系统, 如文字处理、表格处理等。这样CAD/CAPP/CAM的应用软件均可以封装在PDM系统内实现信息透明、过程透明。
接口交换模式能够根据CAD装配文件中的装配树, 自动生成PDM中的产品结构树。通过接口程序破译产品内部的相互关系, 自动生成PDM的产品结构树;或者从PDM的产品结构树中提取最新的产品结构关系, 去修改3C的装配文件, 保持两者之间的数据一致性。PDM作为一种能够支持多种CAX软件的通用管理平台, 采用标准的数据信息接口建立PDM的产品结构与多种CAX软件之间的联系, 首先需要了解产品结构在PDM系统和CAX系统中的组织形式, 同时两个系统的操作界面中要有对方系统的功能菜单。CAX/PDM接口的核心任务是将CAX用户的工作结果连同有关的业务对象和数据对象一起构建到PDM数据模型中。
PDM是构筑在关系型数据库基础上的集成平台, 以一个共享数据库为中心, 可以跨越操作系统平台与应用软件平台, 能够实现多平台的信息集成。建立在PDM上的CAD/CAPP CAM集成体系, 充分利用了其对数据和软件集成的特点, 已成为企业实现信息集成的不可缺少的环境平台。随着计算机和网络的发展, 网络化制造的复杂环境对PDM又提出了新的要求, 建立网络化制造的PDM系统将成为下一步研究的热点。
3 基于PDM系统的企业信息集成
企业信息化系统包括计算机辅助设计 (CAD) 、计算机辅助工程 (CAE) 、计算机辅助工艺规划 (CAPP) 、计算机辅助制造 (CAM) 和计算机辅助质量管理 (CAQ) 、PDM和企业资源规划 (ERP) 等应用系统, 其中PDM和ERP是企业管理和信息化建设两个重要核心技术。基于PDM系统的企业全局信息集成框架如图3所示。
PDM提供了产品数据的组织与控制, 其功能模块包括:对象管理、产品配置管理、项目管理、系统管理、文档管理、版本管理、工作流程管理、结构管理、用户管理、权限管理等。能够实现分布式环境中的产品数据共享, 为异构计算机环境提供集成的应用平台。ERP从MIS和MRPII基础上发展起来, 是先进的企业经营管理模式, 实现所有与制造相关资源和过程的管理, 主要功能模块有销售管理、财务管理、生产管理、质量管理、供需链管理、决策支持管理等。ERP中的许多信息来自CAD/CAPP/CAM/CAE/CAQ系统, 通过PDM系统可以及对地把相关信息传递到ERP系统中, 这些相关信息除了图形数据外, 还应包括:任务进度数据、估计成本、技术指标参数;开发方法数据、任务状态数据;工装、设备需求、能力数据、B0M、工艺定额等。另外, ERP还有来自管理部门的产品数据、工艺数据、开工数据、变更数据;变更原因、库存信息、物料信息;产品测试结果、在制品状态;设备状态信息;加工能力信息。而ERP产生的信息也是通过PDM传递给以CAD/CAPP/CAM/CAE/CAQ的, 传递的数据应含有:开发任务书;技术指标、时间要求、修改任务书;任务书审核、计划日期、产品接收报告。从计算机辅助质量管理CAQ到ERP的数据应含有:开发任务书;技术指标、时间要求、修改任务书;任务书审核、计划日期、产品接收报告。从ERP到CAQ的数据应含有:质量目标、次品报告、用户质量信息、质量处理信息、质量成本信息、生产作业计划、进货计划、工装设备及加工人员情况、各项成本。可见, PDM系统是实现CAD/CAPP/CAM/CAE/CAQ与ERP之间信息传递的桥梁, 实现了企业全局信息的集成与共享。
4 结束语
基于面向工程机械产品的快速设计系统和企业信息数据管理, 构建了PDM与CAD/CAPP/CAM的集成框架和企业全局信息集成框架, 通过集成能最大限度地实现企业信息共享, 建立新的企业运行方式, 有效地提高了企业数据信息的安全性和一致性, 增加了企业对象的安全、高效和重复使用, 降低了企业成本和缩短产品开发周期, 提高生产效率。
参考文献
[1]童秉枢, 孟明良.现代CAD技术[M].北京:清华大学出版社, 2000.
[2]童秉枢, 李建明.产品数据管理 (PDM) 技术[M].北京:清华大学出版社, 2000.
[3]庞士宗, 肖平阳, 唐加福.产品数据管理 (PDM) ——现代企业信息化管理与集成的理想平台[M].北京:机械工业出版社, 2001.
[4]方凯.如何进行PDM选型和实施[J].计算机与网络, 2006 (7) .
数据集成系统 篇10
确保对广大用户的安全、可靠供电是地区供电企业的核心工作,配电自动化系统对提高配电网运行管理水平,提高供电可靠性具有重要意义。配电自动化系统通过对配电网实时运行、电网设备以及图形等信息的集成,实现对配电网的运行监控管理。配电自动化系统对多种信息的集成,是一项复杂而庞大的信息工程,各类数据来源于不同部门建设的不同系统,且配电设备数量庞大,更动频繁,因此,必须以一定的数据规则以及合理的数据交互机制,实现数据的集成。
1 配电自动化系统数据集成分析
配电自动化系统是供电企业进行配电网监控、运行管理的平台,其建设应保证系统兼容性、开放性、安全性、先进性与实用性,应充分评估建设及投运后的维护、管理成本。配电网设备数量庞大,设备接入和改造频繁,工期要求紧迫,配电自动化系统图形、模型、参数等数据调整频繁,基础数据维护工作量大,且与配电网工程建设进度要求配合紧密。因此,在数据集成方面,应充分考虑供电企业现有各系统已具备的基础数据及其工作流程,通过有效的数据集成实现数据综合利用及源端维护,以减少配电自动化系统数据维护工作量,确保配电自动化系统基础数据的唯一性、准确性和及时性。
通过对配电自动化系统基础数据集成与应用需求进行分析可以发现,与配电自动化系统相关的系统很多,它们之间有着密切联系且存在大量的数据交互[1]。首先,调度自动化系统包含变电站内10 kV母线及10 kV出线开关信息、拓扑关系及相应的接线图;配电GIS系统包含配电网设备参数、电网拓扑连接关系及单线图;计量自动化系统配变监测部分采集的配变信息,也是配电网运行监视的有效信息补充。配电自动化系统需要对上述信息进行有效的数据集成,且配电自动化系统的配电网实时数据、停电信息以及产生的快速复电方案等信息,可以提供给生产管理信息系统、快速复电系统以及客服系统,为其相应的功能应用提供基础数据。因此,配电自动化系统数据集成与应用涉及调度自动化系统、GIS系统、计量自动化系统、生产管理信息系统、快速复电系统、客服系统等多个生产、管理系统(见图1)。
对这些复杂的多源数据交换和提取,如果采用系统间直接互联的传统数据交换方式,随着配电网业务的增加,将形成网状结构。由于各系统应用平台、数据类型、存储机制的不同,必然形成复杂各异的数据接口及数据格式,数据交互稳定性无法保证,且维护工作量大,难以满足配电自动化系统及其他系统的应用需求。因此,以跨安全区的调度综合数据平台为依托,通过标准化数据集成技术的应用以及相关流程、规范的制定,实现配电自动化系统数据集成与应用,是解决上述问题的有效手段。
2 配电自动化系统数据集成技术
2.1 构建调度综合数据平台
以一体化电网模型为支撑,依据面向服务的体系架构,建立调度综合数据平台,实现以电网统一模型为基础的图形、模型、数据中心以及基于SOA架构的调度数据服务总线功能,为配电自动化系统数据集成提供技术支撑,以确保数据集成的可靠性、安全性、开放性、先进性。基于调度综合数据平台的配电自动化系统数据集成结构框架如图2所示。
基于SOA架构的调度数据服务总线遵循IEC61970/IEC61968标准,具备统一建模的电网参数模型,统一的数据标准和数据接口,数据交换过程中采用XML进行封装,并基于模型驱动来设计消息。调度综合数据平台作为调度数据服务总线,可以采用直接面向消息的方式集成服务。基于调度数据服务总线的调度综合数据平台遵循电力二次系统安全防护的要求,安全Ⅰ区与Ⅱ区之间配置防火墙,安全Ⅱ区与Ⅲ区之间配置正、反向单向物理隔离装置,分别在安全Ⅱ区和Ⅲ区建立调度综合数据平台的内平台和外平台,形成安全Ⅰ、Ⅱ区与安全Ⅲ区两大数据中心和应用集成环境。数据中心可以存储调度自动化、配电自动化、计量自动化、配电地理信息、营销系统等多个系统的电网运行数据、基于公共信息模型(Common Information Model,CIM)的电网模型、可缩放矢量图形(Scalable Vector Graphics,SVG)、客户信息等多种数据,数据中心内外平台均配置PI实时数据库。内平台PI数据库数据可通过正向物理隔离同步镜像到外平台PI数据库,用于实时数据存储。调度综合数据平台既可以通过数据总线实现各系统间数据直接交互,也可以实现各应用系统与数据中心间的数据交互。数据中心将各区数据以镜像方式进行同步,确保了数据的一致性,实现了源端维护,为配电自动化系统数据集成与应用提供了技术支撑。
2.2 配电自动化系统模型、图形信息集成
配电网调度运行需要10 kV母线及以下设备的电网实时运行信息,而10 kV母线及出线开关刀闸设备在变电站内,由调度自动化系统实现设备建模、绘制图形及实时数据采集,其他配电网10 kV设备由GIS系统进行建模及绘制配电网单线图,且电源点追溯、快速复电方案等一些配电自动化应用功能,需要10 kV母线及以下配电网设备具有完善的拓扑连接关系,因此配电自动化系统需要集成来自调度自动化和GIS系统2个系统的模型、图形,且模型应具备完善的10 kV母线及以下配电网设备拓扑连接关系。
为实现调度自动化系统、GIS系统模型、图形信息集成,本文提出以下技术方案:调度自动化系统提供主网全模型、变电站主接线图到调度综合数据内平台;GIS系统提供配电网模型、单线图到调度综合数据外平台,并通过平台的反向物理隔离镜像至内平台,2套系统的模型均符合CIM/XML标准,图形符合SVG图形规范;在调度综合数据内平台,实现变电站10 kV母线及以下模型从调度自动化全模型中的拆分。由于调度自动化系统和GIS系统分别有自己的资源ID管理机制,2个系统无法在其各自导出的CIM/XML模型文件中实现rdf:ID的统一,因此规定了2个系统的重叠边界—馈线必须具有统一的Naming.name属性,从而实现调度自动化系统拆分出的10 kV母线及以下模型与来自GIS系统的配电网模型的合并。
图3示例说明了GIS模型中的馈线如何实现与调度自动化模型的合并。A站“A.F1”为一双出线馈线,在配网中对应为2条线路,对应CIM中建模为ACLineSegment(馈线线路LINE1和LINE2);而在EMS系统中,此馈线往往建模为一个单一的负荷,对应CIM中建模为EnergyConsumer(设备F1),图3中DZ为与变电站馈线出线连接的刀闸设备模型。
为实现主配网的模型合并,规定了调度自动化系统的馈线负荷F1的Naming.name必须为“A.F1”,而GIS系统中馈线线路LINE1和LINE2的Naming.name也必须是“A.F1”。合并程序根据这个信息将调度自动化系统中的馈线负荷删除,并对主配网模型拼接点相邻设备的端点(Terminal,TE)、连接点(ConnectivityNode,CN)信息进行了修改,以实现完善的10 kV及以下配电网拓扑连接关系描述(见图4)。
配电网全模型及增量模型均经过模型合并后再进行与配电自动化等系统的共享,其中调度自动化系统全模型;SVG图形每日进行更新导出,同时拆分出10 kV母线及以下模型;GIS系统配电网增量模型、SVG图形按照模型、图形发布流程进行发布;GIS系统配电网全模型每月生成一次,并在调度综合数据平台实现与配电自动化系统导出全模型的比对,为维护人员提供差异提示,模型、图形的传输以调度数据服务总线的消息机制实现,启动模型合并及模型、图形导入解析过程,满足配电自动化系统建设要求。
2.3 配电自动化系统实时数据集成
配电自动化系统实时数据的集成,根据实时性要求的不同可分为2类:一类为实时性要求较低的数据,如计量自动化系统采集的配变监测数据;另一类为实时性要求较高的数据,如调度自动化系统采集的10 kV母线及出线数据。根据数据不同的实时性要求,配电自动化系统采用了不同的数据集成技术方案。
1)针对实时性要求较低的数据,通过调度综合数据平台实现集成。调度综合数据平台配置了PI实时数据库,可以提供快速数据存取,计量自动化系统数据已通过设备名称实现与GIS系统配电网CIM模型中设备的关联,即计量自动化系统数据与配电网CIM模型中设备ID具有关联关系,在计量自动化系统采集配变数据后调用PI数据库的API接口实现数据存储[2]。同时采用PI数据库的别名机制,数据ID描述采用CIM模型中设备ID,从而使配电自动化系统通过解析GIS系统CIM模型即可通过PI数据库API接口实现对应设备的量测信息存取,实现相应的数据集成。
2)针对实时性要求较高的数据,经过多种通信方式的实践测试,最后选择通过专用通信接口实现集成,以确保实时性要求。调度自动化系统将10 kV母线及以下设备的遥测、遥信数据向配电自动化系统传送,采用了专用数据通信规约,规约包含CIM模型中量测信息相应ID及实时数据,配电自动化在正确解析导入的变电站10 kV母线及以下配电网CIM模型后,形成设备、设备名称及相应量测ID的对应关系,在接收并解析到调度自动化系统传送的数据包后,能够自动将接收的量测数据解析,并与设备相对应,实现数据的实时显示、存储。专用通信规约采用TCP连接的大数据包格式,全数据间隔15 min传送一次,变化数据实时传送,大大提高了传输效率,确保了数据传输实时性。调度自动化系统每日通过增量模型将设备变更情况发送配电自动化系统,同时变更发送实时数据专用通信规约中设备ID,自动实现传输实时数据及数据与设备对应关系对照,自动实现对新建、改造厂站数据传输的变更,相比104规约大大降低了数据转发的维护工作量,达到源端维护目的。
2.4 配电自动化系统数据共享
配电自动化系统既是数据的使用者又是数据的产生者,通过调度综合数据平台可实现配电自动化系统配电网运行实时数据、快速复电方案等信息与其他系统共享。配电自动化系统通过调用调度综合数据平台PI数据库API接口,实现实时数据存储,并经过物理隔离装置,镜像到安全Ⅲ区PI数据库。由于PI数据库的数据ID采用GIS系统配电网CIM模型设备ID进行描述,其他系统可通过解析GIS系统提供的配电网CIM模型并调用PI数据库API接口,实现配电自动化系统实时数据共享。另外,在配电网发生故障后,配电自动化系统可生成快速复电方案,复电方案以XML格式进行封装,可基于SOA架构的调度综合数据服务总线,通过消息机制,与设置在安全Ⅲ区的快速复电系统实现数据共享。
3 配电自动化系统数据集成管理
3.1 完善相关工作流程
在一定技术保障基础上,必须完善相关工作流程,才能确保数据集成的实现,因此,在开展配电自动化系统建设后,增加了配电自动化信息调试环节。配电自动化系统在接收并解析GIS系统发布的图形、模型信息后,才能具备调试条件,因此必须调整配电网图模信息发布流程,将GIS系统图形、模型信息发布环节提前。在配电网新建或改造设备投运过程中,由于停电时间短、工期紧,为确保在配电终端接入调试前,配电自动化系统具备相关图模信息,可通过规定在配电网数据电子化移交过程中,GIS系统在会审环节进行“调试态”图形、模型数据的发布,并规定至少在停电前3天必须通过会审,以确保配电自动化系统能够在配电网设备停电前3天能够接收到GIS系统图模信息,预留检查排错及数据库参数配置的时间,并在竣工后由调度人员进行正式图形、模型发布,实现“调试态”至“正式态”的变更,确保了图模信息更新的及时性、正确性,并减少停电调试时间。这个过程中,配电网图形、模型增加了“调试态”,这是一种针对配电自动化信息调试开发的一种中间状态,在会审完成时进行“调试态”图模信息的发布,在会审完成后配电网工程验收前的这段时间,配电自动化系统图模库有“调试态”和“正式态”2种状态,期间调度员在“正式态”进行配电网实时状态监测,自动化人员在“调试态”开展相关调试信息的准备工作,最后由调度人员在配电自动化信息调试验收确认后触发配电自动化系统相关设备“调试态”向“正式态”的转变。通过上述流程变化及“调试态”图模信息的技术支持,确保了配电自动化信息调试顺利进行,并有效减少了停电调试时间。
3.2 规范化数据质量控制
配电自动化系统的建设与应用,对各系统数据准确性提出了更高要求,突出表现在GIS系统中配电网设备命名、所属关系、拓扑连接关系等方面。由于GIS系统对图形、模型的应用与配电自动化系统存在差异,而GIS系统作为配电自动化系统图形和模型的源头,需要对图形的录入及模型的生成提出新的要求,以解决大量的数据质量问题。在某特大型地区供电企业建设配电自动化系统过程中,通过制定《配电网设备命名规范》,确保了配电网设备命名的统一,避免配电及设备重名。制定《地理信息系统数据录入规范》,同时在GIS系统及配电自动化系统中开发拓扑连接关系、设备重名等校验程序,在设备命名、所属关系以及拓扑关系不完善的情况下,不能进行图形及模型的发布。通过制定《配电GIS与配电自动化系统数据交互规范》,规定了符合IEC61970/IEC61968标准及SVG图形规范的数据格式及包含的内容,解决了模型语法描述不合理、类型描述不统一等模型问题和系统图元错位、设备连接误差及字符重叠等图形问题。
4 结语
以调度综合数据平台为基础,采用配电自动化系统数据集成技术与相关流程、规范等管理制度相结合的方式,实现了配电自动化系统数据的有效集成。在实现配电自动化系统数据集成近2年的时间内,广州供电局配电自动化系统已接入3 000多个配电终端,导入4 000多幅配电网单线图,以及11个区局配电网模型,数据集成满足配电自动化系统建设要求,有效降低了配电自动化系统数据维护工作量,确保了数据的准确性、及时性、唯一性,且其开放的、先进的、标准化数据集成应用技术,为跨系统、跨平台的数据共享和综合利用提供了一种实用化解决方案。
参考文献
[1]刘海涛,赵江河,苏剑.基于ESB的配电自动化及管理系统信息集成[J].电力系统自动化,2008,32(18):47–51.LIU Hai-tao,ZHAO Jiang-he,SU Jian.ESB Based Information Integration of Distribution Automation and Management System[J].Automation of Electric Power System,2008,32(18):47–51.
[2]王俏文,陶文伟,丁坚勇,等.基于PI数据库的供电企业实时数据中心的设计与实现[J].电力系统自动化,2009,33(6):99–103.WANG Qiao-wen,TAO Wen-wei,DINGJian-yong,et al.Design and Development of Power Supply Enterprise Real-time Data Center System Based on PI Database[J].Automation of Electric Power System,2009,33(6):99–103.
相关文章：
2025年公司晨会主持稿主持词(十四篇)01-15
证券公司信息安全01-15
2025年公司元旦晚会主持串词稿 某公司元旦晚会主持节目串词(十七篇)01-15
集成监测系统01-15
2025年公司年会主持词串词 企业年会主持词串词(七篇)01-15
公司晨会主持稿主持词结束语 公司晨会主持词(大全8篇)01-15
最新公司晨会主持稿开场白 公司晨会主持词(大全9篇)01-15
信息系统集成与数据集成策略01-15
软平台集成系统01-15
