数据交换系统

关键词：

数据交换系统（精选十篇）

数据交换系统 篇1

随着信息技术的发展,业务领域的变化频率越来越高,业务流程再造的速度越来越快,数据模型不断升级,导致数据迁移需求不断增加,跨部门业务融合也导致数据交换的需求持续增加。因此,建设一个数据交换平台迫在眉睫。该平台不仅可以提供点到点的系统间数据交换,还能实现点到面的跨部门、跨业务的数据集成,对整体数据资产提供有力支撑。

目前,主流的数据库产品大多提供了数据迁移工具,但这些工具一般只适用于数据的导入、导出,并且只能支持一个或几个特定类型的数据库[1]。现在的问题是用户使用的数据库产品种类众多,比如格式化的数据库有Oracle、SQL Server、DB2、MySQL、Access、Sqlite、达梦、金仓等;半结构化的数据格式有xls、csv、json、xml等;NoSQL类型的数据库有MongoDB、Redis、HBase等。无论是数据迁移还是数据集成,均需要在它们之间交换共享数据。如果工具只支持一对一的数据转换,就可能需要开发、维护、学习使用一批这样的工具[2]。因此一个通用的数据交换系统是实现数据迁移和数据集成重要的基础工具。

1 数据交换过程

一个典型的数据交换过程包括以下几个步骤:数据抽取、数据转换、数据加载[3],为了顺利实现数据交换,还需要对以上几个过程加以控制,这就是人们常说的ETL(Extract Transform Load),这里加上了控制(Control),简称为ETLC,如图1所示。

数据抽取,就是从数据源中获取数据。进行数据抽取是进行数据交换的首要步骤,它是指从异构的数据源中获取需要的数据。这里的异构数据源既包括传统的结构化数据库(支持SQL标准)、半结构化数据文件(如XML文件、JSON文件、XLS文件等),还包括不断涌现的NoSQL数据库(如:MongoDB、Memcached、HBase等)。建立一个通用的数据访问接口是获取不同数据源数据的关键。

数据转换,就是根据目标数据源的要求转换数据,实现异构数据源之间的数据转换是进行数据交换的重点。完成从异构数据库中提取数据之后,为了满足目标数据库对数据的要求,需要对其进行相应的转换。建立一系列数据转换规则是满足不同数据转换要求的关键。

数据加载,就是将数据加载到目标数据源。进行数据加载是达成数据交换目标的最后一环,它需要按照事先制定的加载策略,将经过转换的、符合要求的数据有针对性地加载到目标数据库中。

过程控制,就是启动、记录数据抽取过程。对数据交换过程进行控制是数据交换的有效保障。针对不同的数据交换需求,应能够自动地启动交换任务,收集、记录交换过程中的日志和异常信息,为掌握交换事务,及时发现和处理各种异常提供支撑。

2 数据交换元数据

通过对数据交换过程的分析可以看出,进行数据交换的基础是对数据源及其映射关系进行描述,数据交换过程需要对数据抽取、数据转换、数据加载、过程控制进行描述。元数据是对数据资源的规范化描述,对于数据交换过程中涉及到的数据源以及交换行为,可以抽象为以下几类元数据。

2.1 数据源描述元数据

数据交换实质就是数据从一个数据源通过抽取、转换、加载到另一个数据源,因此,数据交换的基础就是要对数据源进行详尽描述。

数据源按其类型不同,可概括为结构化数据库、半结构化数据文件、NoSQL数据库。无论何种类型的数据源,在进行数据交换时,首先都要知道如何访问,这就需要描述数据源所属的数据库类型、数据库版本、数据库名称、数据库的URL、访问数据库的用户名与密码等信息。

数据库逻辑上是由数据表组成,在进行数据交换时,要知道需要交换的数据在哪张表里,因此需要描述数据表信息,包括表的名称、表的语义描述、表所属的数据库等。

数据表是由一系列字段构成的,在进行数据交换时,最小的粒度是数据从源端的某张表的一个字段至目标端一张表的某个字段,因此对表字段的描述至关重要。字段的描述信息包括:字段的名称、字段的语义描述、字段所属的数据表、字段类型、字段的约束信息等。

通过以上分析,对数据源的描述可以归纳为三元组,记为D(Db,Dt,Df),其中Db为数据库描述信息,Dt为数据表的描述,Df为数据字段的描述,其逻辑关系如图2所示。

2.2 数据映射元数据

数据交换是不同数据源之间的数据转换,最终反映的是数据字段之间的映射关系。对于异构数据的交换,这种映射关系不仅包括不同数据要素之间的对应关系,还包括字段之间的转换规则。因此对于数据映射的描述,可以用四元组表示,记为R(Rd,Rt,Rf,Rc),其中Rd为源端数据源与目标端数据源的对应关系,Rt为源端数据表与目标端数据表的对应关系,Rf为源端数据字段与目标端数据字段的对应关系,Rc为源端数据字段与目标端数据字段的转换规则,其逻辑关系如图3所示。

2.3 交换操作元数据

实现异构数据交换的核心功能是进行ETL[4],即抽取、转换和加载,为了提高整个ETL过程的可控性、灵活性、通用性,需要对每个操作过程加以控制,因此交换操作元数据由数据抽取元数据、数据转换元数据、数据加载元数据和操作控制元数据组成。

2.3.1 数据抽取元数据

数据抽取就是按照事先制定的抽取策略将需要的数据从源端数据源抽取出来,对于数据抽取元数据的描述可用三元组表示,记为E(Ed,Es,Ep)。其中Ed为源端数据源,包括数据源连接信息和结构信息,Es为数据抽取范围,包括需要抽取的表及字段信息的集合和每张表内需要抽取的内容范围,Ep为抽取策略,分为手动抽取、定时抽取、准实时抽取等。

2.3.2 数据转换元数据

数据转换就是根据目标数据结构与源数据结构的映射关系,按照转换规则,将从源端数据库抽取出来的数据转换为与目标数据库相适应的数据,描述数据转换元数据可用四元组表示,记为T(Ts,Td,Te,Tr)。其中Ts为源端数据库,包括数据结构信息,Td为目标数据库,包括目标数据库结构信息,Te为需要转换的数据,是数据抽取结果的实例,Tr为源端数据结构与目标端数据结构的映射关系,是数据映射的实例。

2.3.3 数据加载元数据

数据加载就是将特定的、经过转换的数据加载到目标数据库中,描述数据加载元数据可用三元组表示,记为L(Ld,Lt,Lp)。其中Ld为目标数据库,包括数据库连接信息和结构信息,Lt为需要加载的数据,是数据转换结果的实例,Lp为数据加载策略,分为先清空后加载、增量加载、直接追加转载等。

2.3.4 操作控制元数据

数据交换需求,可以抽象为一个交换任务,一个交换任务是由若干个数据交换操作过程来实现的,为了使数据交换的各部分有机协调工作,需要操作元数据控制整个数据交换过程,描述操作元数据可用五元组表示,记为C(Ct,Cd,Cs,Cr,Cl)。Ct为与一次交换任务相关的信息,Cd为当前交换操作的目标数据库,Cs为当前交换操作的源数据库,Cr为当前交换操作关联的数据映射集合,Cl为当前交换操作过程产生的日志信息结合。

3 设计实现

3.1 系统逻辑

基于以上数据交换元数据,一个通用的数据交换系统框架由5层结构组成,分别是数据源层、数据访问层、元数据层、交换功能层和应用层,如图4所示。

数据源层:需要进行数据交换的所有数据源,能够支持数据源动态地加入或退出。

数据访问层:功能模块访问数据源的统一接口,它为上层的功能应用屏蔽了异构数据源访问差异,其核心是为不同类型的数据源建立相应的适配器。

元数据层:存储数据交换功能的元数据,它是数据交换功能的驱动源。

交换功能层:由实现数据抽取转换的各功能模块组成,包括数据抽取功能、数据转换功能、数据、数据加载功能和过程控制功能等。

应用层:提供数据源注册管理、数据映射编辑、数据交换策略管理、交换任务管理、交换任务执行、交换日志管理等用户交互操作界面。

3.2 系统应用流程

数据交换系统应用流程包括:

(1)注册数据源。按照数据源描述元数据的要求,将需要进行数据交换的数据源加入到交换系统中,详细描述数据源相关信息,包括连接信息和数据结构信息。

(2)编辑数据映射。根据数据交换需求,针对参与交换的源数据库和目标数据库的结构差异,建立字段级数据映射关系,选择相应的数据转换函数。

(3)数据交换任务管理。创建数据交换任务,设置交换策略。选择源数据库和目标数据库,确定任务启动方式(手动或自动)、启动时间、间隔周期等参数;根据数据抽取、数据转换和数据加载元数据要求,描述数据抽取范围、数据抽取策略、数据加载策略等。

(4)数据交换任务执行。根据交换任务启动策略,启动一个交换任务。系统完成数据抽取、数据转换、数据加载等动作,并记录任务执行过程中的相关日志信息。

(5)数据交换日志管理。查看相关任务执行过程中的日志信息。

4 结语

本文通过分析数据交换过程,提炼出数据交换的元数据模型,基于这些元数据模型构建了通用的数据交换系统。实践表明,基于元数据驱动的数据交换系统,屏蔽了异构数据源的差异,适应了数据映射规则的多样可扩展特性,满足了交换策略的灵活可定制要求。通过该系统,可以集中管理异构数据源,进行异构数据之间的转换,具有良好的适应性、灵活性、通用性和可扩展性,为进行大规模的数据迁移和数据集成提供了基础支撑。

参考文献

[1]张朝晖,徐立臻,董逸生.一种基于SOA的企业集成平台[J].计算机工程,2011,37(5):115-119.

[2]邓新莉,张四平,刘珊,等.基于中间件平台的异构数据交换与集成[J].四川兵工学报,2011,32(3):26-28.

[3]邹卫国,郭建胜,王毅.基于XML的异构数据交换研究[J].中国管理信息化,2009,12(24):184-189.

[4]王盼卿,刘增良,陶源.基于元数据的ETL工具集成研究[J].2009,25(12):58-61.

数据交换系统 篇2

关键词:电力系统;数据交换;继电保护;标准

在电力行业的发展过程中，继电保护部门是其中最为主要的部门之一，目的是对电力系统的相关运行进行管理以及控制，发现在运行过程中可能存在的故障以及运行状况，在此基础上采取相应的措施进行管理，以实现自动化的发展。在故障发生的最初阶段，继电保护装置会自行切断故障设备，并且将信号传输给管理人员，再交由技术人员对故障产生的原因进行具体的处理，令电力可以正常的使用。

1继电保护数据的交换现状

数据交换系统 篇3

关键词:电子政务;低保系统;数据交换

中图分类号:TN919.6+5文献标识码:A文章编号:1007-9599 (2010) 09-0000-01

Data Exchange Platform Design Based on XML in System of Lowest Living Ensure

Song Xiaohong

(Changsha Social Work College,Changsha410004,China)

Abstract:This paper describes the development of E-government in China and introduction of System of lowest living ensure,analyze the problem of data exchange in E-government system.The structure of data exchanging system based on XML is presented.

Keywords:E-governmen;System of lowest living ensure;Data exchange

推进信息化是覆盖现代化建设全局的战略举措,是提高政府监管能力、工作效率和公共服务水平的迫切要求。电子政务建设是国民经济和社会信息化的重要内容。

低保制度的建立和实施,对妥善解决城市贫困人口的生活困难问题,维护社会稳定,促进经济体制改革的顺利进行发挥着重要作用。

一、民政低保系统简介

随着改革开放和社会主义现代化建设的进一步推进,我国电子政务建设已经起步。最近几年,经过各地区、各部门共同努力,重点业务系统的应用进展顺利,统一电子政务网络不断推进,基础信息库和标准化体系建设开始起步,信息安全保障能力不断增强。

民政低保系统建设以民政部低保中心为信息管理中心,以各级民政部门为业务处理核心,以低保人群为服务对象,以劳动和社会保障、财政、卫生等部门和金融机构为信息交换对象,实现跨地区、跨机构的大型综合与分布式的信息与网络化系统,开发并部署全国统一的低保业务应用系统,该系统将包括低保业务子系统、信息服务子系统、信息交换子系统、资金管理子系统、业务监管子系统、统计分析和决策支持子系统、预警监测和响应子系统;构建低保信息系统的安全平台,为低保业务信息系统的安全运行提供一个稳定可靠的环境。

二、低保系统中的数据交换需求分析

在低保系统实施的过程中,要实现低保信息省、市、区、街道、居委会(社区)的协同处理,实现资源共享,肯定会有各级部门之间数据信息的传送。主要有:

(一)民政内部信息交换

民政内部信息交换主要是从市到省的数据交换和从省到部的数据交换,交换内容主要包括业务数据交换、监管数据交换和决策数据交换等。

(二)同级部门信息交换

同级部门信息交换主要是和同级政府相关部门的数据交换,交换内容主要包括和民政部门开展的相关救助业务情况的数据和统计信息。同时还包括民政部与相关部委的数据交换与共享,各省民政厅与各委办厅局的数据交换与共享,各地市民政局与各委办局的数据交换与共享,各区县民政局与各委办局及相关企业的数据交换与共享等。

由于各级政府机关之前已经开发或购买了满足其使用要求的应用系统或软件产品,这些系统之间的系统体系结构、操作系统平台和数据库平台之间都存在差别,造成系统间难于、甚至无法进行信息交互。为了保证各部门之间互联互通、信息共享、数据交换,提升政府工作效率,在进行数据交换平台设计时,要能够实现不同网络、不同操作系统间的数据传递,以适应目前已经形成的复杂网络环境和操作系统环境,同时也需要提供不同数据格式间的转换能力,以适应各种系统的数据格式,实现不同系统对数据的正确解析和使用。

所以新的民政低保系统应在进行数据交换平台设计时,数据交换平台需要解决下面一些问题:

1.政务内网、政务外网、政府公众信息网模式下跨安全域的数据交换问题。三网模式下各个网络存储数据密级不同,同时,部门内部对不同数据有着自己特殊的安全需求。数据交换平台必须提供统一的身份认证、授权管理等安全支撑体系。

2.异构系统之间的数据交换的问题。各职能部门业务系统实现内容各异,采用不同的应用系统、数据库系统及操作系统。这为平台提出了一个新的问题,即如何在各内部业务系统中提供一个基于公共标准的信息采集模块。

3.数据的数据格式转换的问题。包括不同数据库环境所支持数据类型不同以及相同数据库环境中数据结构设计各异等。需要一种可访问不同数据环境与实现数据结构、数据类型双向映射转换的公共服务模块。

4.不同系统间统一的数据传输机制的问题。要实现不同系统间的数据交换与共享,必须由一种统一的数据通讯机制控制数据传递,实现多种通讯协议下不同格式和标准的数据报文传输。

随着民政信息化发展,数据交换方面的需求和应用将变得越来越重要。

三、数据交换技术介绍

常见的数据交换技术可以分为:电子数据交换(EDI)方式、数据仓库方式、中间数据方式。

以XML作为中间数据的数据交换技术是近几年兴起的新技术,它不但克服了应用系统只能进行基于点对点的数据交换的缺点,而且适合于网络传输,非常适用于信息化条件下的数据交换和存储。基于数据库和XML的数据交换不但简化了接口设计而且具有更大的适用性,接口设计和数据传输、存储更加方便。

XML是由W3C提出的可扩展标志语言(Extensible Markup Language)的简称,是数据交换的介质,任何两种格式的数据交换都要借助于XML。XML提供了一种结构化的数据表示方式,它在采用简单、柔性的标准化格式表达和应用程序间交换数据方面具有很大的优势,使得用户界面与结构化数据相分离,它能够对来自于不同系统的数据进行集成和处理。XML主要用于描述数据文档中数据的组织和安排的结构,非常简单,只是为数据的结构化提供了一套规则。它的关注点不是数据在浏览器中如何布局和显示,而是数据内容的组织和结构。

四、基于XML的数据交换平台总体结构设计

信息资源交换体系是依托国家电子政务网络和电子政务信息安全基础设施,为跨部门、跨地域政务信息资源交换与共享提供的电子政务信息服务基础设施。交换体系总体结构由服务模式、交换平台、信息资源、技术标准和管理机制组成,如图1所示。

不同服务模式的业务应用通过调用交换平台提供的交换服务,实现对信息资源的访问和操作,技术标准和管理机制为政务信息资源的交换和共享提供技术和管理的保障。

在进行数据交换功能设计时,通过综合国内外同类相关平台的长处,建立以信息交换、信息共享和工作流为核心,符合WFMC国际工作流规范的电子政务系统数据交换平台,提供规范的、可灵活配置的、具有相当安全性的数据交换手段。针对不同用户采用的不同数据库,利用数据库访问模块预先实现针对各种数据库的访问功能,然后通过一个可以被外界调用的命令接口类,来执行SQL语句,只需指明所要使用的数据库类型,便能完成操作。

数据交换平台的核心功能在于完成不同应用间的消息收发和数据内容转换,涉及到数据交换标准、数据库技术、安全技术和网络技术等。其中,通过XML解决异构数据源之间数据交换的难题;通过平台的数据收发器将异构系统问的通信转化为平台间的通信,构建了一个松散耦合的分布式通信系统。

在数据交换过程中,各个应用系统通过数据适配器,作为一个节点与数据交换平台相连,交换过程对各子系统透明。在数据交换过程中参与交换的各系统仅服从于该系统与其相连接的数据交换平台定义的数据交换规则,与数据来源、交换对象、交换对象的个数及其物理位置、系统环境、逻辑结构无关,避免了对现有系统的改造,实现了多个系统数据共享与交换的透明,为将来系统的扩展提供了便利。

五、结束语

随着电子政务、电子商务的发展,数据集成正广泛应用于越来越多的领域,XML以其方便、简洁、数据和表现分离等特点,成为进行数据集成的良好方案。目前,很多厂商随带着自己的相应产品,提出了各自的方案,造成数据交换的标准十分混乱,各种不同的产品难于集成。今后,这些系统的整合仍将是研究的重点,特别是建立一种通用的数据交换标准更是亟待解决的问题。

参考文献:

[1]曾小宁,黎明.一种基于XML的数据交换方案的设计.广东教育学院学报,2008,6

[2]江涌,于建武,刘镇,李征.电子政务系统中数据交换平台设计.计算机技术与发展,2008,7

[3]黎文导,卢瑜.J2EE平台上基于XML数据交换系统的设计与实现.长春工业大学学報,2006,12

[4]王丽君,李小丽.XML电子政务数据交换平台的研究与设计.网络与多媒体,2006,12

数据交换系统设计思路 篇4

本系统的设计遵循可配置、可伸缩、高性能3大宗旨。本系统为上层程序提供高效的数据访问Http接口,功能涵盖数据库访问、缓存访问、搜索引擎服务几大块,考虑到各种上层程序的数据源的不同,缓存使用率的差异以及数据检索的需求不同,系统必须做到可灵活配置,包括以下几个重要方面:可配置数据库类型(Oracle或My SQL,可配置数据库连接池的容量、时间等参数,可配置缓存服务的个数,可配置缓存失效的时间,可配置搜索引擎的字段索引方式、索引类型、索引个数等等。并且系统要能确保数据库连接的稳定,确保数据库连接能够中断重连,确保缓存数据的均衡分布,确保数据搜索的高效,确保整个服务无单点故障。

2 总体设计

2.1 需求

本系统提供上层程序,如:PHP、ASP、JSP、.NET等数据操作(含增删改)及数据查询功能。本系统与上层程序采用Http方式进行通信,采用UTF-8编码以XML或JSON传输数据。

2.2 运行环境

硬件环境:CPU T5870,800/内存,2G,硬盘40G以上

软件环境:Cent OS releas5.4,Nginx0.8.49,Tomcat6.0.18,Memcache1.1.12

2.3 系统结构

在整个Web应用中,本系统部署在页面程序(如:PHP)与数据源(如:My SQL或Memcached)之间。浏览器终端向Web服务器发出请求,Web服务器将请求转发给中间件系统,中间件系统对请求分析后,自动选择最高效的数据源(缓存或者DB)获取数据,数据经过封装返回给Web服务器,Web服务器再对用户作出响应,参考图1。

本系统主要可分为以下几大模块:请求接受模块、请求分析模块、缓存访问模块、缓存维护模块、数据检索模块、索引维护模块、数据库访问模块、数据库连接池以及数据处理和封装等辅助模块。

为了降低系统各模块之间的耦合度,并考虑到服务的单点故障问题,本系统采用集群+分布式的部署方式。Tomcat的部署:集群方式,采用多个Tomcat上部署相同的请求处理程序,Tomcat前端采用Nginx实现负载均衡。当有请求到达,Nginx将根据各个Tomcat服务的负载情况分发请求。

负载均衡部分配置参数如下,Nginx运行于172.17.1.172的81端口,4个Tomcat分别运行于172.17.1.172和172.17.1.173的90及100端口。外部请求统一由172.17.1.172的81端口接收,然后转发至上述4个Tomcat之一,Tomcat处理成功后交由Nginx返回结果给上层程序。

3 接口设计

3.1 外部接口

本系统对外提供两个Servlet作为Http访问接口:QueryServlet和Execute Servlet。

Query Servlet接收数据查询请求,Execute Servlet接收数据操作(含增删改)请求。请求的数据格式为String类型的XSQL语句。

XSQL实际上就是标准SQL末尾追加附加参数。“nocache”表示不使用缓存及搜索引擎而直接强制到数据库查询数据。“lucdb”表示不使用缓存,而选择搜索引擎或者数据库为数据来源。“luc”表示不使用数据库,选择缓存或搜索引擎为数据来源。若不含有附加参数则由中间件系统智能判断使用何种数据源。

3.2 内部接口

内部一个最主要的接口是IController,IController是请求响应的控制中心。所有对外数据的进出都将通过本接口,该接口还承担了请求参数的安全正误验证以及数据源的选择工作。

整个查询请求的处理过程如图2所示,首先控制中心接收请求,第一步交由请求分析器分析请求参数,然后交由缓存模块获取数据,若缓存没有命中,则根据配置或者参数需求到搜索引擎获取数据,如果索引失败或者索引中无数据,最后交由数据库模块获取数据。

除控制中心外,还有几大模块,第一个模块是缓存模块,含两个重要接口:ICache Server,ICache Updater。ICache Server是缓存服务接口,任何缓存的存取操作都通过该接口进行。该接口包含以下方法:stop,停止缓存服务;contains Key,缓存中是否含有该Key;put,将数据存入缓存服务器;remove,将数据从缓存服务器中移除;update,更新缓存中服务器中的某对应数据;get,从缓存服务器中得到某数据;key Set,返回缓存服务器中的所有Key;persistence,持久化某缓存。I-Cache Updater接口管理者缓存数据的更新工作,当数据库中数据更新后,该接口在一定时间内会把最新数据同步到缓存。

第二个重要模块是数据库模块,包含以下几个接口和对象:IDBSql Processor,SQL处理转换接口,根据数据库的类型,对SQL进行针对性的处理;DBSearcher,数据库搜索对象,负责到数据库检索数据,并返回特定格式;IDBEditor,负责对数据库进行增删改操作,含同步操作和异步操作;IPool Con FAC,连接池工厂,负责管理所有的数据库连接池。

第三个重要模块是搜索引擎模块,该模块核心部分基于开源框架Lucene实现。包含以下接口和对象:Luc Searcher,搜索入口;ILuc Sql Processor,Lucene提供搜索API但并不支持直接用SQL查询,所以程序需要对SQL进行分析转换,该接口就是进行SQL的预处理,过滤掉Lucene不支持的数据及查询类型;ISql To Map Processor,该接口对预处理后的SQL进行搜索条件的提取并转换成Hash Map,方便下一步的处理。IMap To QBPro,转换Hash Map为自定义的查询对象QueryBean;IQuery Builder,负责把查询对象Query Bean解析封装成Lucene的查询对象Query;IRs Processor,对查询结果进行格式转换,方便输出。

第四个模块是索引维护模块,有两个重要接口:IIndexUpdater,索引更新周期的控制,索引更新类型的控制,如重建索引或增量索引;IIndex Creater,索引的创建对象,索引的创建由该接口实现。

数据交换系统 篇5

一、企业技术准备

（一）技术环境

企业自行选择并购买用于预录入数据交换的软硬件设备。相关软硬件配置要求如下：

1．硬件配置

CPU：1GHz以上； 内存：1G以上；

硬盘：剩余空间10G以上； 接口：USB接口；

网络：10M/100M自适应网卡；

其它外围设备：USBKey、IC卡和读卡器等，如企业需要使用加密机，按照《电子口岸密码产品选择和使用指南》要求进行选购。

2．软件配置

操作系统：

win7/win8/win10/win2003/win2008等操作系统；

交换软件：支持MQ/AS2/AS3/Amqp等传输协议

数据传输软件。3．网络环境

互联网。

（二）备案申请

1.企业通过中国电子口岸门户网站（http://）自行下载《海关预录入系统业务数据交换接口清单》、《海关外网数据交换接口规范》。

2.企业

通

过

95198

客

户

服

务

网（http://）自行下载《大连关区业务数据交换接口使用申请表》、企业法人授权书、《海关预录入业务数据交换安全承诺书》。

3.企业提交《大连关区业务数据交换接口使用申请表》、企业法人授权书、经办人身份证原件及复印件等文件到大连数据分中心。

4.大连数据分中心审核通过后，企业应签订《海关预录入业务数据交换安全承诺书》，大连数据分中心向企业提供预录入业务数据交换相关技术服务支持工作。

（三）系统改造

企业自行或选择通过第三方服务商提供的技术服务改造企业自身内部系统，生成符合海关业务规范的报文，实现数据交换功能。包含两方面的工作内容： 1.企业按照《海关预录入系统业务数据交换接口清单》改造内部系统生成符合海关业务规范的报文。

2.企业按照《海关外网数据交换接口规范》自主开发或市场采购传输客户端，实现数据传输功能。

二、联调测试 1.预检报文

系统改造完成后，企业可使用业务数据格式预检工具对自身内部系统生成的报关报文进行检测，确保生成的报文结构符合报关规范。

2.测试申请

企业通过95198客户服务网自行下载并填写《大连关区业务数据交换接口使用联调(上线)申请表》，加盖企业公章后提交给大连数据分中心，办理预录入业务数据交换联调测试环境配置开通事宜。

3.联通测试

企业根据数据分中心反馈的配置信息自行配置企业联通系统环境，并参照海关提供的标准报文样例进行联通测试。

4.测试通过

企业在联通测试完成后，可通过互联网自行下载并填写《海关预录入系统业务数据交换接口联通测试报告》，加盖企业公章后（一式两份）提交给大连数据分中心。数据分中心在《海关预录入系统业务数据交换接口联通测试报告》中确认测试是否通过，加盖数据分中心签章后将其中一份反馈给企业，另一份数据分中心留存。

三、正式运行

联调测试通过的企业可以申请预录入系统正式环境接入。

1.申请

企业填写《大连关区业务数据交换接口使用联通(上线)申请表》并加盖企业公章，提交给大连数据分中心。

2.接入

企业根据数据分中心反馈的配置信息自行安装配置内部环境，完成系统接入工作。

四、日常运维

大连数据分中心提供热线服务，受理企业咨询和报障，如涉及海关内部系统故障将予以协调解决。

五、有关联系方式 联系电话：0411-95198。

分析数据通信交换技术 篇6

关键词：ATM；IP；数据分析；交换技术

中图分类号：TN915 文献标识码：A 文章编号：1674-7712 （2013） 02-0015-01

数据通信是以“数据”业务为主的一种通信系统，数据是预先约定好的具有含义的数字以及字母和符号等。计算机的发展，数据通信应运而生，实现了计算机与计算机之间的传递。电信技术的发展，使其数据交换的技术也随之出现。

交换即转接，是交换通信网中不可缺少的技术。交换是指按照某种方式对传输线路的资源进行分配，交换技术主要包含了报文的交换、分组的交换、线路的交换以及分组的交换等几个方面。

目前的宽带数据通信网出现了两种不同的技术，即IP与ATM，IP的网络核心节点为太位路电器；ATM的网络核心节点为ATM交换机，其目的为了实现信元的高速交换。

一、目前数据通信的几种交换方式

（一）电路交换：能为任意一个入网的用户提供一条临时使用的物理信道，这种方式被称为电路交换，是由通路的各节点内部早空间上完成的信道接续而形成。这条物理信道始终被用于信息的传输，因此不允许被用于其他的计算机。

（二）分组交换：分组交换，同时也被称作为包交换。它的主要作用是将用户发来的数据分割成相同长度的数据包，因此被称为打包或者分组。分组交换是指在每个数据包前面加一个分组头，作为将发往何处的地址标志，然后分组交换机会根据不同的地址标志对其转发到目的地。

（三）报文交换：报文交换，同时也被称为信息交换方式。报文交换是将用户之间不直接存在的信息进行接收以及发送的特殊物理信道。同时还将用户正在进行交换的报文进行存储，当输出电路出现空闲的情况时，再将报文发送到需要接收的交换机。

二、DDN

（一）DDN的工作方式：DDN作为高质量、高宽带的数字数据通信网，数字信道为信息传输的主要信道，因此不具有交换的功能。用户的数据信息应该根据之前约定好的协议，采用同步转移的模式对数字进行分复用的技术，所以必须在固定的时间内对通信宽带和速率传输进行事先设定。

（二）DDN提供的业务：DDN网作为全透明的网络，因此可以为分组交换网和互联网提供中继电路；不仅可以对一点对提供多量的业务；同时还可提供图像、G3传真以及语音和智能等多种业务来满足用户的要求。

三、FR

（一）FR的工作方式：FR的主要任务是将在原来的交换基础上进行分组交换做出相对简化数据传输新技术。它在OSI第二层主要采用简化的方式进行数据的传送和交换。因为FR仅完成OSI的物理层与核心层的功能，将控制流量以及纠错等任务留给终端来完成，因此不仅使节点机之间的协议简化，同时还提高了传送的效率。

（二）FR的特点：1.传输效率高。2.产生的费用低。3.兼容性好以及组网的功能性强。4.网络资源的使用率高。

（三）FR提供的业务：FR主要使用的面向连接交换技术，虽然能够提供需要交换的PVC和SVC，但目前只能采用交换虚电路的方式。

四、IP

（一）IP的工作方式：IP交换是一种高效的IPoverATM技术，同时也被称为三层交换技术。简单来讲，三层交换技术即“二层交换技术加上路由转发技术。”IP只对数据流中的第一个数据包进行路由地址的处理，由路由转发，继而按照已经计算好的路由在ATM网建立虚电路VC。这样的处理方式使数据包在今后不用经过路由器，可以直接沿着VC的方式进行传输，提高传输的效率。

（二）IP的交换的特点：1.因为彼此之间不存在连接建立时延，因此IP在进行交换的时候不需要事先建立通信线路，可以随时将信息发送出去。2.通信的双方可以不使用固定的通信线路，因此，提高了对通信线路的使用率。

（三）IP提供的业务：适合多种业务的环境，目前主要使用于宽带以及IP骨干的传输。

五、X.25

（一）X.25的工作方式：X.25的交换方式主要体现在传统储存转发方式的基础上，进而发展的一种新型交换方式。X.25的主要工作是将用户发送的数据进行分割，每个分割后的分组都有一个分组头，而分组头的主要目的是为了指明将要发往的地址，最后按照地址的排列顺序挨个进行交换网的发送。

（二）X.25的特点：因为X.25的交换动态主要为分配线路资源和传输的效率高，因此能为不同种类的终端提供互通的便捷。其具体内容如下：1.交织传输。2.统计时分可复用：采用动态的方式对线路资源进行分配。3.逻辑信道：在分组的交换方式中，每条逻辑信道在一次呼叫过程中都有相应的逻辑信道号。因此被用于用户的区分。4.虚电路：虚电路是根据报文的需要，以及占用多个时隙相应的缓冲空间而来的，因此，进行呼叫时不需要建立固定的物理通道。5.分组多路的通信：因为每个分组都有控制信息，所以分组型的终端可以做到与多个用户终端同时通信。

（三）X.25提供的业务：分组交换可以提供永久虚电路，同时还能开发以及提供增值的数据业务。

六、ATM

（一）ATM的工作方式：ATM的转移模式是立于电路交换和分组交换的基础上，主要目的是将数据分解成固定长度53B的信息，目前将这样的分组叫做信元。而ATM主要以信元为单位进行复接、交换等工作。复用的时候只要具备信元就可以进行信息的发送工作。

（二）ATM的特点：1.不仅可以建立虚电路来进行数据的传输，同时支持无连接的业务。2.因为采用的数据包属于固定长度的模式，因此有利于宽带的交换。3.采用异步术同时能够采用服用技术。4.ATM技术使其协议以及网络功能得到简化。

（三）ATM提供的业务：ATM常用于局域网互联、互联网以及虚拟局域网，还可用于电视领域。其主要优点在使用的过程中可以提高速度。

七、结束语

央行数据交换系统的升级改造探讨 篇7

(一) 业务需要。

人行地市中心支行在履行央行金融服务、货币政策、金融稳定等职能的日常工作中, 内部多个业务部门需要经常同辖区金融机构交互传输大量的文件报表, 为加强信息安全管理, 需要升级旧系统。

(二) 完善旧版。旧版本有以下缺点:文件管理不便、用户管理混乱、业务操作繁琐、用户未实名、扩展性较差。

二、系统主要升级功能

(一) 按业务划分文件管理。

新版系统实现按业务种类 (业务组) 划分文件传输, 如科技类、征信类、统计类、反洗钱类、信贷类、发行类等, 每个业务组下均有两类用户 (人行用户和金融机构用户) , 同一个业务组下的用户可以相互收发文件。金融机构和人行各业务组用户具有相同权利, 各机构及各业务组之间不能通信, 机构只能查看属于自己的文件。

(二) 按业务发布公告。

指定业务组下, 人行用户可以对该业务下的所有金融机构用户发布通知公告, 文件传送或公告说明一目了然。为方便查询, 已发布公告可以设置有效期, 公告只能停用不能删除。系统主画面只显示在有效期内未停用的公告。

(三) 文件收发管理。

收发文件按类似邮箱的方式实现, 建立发件管理和收件管理。发送文件以附件方式上传。人行用户有对所属业务下所有文件 (含金融机构上传文件) 的维护 (删除) 权, 金融机构用户只对本用户上传的文件有维护权。

(四) 系统用户。

人行用户使用总行LDAP信息, 采用实名制登录, 输入姓名后自动提示:×××中国人民银行/南京分行/徐州市中心支行/××科, 一个用户可以属于多个业务。金融机构用户由机构自己建立, 须输入本单位金融机构编码, 选择业务类型, 输入登录用户名、密码、电话、地址等信息, 由人行用户审批后生效。登录时选择人行或机构用户, 再下拉选择业务种类。人行县支行按金融机构用户处理。

三、主要数据库设计

(一) 金融机构信息表。含金融机构编码、机构名称、机构地址、联系电话、IP网段、操作员、操作日期、机构状态 (禁用、启用) 和人行或金融机构标志等。

(二) 业务种类信息表。含业务种类名称、业务所属科室 (只能属于一个科室) 、状态、操作员、操作日期、业务附件存放目录 (每个业务对应一个目录) 等。

(三) 角色组信息表。系统有管理组、人行组、机构组等角色。一个用户可以属于多个角色组。

(四) 收发文件信息表。含所属业务种类、发送用户、接收用户、发送时间、主题、内容等。

四、主要功能模块

(一) 系统维护。

系统超级管理员维护人行科室、业务种类、系统用户等, 同时管理系统全部附件, 完成对存储空间的维护;超级管理员通过总行LDAP库中选择建立业务类下人行管理员用户, 该用户对该业务组下的其他人行用户有建立权, 对金融机构用户有审批权, 以及禁启用状态和口令重置等编辑权限。

(二) 发件箱。

人行用户在所属业务组下录入标题、内容、上传附件等自定义选择金融机构发送文件。发件箱列表分页显示全部发件, 并标记是否已阅读。删除文件时相关附件自动删除。金融机构用户发送文件时默认只能发送给人民银行对应业务组下的用户。

(三) 收件箱。

集团企业信息系统数据交换平台研究 篇8

数据交换平台主要是异构异地系统之间的信息交换平台, 信息交换过程中交换平台是一个中间件, 通过编程把数据从业务系统中提取出来, 再送到数据交换平台。利用数据交换平台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等, 只需要关注与业务本身的数据处理部分。

1 部署数据交换平台

1.1 数据交换平台分类

数据交换平台有两种:一种是业务性平台 (分公司平台) , 担负着与信息系统的数据交互和与数据中心的数据交换;另一种是交互性+业务性平台 (总公司平台) , 实际上它相当于一个数据交换中心+分公司平台, 它不仅担负着与总公司的信息系统进行数据交付, 还要负责从各个分公司平台获取文件以及向各个分公司平台发送数据的任务。

1.2 数据交换平台部署

1.2.1 平台程序文件访问权限

数据交换平台的程序文件存放在DataExchangePlatform文件夹下面, 将该文件夹复制到服务器硬盘上复制完成后, 对DataExchangePlatform文件夹属性进行设置:

给平台中的DataExchangePlatform文件夹添加用户访问权限。选择新建立的FTP用户名, 添加此用户, 并设置完全访问权限。

1.2.2 创建FTP虚拟目录

当数据交换平台程序与系统处于不同的服务器上时, 需要创建一个虚拟目录, 这个虚拟目录指向平台数据交换文件夹如“C:DataExchangePlatformFTP”, 此时的系统端也是指向该虚拟目录。

当数据交换平台程序与系统处于同一台服务器上时, 需要建两个虚拟目录, 一个用于数据交换平台, 一个用于系统, 指向的路径都是数据交换平台文件夹。

1.2.3 为虚拟目录添加权限。

(1) 在创建的虚拟目录上创建的FTP用户权限, 将权限设置为完全控制。

(2) 面权限设置成功, 可以对虚拟目录进行浏览。

1.2.4 配置文件设置

配置文件有三个文件组成:

(1) Config.xml文件的设置

该文件主要是对数据交换平台运行时, 需要执行的进程参数配置, 共有八个进程标识。

根据数据交换平台与系统的部署位置不同, 对该文件的参数配置要求也有所不同, 当数据交换平台与系统分别部署在不同的服务器上时, 只需要配置config.xml文件中的中心解析配置文件节点参数、中心同步分发文件节点参数、中心解析执行文件节点参数和中心二次分发文件参数, 将其他四个节点参数配置项删除;当数据交换平台与系统共用一台服务器时, 需要对config.xml文件的所有节点参数进行配置。

config.xml的八个节点参数设置说明:

1) 上传配置文件参数

2) 回写业务文件参数

3) 解析回执文件进程参数

4) 同步业务系统进程参数

以上四个节点是系统端config.xml文件的节点。

5) 中心解析配置文件

6) 中心同步分发文件

7) 中心解析执行文件

8) 中心二次分发文件

以上四个节点与平台中心处于同一服务器上, 如果数据交换平台所在服务器没有系统, 则config.xml文件中只有这四个节点。

(2) ConfigSystem.xml文件配置

配置文件主要是定义业务系统参数, 这些参数设置好后分配给各个业务系统使用。有系统唯一标识 (GUID) 、业务系统解析平台传递过来的配置文件服务器地址 (ftpServer) 、用户名 (ftpUser) 、密码 (ftpPassword) 、虚拟目录名称。

ConfigSystem.xml文件只在平台所处的服务器中存在。

GUID:系统的唯一标识符。可以用Virual Studio中的GUID生成工具生成, 每个GUID都不重复;

ftpServer:系统所处服务器IP地址;

ftpPort:系统所处服务器端口号 (默认21) ;

ftpUser:系统所处服务器上新建FTP访问用户名;

ftp Password:系统所处服务器上新建FTP帐户密码;

Destination:FTP虚拟目录。

(3) ConfigDatabase.xml文件的配置:

该文件主要是定义业务系统数据库参数, 这些参数是安装系统时定义的数据库地址、数据库名称、数据库用户名、数据库密码, 它是系统分公司数据库配置文件。如果集团化平台数据独立存在于服务器上, 需要将该文件删除。

该文件节点的说明如下:

GUID:系统的唯一标识符, 且要与上面平台中的GUID保持一致;

sql Server:系统的数据库服务器地址;

Sql DataBase:系统在数据库中的数据库名;

sqlUserName:SQL Server身份验证模式下的数据库用户名;

sqlPassWord:SQL Server身份验证模式下的数据库访问密码。

1.3 启动数据交换平台

当环境和配置文件的参数都正确设置完成后, 执行DataExchangePlatform文件夹下面的DataExchangePlatform.EXE程序文件, 启动数据交换平台。

当有数据交换的时候, 平台程序将自动进行处理, 可将该程序放入系统启动项中, 启动服务器时, 可自动启动数据交换平台程序。

2 数据交换平台工作状态

要实现各信息系统之间的正常业务数据的交换, 就必须要保证各信息系统所在服务器上数据交换平台DataEchangePloatform.exe程序处于运行且激活状态。

(1) 数据交换程序处于运行状态主要体现在DataEchangePloatform.exe。

(2) 数据交换平台处于激活状态, 主要体现在DataExchangePlatform.exe在桌面任务栏中找到, 并能够双击打开程序界面。

2.1 服务器不可远程登录

通常情况下, 服务器不能够被远程登录, 这一方面可以降低成为“肉鸡” (被黑客植入病毒的机器) 的风险, 另一方面也可以有效地保证服务器中数据的安全。如果数据交换平台在这种服务器环境下运行, 那么只要保证数据交换平台在当前登录用户的进程中处于运行状态, 在任务栏中处于激活状态即可保证数据交换平台的正常工作。

2.2 服务器可以远程登录

然而, 在很多情况下, 由于很多特殊情况下需要服务器被用户远程登录, 这在很大程度上就对数据交换平台的正常工作造成很大的障碍, 针对这种情况, 可以有以下解决办法保证平台处于正常工作状态: (1) DataExchangePlatform.exe程序从用户的启动项中取消; (2) 管理员账户登录系统时, 确保数据交换平台DataExchangePlatform.exe处于执行且激活状态。

3 数据交换平台内容

⑴安全通道:首先需要在数据交换平台和各个信息应用服务器之间建立安全通道, 保证只有数据交换平台和各个信息应用服务器之间进行安全连接和数据交换, 各个信息应用服务器之间和其他所有情况不能连接, 安全通道的建立建议使用Windows内置的IPSec (1P Security) 。IPSec用于提供IP层的安全性。由于所有支持TCP/IP协议的主机进行通信时, 都要经过IP层的处理, 所以提供了IP层的安全性就相当于为整个网络提供了安全通信的基础。

⑵各部分连接:在安全通道的基础上进行数据交换平台服务器和信息服务器的各部分连接和之间的数据交换, 其中连接包括:文件连接, 数据库连接, 代理连接。数据交换平台各种连接器。

⑶文件连接器、数据库连接器:各个信息服务器提供FTP服务和数据库连接服务, 数据交换平台做为所有信息服务器的客户端使用FTP进行文件的上传和下载, 使用数据库连接进行数据的查询和处理, 完成文件和数据的交换。

⑷代理连接器:各个信息服务器安装数据数据交换平台的代理服务, 提供Socket连接方式, 数据交换平台通过代理连接信息应用程序, 实现对各个信息应用程序之间的调用和数据交换。信息应用程序通过代理实现触发和连接数据交换平台等操作。

⑸队列连接器:队列连接是和基于消息处理的队列管理组件建立消息队列的连接。队列可以分离数据交换平台和各个信息应用程序, 使其不必同时运行。队列支持同步和异步的处理机制, 实现快速可靠的通信。

⑹数据路由:采用“一次抽取, 并发路由”的机制, 目的是为了减轻对数据源如数据库的压力, 同时也提高处理的性能。方便集中处理后的数据根据路由条件, 并发地将结果路由到分布的数据目标中, 如目标库表、消息队列等。

⑺运行监控:记录每个任务的明细, 包括开始运行的时间、每个任务执行所用的时间、每个任务执行的明细。如果有意外, 记录意外的详细信息, 包括意外产生的原因、相应的意外处理、保存意外数据的记录文件等。

⑻管理程序:创建和维护数据交换平台的运行环境, 提供可视化的连接配置维护并发布到各个信息应用程序中。

4 结语

数据交换系统 篇9

近年来随着信息化建设的不断推进,我国企业信息化和电子政务建设已经进入了一个新阶段。在信息化建设过程中,各个企业和各个部门都出现了多个独立系统并存的现象,这些系统出自不同的开发商,不同的技术架构,就必然造成数据不能交换,不能共享,即所谓的‘信息孤岛’问题。另外,随着我国电子政务各项工作的深入推进,以及网上企业年检、银税共享工程等一批信息化应用工程的建设,许多政府部门需要共享机关、企业、事业和社团等多种基础信息。目前整体的IT战略价值很难体现,信息交换与共享势在必行。

面对信息化过程中所遇见的这些困惑和需求,目前通常的做法是正面回避数据交换问题,而是在架构和平台层面,通过XML技术和Web service技术[1,2,3]进行数据、应用、业务和流程层面的整合,实现应用系统间的集成性、共享性、互操作性。面向服务的体系结构(Service-Oriented Architecture,SOA)作为开放的Internet时代IT体系结构新样式,虽然支持将业务作为链接服务或可重复业务任务进行集成、跨网络访问[3],但松耦合在带来应变敏捷性的同时,也给业务建模和服务划分带来难题,并且对集成遗留系统的工作始终是一个挑战。

文献[2]通过建立交换中心来管理交换节点的服务注册和异构数据映射,带来了实现和管理的复杂化。文献[4]通过邮件方式交换数据,但只是完成信息的整体添加。

在电子政务系统中,人们期望不同数据交换节点间以对等的方式进行;在接口中定义每个节点的标准数据交换平台的功能和逻辑表现,双方在对应的协议层次上进行对话。数据交换平台把本属各部门的异构数据联结起来,在统一的接口的基础之上,为每个单位的应用系统提供了全局的、透明的数据交换和共享。

本文通过参照网络信息交换的原理探讨建立一种基于Socket(套接字)的通用数据交换系统(Universal Data Exchange System)UDE,旨在达到像网络互联那样实现应用系统间数据共享、互操作的目的。该模型支持在各种技术环境中实现系统之间的消息交换,并能在不同的编程语言和操作系统中应用;对新业务需求的变化具有可扩充性;设计了一个面向模式的规则驱动的数据交换方法,该方法以关系模式为交换标准,所有XML描述格式都通过关系模式这一中间标准完成交换,同时对交换双方数据库的异构性进行了技术性统一。

2 系统设计原理

2.1 UDE概述

按照ISO/OSI参考模型,模型建立在协议的最高层—应用层,采取点对点对等通讯模式,由于是构筑在星状体系上的交换模式,所有的交换单体彼此是独立的、相互无关的。数据交换功能的直接体现包括获取、更新、添加、删除等内容。还包括信息的统一封装,即信息的打包和应用系统的统一编址,对传输的过程进行全程监控,提供日志、审计、会话管理、传输优先级设定、流量负荷分析等。在实际应用中采用如图1所示的连接方式。

UDE实现多线程,负责接收和发送,在完成数据的查询、修改的通信协议中,消息(Message)是数据交换的基本单位,通过消息传递的方式实现信息交换非常类似于网络的消息包传递方式。接收节点负责将消息解析成SQL语句,直接操作数据库完成数据交换。

2.2 UDE结构

UDE工作原理如图2所示:

2.2.1 Send/Receive module(发送/接收模块):

采用TCP/IP通讯协议,发送方即提起服务申请方向接收方发送消息数据包,信息格式为符合特定标准的XML字符串格式。接收方接收并解析协议包,将解析后的信息组合成操作数据库的SQL语句,更新数据库或提取符合条件的数据并返回。每次接收完成后回复发送端一个ACK确认信息,确认信息已经发送成功。

2.2.2 Message Parser/Builder module(消息包转换模块):

实现字符串格式数据与XML格式之间的相互转换,对信息格式进行检查验证,保证发送/接收数据的正确完整性。

2.2.3 UDE API module(应用接口模块):

参与数据交换的应用系统可以调用接口函数,按照规定格式填写参数,实现向其他应用系统发送数据。该模块也可以调用事件处理程序,接收其他应用系统的数据消息。

2.2.4 DB Wrapper Adaptor module(数据库转接模块):

支持各种常见数据库系统。在定义数据源连接时,增加一项数据库操作驱动配置,用于隔离不同数据库和数据库驱动的差异,使应用系统做到与数据库无关性,可以将应用系统方便地移植到任何其它数据库。

同时数据库适配器DBAdapter还负责:

维护Connection Wrapper对象集和映射连接:Connection Wrapper对象有名称和打开、关闭连接方法;

准备Connection:当申请连接的新Connection Wrapper在对象集中有同名对象,则直接取该同名对象映射的已申请过的连接作为当前连接进行数据库操作,否则调用新Connection Wrapper的方法取到连接作为当前连接,并将对象和连接映射关系放进对象集。

维护数据库操作的事务完整性:对每个Connection Wrapper进行提交和回滚,一旦出错自动回滚。

释放所有连接:除了通过正常方法释放外,在它被回收时强制进行所有连接的释放。

2.2.5 Fields Mapping module(关系模式定义模块):

采用ORM(Object Relationa Mapping,对象关系映射)方式,提供数据交换双方数据元的翻译对照功能,可以进行定制设置来提高系统的通用性,以系统唯一标识(PROCID)以区分各系统。目的是在异构关系数据库之间建立元模型统一数据的语义。

2.2.6 SQL Generator module(SQL语句生成模块):

根据数据库适配器DBAdapter和Fields Map,将消息转换成操作数据库的SQL语句,减少接口API的复杂度以及对旧数据库系统具有良好的兼容性。

2.3 消息定义

在UDE通信协议中,消息(Message)是数据交换的基本单位,通过消息传递的方式实现信息交换非常类似于网络的消息包传递方式。信息由以下几部分组成:

(1)信息头(Message Header):包含包长度和信息类型(Message type)。包长度用于判断消息是否接收完毕,在生成消息时自动添加。每种信息类型用于定义信息目的和用途,如REQ表示请求,ANS表示返回信息,ACK表示消息应答等。

(2)信息体(Message Body):是消息的主要载负,即关系模式定义,包含操作类型、字段类型、数据状态、数据等,使开发人员更为方便的定义与实现查询工作,例如查询分页功能的自动处理机制,查寻条件的逃逸处理机制,查寻条件的复合匹配机制等。定义如图3。

详细XML定义示例如下:

如上示例中的oper Type=‘ADD’表示对业务表PERSON进行insert操作,形成SQL语句为:

INSERT INTO PERSON(NAME,IDCARD,SEX,YEAROLD,EMAIL,BIRTHDAY)VALUES(′姓名′,′ID′,′2′,22,′zhaf@163.com′)。

oper Type=[add,updaate,delete,que ry],filte Level表示该字段是否为过滤字段以及级别,如为0则表示为普通数据,不为条件字段,级别相同且不为0的表示在形成条件语句时在一个括号内。Logic Oper为逻辑操作符(and或or),最后一个则忽略。Join描述多表间的连接关系。rows Per Page和cur Page实现分页处理。

3 系统应用

本文建立的基于消息的通用数据交换模型为应用系统间数据交换提供了理论依据。据此,某公司设计开发了一套医保经办机构与参保单位、定点医疗机构、定点药店、财税部门、银行、商业保险公司、学校、社区等的数据交换平台,实现了与各部门的互联。下面仅就银行代收费系统利用UDE数据交换模型的实现加以简单介绍。

1)消息传输模块:主要实现消息的发送和接收,采用客户机/服务器模式,采用TCP/IP协议进行通信,利用Socket编程实现网络通信。

在客户端通过构造一个Socket类来建立与服务器的数据流连接,以服务器监听套接字的IP地址和端口号为参数,连接套接字建立好后,建立套接字的输入、输出流,然后分别用read()和write()函数从套接字输入和输出流中进行读、写数据,进行和服务器端的双向通信。

在服务器端构造一个Server Socket类,然后利用accept()方法监听服务器的端口是否有客户端请求连接,如果有请求并连接成功,则创建套接字的输入、输出流,同客户端进行通信。

2)消息构造、解析模块:实现消息的解析和消息命令码的执行。

由于该系统功能相对简单、交换内容较为固定,将请求消息封装成几个操作码,如identity(get Fee(提取该参保人员的应缴费信息)、fee OK(缴费确认)、fee Return(取消回退)。其它类型消息按照模型格式设定。

3)数据库接口:主要实现对数据库的查询以及更新功能,通过嵌入式的SQL语句实现。

以下是系统部分关键Delphi示例代码:

该系统通过实现UDE模型,使交换双方的对接变得非常简单,交换系统不会过多地受技术环境的限制,如操作系统、应用服务器、组件支持环境等,能避免动态链接库的泛滥,较好的保持系统的干净程度。

4 结束语

本模型将数据交换的实质功能——数据提取和更新,通过消息包的形式传递服务请求,最终翻译成直接操作数据库的SQL命令,来屏蔽交换双方系统技术环境的差异,达到系统间对接容易、简单的目的。通过数据元对照和数据库适配器功能,屏蔽数据源异构性,实现数据表字段语义的一致性处理,达到系统通用性的效果。当双方需求有变化时,只需要更新双方的数据元对照信息即可,不会涉及再开发问题,仅仅是双方授权的交换内容的改变。

该模型能较好的解决应用系统间数据交换的问题,为在实际应用中达到较好的效果,还要在细节问题上多考虑,如数据压缩减少网络传输量,PKI机制实现身份认证,关系模式定义随着与之交换的系统的增多而增多问题等。

摘要：随着政府服务职能的加强和互联网应用的发展,应用系统间进行数据交换的需求日渐强烈。本文从数据交换的实质功能出发,屏蔽交换双方系统技术环境和数据源异构性,以XML格式的消息进行交换,将请求根据数据元对照翻译成语义一致的数据操作SQL命令,完成XML模式到关系模式转换,实现应用系统间数据交换的通用模型。最后简要介绍了模型在银行代收医保费系统中的应用,表明通过该模型实现应用系统间的数据交换简单、容易。

关键词：消息,数据元对照,XML,SQL,数据交换,电子政务

参考文献

[1]李冬睿,李梅等.一种电子政务数据交换模型的设计[J].微计算机信息,2010,2-3:154-155

[2]作者不详.PowerDX创智数据交换平台[EB/OL].[2009-02-18].http://www.powerise.cn/GSCP/DZZW/2009-02/20090218031726Info_326f80ccb516400a8c05cf174.html

[3]梅立军,付小龙,刘启新等.基于SOA的数据交换平台研究与实现[J].计算机工程与设计,2008,27(19):69-71.

数据交换系统 篇10

在化工系统的生产运行中,电网数据不仅要采集并反映在调度自动化实时系统,也需要传送到管理信息系统,为企业管理部门提供决策依据。因此,在调度自动化系统改造的过程中,调度自动化系统改造的过程中,调度自动化实时系统与MIS系统间互联是工程人员面临的一项重要技术开发工作。

目前国内调度自动化实时系统一般选用UNIX操作系统下的工作站方式,采用TCP/IP工业标准协议,基于X-Windows的图形标准;而企业MIS系统一般沿用了NOVELL网络技术,采用ipx协议,基于Microsoft Windows图形应用标准。在这两种不同的系统之间,如果要实现图形交换,难度较大,所涉及的工作量也非常庞大。相对而言,实现系统间的数据信息交换就比较简单。出于工程考虑,调度自动化实时系统与MIS系统间的互联一般可以归结为两系统间的数据交换问题。

1 择系统数据互联方式

华鲁恒升集团引进的调度自动化实时OASyS系统是一个基于TCP/IP技术的局域网系统,而MIS系统沿用了以往的NOVELL3.12网络,两个系统间存在数据交换的必要任务:OASyS系统的实时数据需要提供给MIS系统显示,MIS系统需要向OASyS系统提供电网设备参数数据等。

在系统数据互联方式上,华鲁恒升集团作了较详细的调研工作,考虑了以下几种方式:

1)升级NOVELL服务器软件版本,开发Netware下的TCP/IP协议功能;

2)改造MIS网,选用支持TCP/IP协议通信的网络系统形式;

3)设置转发机,在TCP/IP与ipx之间进行转换。

考虑到技术力量分布和工程进度实际情况,前两种方式都存在开发工期太长的问题,而且MIS网改造本身就是一项规模比较庞大的独立工程,不适宜在调度自动化改造项目中同时考虑。采用第三种方式有利于在现有系统条件下满足生产实际的迫切需要,开发投入很少,利于有步骤地实现全局效益。

应该指出,采用转发机方式,只能完成数据部分的网络交换,MIS系统还必须维护一套单独的图形界面,这对于已存在旧MIS系统的情况比较实用,但最终发展应该走向一体化结构。

转发机的设置方式有几种,可以选择转发机在Microsoft Windows 95/98平台上进行软件开发,也可以寻找DOS平台上的一些应用软件进行支撑,以达到协议转换的目的。由于历史应用原因,华鲁恒升集团选择了基于DOS平台的转发软件开发。

2 统结构介绍

在硬件连接上,网络多口开关NETWORK SWITCH是调度自动化实时系统和MIS系统的物理连接点,具有多个UTP端口,同时提供实时网和MIS网的物理连接位置。在物理层上,TCP/IP协议和ipx协议可以同时在双绞线介质上工作,网络数据包可以在网络多口开关的各端口之间进行传输。另外网络多口开关提供物理屏蔽作用,使得ipx协议的数据包不流向实时网,实时网的网络安全和负荷得到保证。

转发机采用一台普通微机实现,配置一块10 Mbit/s速率以太网卡。

3 转发机网络功能层次

由系统硬件连接方式可以看出,转发机通过网络多口开关,一方面要完成与OASyS系统间的TCP/IP协议数据包的交换,采集实时网提供的电网运行实时数据;另一方面要完成与MIS服务器之间的ipx协议数据包交换,将电网运行数据发布到MIS系统中。这就要求转发机同时具有处理TCP/IP协议和ipx协议的网络软件功能。图2为转发机的网络功能层次示意图。

在DOS平台上,转发机要同时实现TCP/IP和ipx协议应用,必须借助于一定的支撑软件。在DOS操作系统中实现ipx协议应用是完全遵从NOVELL网络工作站定义的,但是DOS本身并不具备TCP/IP协议的处理能力,如果要在DOS操作系统下同时实现这两种网络协议应用,并兼用同一的网卡物理驱动,需要寻求一种合适的支撑平台。

通过对系统的应用条件大量调研,华鲁恒升集团选择了SUN公司出品的PC-NFS软件来实现DOS平台下的两种网络协议转换应用处理。

4 PC-NFS软件的原理和设置

NFS(network file system)是UNIX操作系统中的一个标准应用,完成数据文件的网络映射和共享。P-NFS,即在基于DOS操作系统的微机上实现NFS功能。

在转发机上安装PC-NFS软件,可以将OASyS实时系统中充当通信功能工作站的某文件路径映射为转发机的一个当地盘符;同时在转发机上安装NOVELL工作站标准驱动软件,MIS网的NOVELL服务器的某文件路径映射为转发机的另一盘符。转发机的应用程序只需在两个盘符之间完成数据文件内容交换或数据广播,就可实现两个系统之间的数据转发功能。同时,在转发机上还可以运行数据统计打包模块,实现诸如实时、总加、整点等数据分析功能。

要注意NFS的完整应用。不管是提供共享文件的工作站主机,还是享受共享文件内容的机器,都要开放并定义相应的NFS功能。在OASyS系统中,要使用#setup来激活通信节点机的NFS功能,定义开放的子目录,以及定义作为开放对象的机器名称。

在转发机安装PC-NFS软件的步骤为:

1)首先在工作站安装NetWare工作站软件,登录到NetWare服务器,注意采用lsl.com+carddriver.com+ipxodi.com的方式,避免使用ipx.com方式。因为ODI方式下,PC-NFS的TCP/IP协议应用可以与ipx协议的网络物理驱动兼用。

2)安装PC-NFS软件。根据提示,输入提供NFS服务的主机名称、IP地址、路径,本地(转发机)的名称、IP地址及登录的用户名等内容。

3)运行PC-NFS的mt程序,选择提供NFS服务的主机名称、路径、IP地址、锁文件方式、开机自动映射等荐,使得转发机在开机过程中可以自动形成工作站节点路径的映射盘符。

5 转发数据过程

在转发机,实时系统通信节点机盘符与MIS网服务器盘符生成后,要开发相应的应用程序,以实现两侧系统数据的交换。应用程序的编制可以采取定时器方式,在规定的时间周期到达时,激活从实时网数据文件读数,并广播到MIS系统中,或写入MIS服务器特定文件的进程。

在华鲁恒升集团实时OASyS系统与MIS系统之间,主要完成三类数据的转发工作,分别是实时电网运行数据,系统主要遥测总加点的历史运行数据,和系统所有遥测量的历史整点数据。有鉴于此,转发机应用软件的编写方面,分别考虑这三类数据的读写处理。一个很重要的问题在于,作为数据来源,OASyS系统的通信节点机上必须根据转发内容的定义,运行必要的进程生成相应的数据文件。

在华鲁恒升集团OASyS系统中,我们开发了在调度界面显示电网设备参数的应用程序,由于调用过程简单、内容详实,深受调度人员喜爱,其中实时网上的设备参数信息来源于MIS网中的有关数据库内容。考虑到转发机处于两个系统的联系地位,在转发机的应用程序中,我们设计了一个专门的模块,将MIS系统的数据信息定时传送到实时SCADA系统中。

由于转发机应用软件是独立编程,可以避免MIS网中机器随意破坏实时系统运行的可能性。同时由于转发机的应用处理对象基本上是数据文件,在程序的模块化处理、增删功能方面很有优势。

6 工程实施情况

华鲁恒升集团OASyS系统与MIS系统间数据交换的工作在调度自动化新系统投运的同时就完成各项软件编程和测试工作,经过试运行和修改阶段,现在已完全投入生产运行。根据设计基本思路,OASyS系统与MIS系统间实现了实时、历史、电网设备参数等数据的交换工作。运行情况表明,网络支撑平台和转发应用运行稳定,没有出现网络协议处理出错的情况。

7 结 语

运用PC-NFS软件开发调度自动化实时系统与管理信息系统之间的数据转发功能,能满足实际生产需要,具有开发周期短、编程清晰明了、运行稳定可靠的特点,是完善化工企业调度自动化系统改造项目的有效配套技术开发内容。

摘要：在化工系统实际运行中,调度自动化实时系统与管理信息系统间存在数据交换的技术开发问题。以华鲁恒升集团调度自动化OASYS的系统的工程实际为基础,介绍一种实时SCADA系统与管理信息MIS系统间交换数据的实现方式。