关键词:
企业数据交换(精选九篇)
企业数据交换 篇1
数据交换平台主要是异构异地系统之间的信息交换平台, 信息交换过程中交换平台是一个中间件, 通过编程把数据从业务系统中提取出来, 再送到数据交换平台。利用数据交换平台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等, 只需要关注与业务本身的数据处理部分。
1 部署数据交换平台
1.1 数据交换平台分类
数据交换平台有两种:一种是业务性平台 (分公司平台) , 担负着与信息系统的数据交互和与数据中心的数据交换;另一种是交互性+业务性平台 (总公司平台) , 实际上它相当于一个数据交换中心+分公司平台, 它不仅担负着与总公司的信息系统进行数据交付, 还要负责从各个分公司平台获取文件以及向各个分公司平台发送数据的任务。
1.2 数据交换平台部署
1.2.1 平台程序文件访问权限
数据交换平台的程序文件存放在DataExchangePlatform文件夹下面, 将该文件夹复制到服务器硬盘上复制完成后, 对DataExchangePlatform文件夹属性进行设置:
给平台中的DataExchangePlatform文件夹添加用户访问权限。选择新建立的FTP用户名, 添加此用户, 并设置完全访问权限。
1.2.2 创建FTP虚拟目录
当数据交换平台程序与系统处于不同的服务器上时, 需要创建一个虚拟目录, 这个虚拟目录指向平台数据交换文件夹如“C:DataExchangePlatformFTP”, 此时的系统端也是指向该虚拟目录。
当数据交换平台程序与系统处于同一台服务器上时, 需要建两个虚拟目录, 一个用于数据交换平台, 一个用于系统, 指向的路径都是数据交换平台文件夹。
1.2.3 为虚拟目录添加权限。
(1) 在创建的虚拟目录上创建的FTP用户权限, 将权限设置为完全控制。
(2) 面权限设置成功, 可以对虚拟目录进行浏览。
1.2.4 配置文件设置
配置文件有三个文件组成:
(1) Config.xml文件的设置
该文件主要是对数据交换平台运行时, 需要执行的进程参数配置, 共有八个进程标识。
根据数据交换平台与系统的部署位置不同, 对该文件的参数配置要求也有所不同, 当数据交换平台与系统分别部署在不同的服务器上时, 只需要配置config.xml文件中的中心解析配置文件节点参数、中心同步分发文件节点参数、中心解析执行文件节点参数和中心二次分发文件参数, 将其他四个节点参数配置项删除;当数据交换平台与系统共用一台服务器时, 需要对config.xml文件的所有节点参数进行配置。
config.xml的八个节点参数设置说明:
1) 上传配置文件参数
2) 回写业务文件参数
3) 解析回执文件进程参数
4) 同步业务系统进程参数
以上四个节点是系统端config.xml文件的节点。
5) 中心解析配置文件
6) 中心同步分发文件
7) 中心解析执行文件
8) 中心二次分发文件
以上四个节点与平台中心处于同一服务器上, 如果数据交换平台所在服务器没有系统, 则config.xml文件中只有这四个节点。
(2) ConfigSystem.xml文件配置
配置文件主要是定义业务系统参数, 这些参数设置好后分配给各个业务系统使用。有系统唯一标识 (GUID) 、业务系统解析平台传递过来的配置文件服务器地址 (ftpServer) 、用户名 (ftpUser) 、密码 (ftpPassword) 、虚拟目录名称。
ConfigSystem.xml文件只在平台所处的服务器中存在。
GUID:系统的唯一标识符。可以用Virual Studio中的GUID生成工具生成, 每个GUID都不重复;
ftpServer:系统所处服务器IP地址;
ftpPort:系统所处服务器端口号 (默认21) ;
ftpUser:系统所处服务器上新建FTP访问用户名;
ftp Password:系统所处服务器上新建FTP帐户密码;
Destination:FTP虚拟目录。
(3) ConfigDatabase.xml文件的配置:
该文件主要是定义业务系统数据库参数, 这些参数是安装系统时定义的数据库地址、数据库名称、数据库用户名、数据库密码, 它是系统分公司数据库配置文件。如果集团化平台数据独立存在于服务器上, 需要将该文件删除。
该文件节点的说明如下:
GUID:系统的唯一标识符, 且要与上面平台中的GUID保持一致;
sql Server:系统的数据库服务器地址;
Sql DataBase:系统在数据库中的数据库名;
sqlUserName:SQL Server身份验证模式下的数据库用户名;
sqlPassWord:SQL Server身份验证模式下的数据库访问密码。
1.3 启动数据交换平台
当环境和配置文件的参数都正确设置完成后, 执行DataExchangePlatform文件夹下面的DataExchangePlatform.EXE程序文件, 启动数据交换平台。
当有数据交换的时候, 平台程序将自动进行处理, 可将该程序放入系统启动项中, 启动服务器时, 可自动启动数据交换平台程序。
2 数据交换平台工作状态
要实现各信息系统之间的正常业务数据的交换, 就必须要保证各信息系统所在服务器上数据交换平台DataEchangePloatform.exe程序处于运行且激活状态。
(1) 数据交换程序处于运行状态主要体现在DataEchangePloatform.exe。
(2) 数据交换平台处于激活状态, 主要体现在DataExchangePlatform.exe在桌面任务栏中找到, 并能够双击打开程序界面。
2.1 服务器不可远程登录
通常情况下, 服务器不能够被远程登录, 这一方面可以降低成为“肉鸡” (被黑客植入病毒的机器) 的风险, 另一方面也可以有效地保证服务器中数据的安全。如果数据交换平台在这种服务器环境下运行, 那么只要保证数据交换平台在当前登录用户的进程中处于运行状态, 在任务栏中处于激活状态即可保证数据交换平台的正常工作。
2.2 服务器可以远程登录
然而, 在很多情况下, 由于很多特殊情况下需要服务器被用户远程登录, 这在很大程度上就对数据交换平台的正常工作造成很大的障碍, 针对这种情况, 可以有以下解决办法保证平台处于正常工作状态: (1) DataExchangePlatform.exe程序从用户的启动项中取消; (2) 管理员账户登录系统时, 确保数据交换平台DataExchangePlatform.exe处于执行且激活状态。
3 数据交换平台内容
⑴安全通道:首先需要在数据交换平台和各个信息应用服务器之间建立安全通道, 保证只有数据交换平台和各个信息应用服务器之间进行安全连接和数据交换, 各个信息应用服务器之间和其他所有情况不能连接, 安全通道的建立建议使用Windows内置的IPSec (1P Security) 。IPSec用于提供IP层的安全性。由于所有支持TCP/IP协议的主机进行通信时, 都要经过IP层的处理, 所以提供了IP层的安全性就相当于为整个网络提供了安全通信的基础。
⑵各部分连接:在安全通道的基础上进行数据交换平台服务器和信息服务器的各部分连接和之间的数据交换, 其中连接包括:文件连接, 数据库连接, 代理连接。数据交换平台各种连接器。
⑶文件连接器、数据库连接器:各个信息服务器提供FTP服务和数据库连接服务, 数据交换平台做为所有信息服务器的客户端使用FTP进行文件的上传和下载, 使用数据库连接进行数据的查询和处理, 完成文件和数据的交换。
⑷代理连接器:各个信息服务器安装数据数据交换平台的代理服务, 提供Socket连接方式, 数据交换平台通过代理连接信息应用程序, 实现对各个信息应用程序之间的调用和数据交换。信息应用程序通过代理实现触发和连接数据交换平台等操作。
⑸队列连接器:队列连接是和基于消息处理的队列管理组件建立消息队列的连接。队列可以分离数据交换平台和各个信息应用程序, 使其不必同时运行。队列支持同步和异步的处理机制, 实现快速可靠的通信。
⑹数据路由:采用“一次抽取, 并发路由”的机制, 目的是为了减轻对数据源如数据库的压力, 同时也提高处理的性能。方便集中处理后的数据根据路由条件, 并发地将结果路由到分布的数据目标中, 如目标库表、消息队列等。
⑺运行监控:记录每个任务的明细, 包括开始运行的时间、每个任务执行所用的时间、每个任务执行的明细。如果有意外, 记录意外的详细信息, 包括意外产生的原因、相应的意外处理、保存意外数据的记录文件等。
⑻管理程序:创建和维护数据交换平台的运行环境, 提供可视化的连接配置维护并发布到各个信息应用程序中。
4 结语
数据交换与共享平台建设 篇2
采购内容及技术要求
一、现状
我区于2005年开发完成数据共享和交换平台,并于2008年对系统进行更新升级,进一步完善了系统的功能。平台目前运行在区信息中心机房,有公安局、计生局两个节点与之相连,运行正常。
二、建设目标
本项目建设目标是:调研业务部门的数据共享需求,编写《广东省顺德区数据共享规范与接口标准》和《顺德区政府资源目录》;开发和完善数据共享平台系统;建设顺德区数据共享资源体系,推进数据的共享和综合开发利用;实现顺德区各部门信息数据共享和互联互通,使数据共享平台成为电子政务建设的支撑和服务平台。
三、建设内容
本次建设内容分为三部分: 1)对政府重要职能部门开展调研
完成对12个政府重要职能部门数据集成方面的需求调研,完成以数据共享、交换和整合需求的梳理和分析。
2)数据共享规范与标准接口和政府资源目录建设
通过调研业务部门之间的数据共享需求,编写《广东省顺德区数据共享规范与接口标准》和《顺德区政府资源目录》,并逐步完善。
3)数据共享平台开发和完善
提供数据发布、目录维护、系统配置等界面,增强系统易用性;改善数据传输性能,支持不同级别数据量的应用系统的数据传输;集成数据共享申请、申请审核、数据共享目录编制等业务功能;实现全区、区与市之间的数据共享;增加共享数据分析统计功能,监控共享数据的访问量、数据状态、共享数据业务办理状况等。
第 2 页,共 14 页
四、建设原则
(一)开放性
数据源和目标数据可以是文本文件、Excel文档、Word文档、XML文档。通过JDBC、ODBC支持所有JDBC和ODBC数据库,并为部分主流数据库提供了专用的数据库接口。目前应该满足Sybase、Informix、Oracle、DB2、SQL Server等异构数据库双向数据传输的需求,根据实际情况还可以进行扩展。
整体开发遵循J2EE平台标准和XML交换标准,有良好的平台兼容性。可以应用于Windows、Linux和Unix系统。
(二)安全性
数据中心的安全非常重要,因此必须要做好系统的安全设计,防范各种安全风险,确保数据中心能够安全可靠的运行。同时数据中心必须采用成熟的技术和体系结构,采用高质量的产品,并且要具有一定的容灾功能。
(三)实用性
完善友好的定制开发环境支持不同技术层次使用者的使用要求。安装简易,使用简单,有完善的系统参数配置工具和管理控制台。
(四)可伸缩性
可以合理地定制数据共享交换方式。根据不同类型业务特色和技术要求特点,量身定制相应的数据交换解决方案。
(五)可扩展性
能够方便的加入交换节点以及增加交换共享服务。能够根据需要,通过增加硬件配置的方式对交换平台进行扩容。
(六)相对独立性
根据数据共享平台的目标定位,数据共享平台的建设和运作必须保持业务系统的相对独立性。为此采用松散耦合方式,通过在业务部门统一配置部门端数据共享交换管理系统(代理)实现数据资源整合。
第 3 页,共 14 页
(七)统一建设
数据共享平台必须统一规范建设。通过制定统一的数据共享与交换标准,建设统一的数据共享交换平台,即中心端数据共享交换管理系统和部门端数据共享交换管理系统(代理),可以避免重复投资,降低接口的复杂性,有效实现数据中心与业务部门的数据共享与数据交换,消除 “信息孤岛”,实现数据资源的互联互通。
(八)共建共享
一方面建设数据共享平台的目的是为了实现业务部门之间的数据共享和交换。另一方面,数据中心的数据来源于各个业务部门,因此数据共享平台的建设必须依靠各业务部门的积极参与和配合
五、关键技术
数据共享平台的技术路线要点描述如下:
1、采用XML技术统一数据交换格式,使用XML Schema进行数据标准规范的定义和描述。
2、采用SOAP协议进行信息包的封装和数据路由。数据共享与交换平台考虑对Web服务的支持。
3、采用消息中间件保障数据传输的可靠和完整。
4、安全方面,利用XML实现数字签名和加密,并与CA平台结合。通过并发访问控制、访问代理、数据校验、安全审计等手段保证共享数据的完整性、安全性。
5、管理方面,采用WBEM收集、管理并合并多种来源的管理数据。对数据共享平台的各个组成系统进行有效管理。
6、所有支撑系统基于统一的技术平台上设计开发。
7、采用存储域网络(SAN)架构实现共享数据和备份数据的存储。
8、采用集群技术和负载均衡技术提高系统的整体性能和可靠性。
六、调研要求
1、调研对象
第 4 页,共 14 页 调研的对象是顺德区政府下属的重要职能部门,主要包括:工商局、公安局、地税局、国税局、社保局、国土局、计划局、技监局、建设局、民政局、经贸局、执法局等。
2、调研结果
通过对调研原始数据的分析,得出如下调研结果: 1)各个部门的数据供需关系 2)各个部门业务系统状况 3)各个部门软硬件设备状况
4)各个部门对数据共享平台的共享数据的需求
七、《顺德区政府资源目录》和《顺德区数据共享规范与接口标准》
政府资源目录建设的目的是编写《顺德区政府资源目录》,通过调研,收集各个业务部门的之间的跨部门共享数据的供需关系,以及各个部门目前对外共享数据的能力,了解各个部门对数据共享平台共享数据的需求,结合国家对四大数据库的要求和顺德的实际情况,抽象出公共数据库模型,为建设四大基础数据库打下基础。
《顺德区数据共享规范与接口标准》是由一系列的规范、机制、制度组成。标准规范体系包含数据标准规范、技术标准规范、管理标准规范、业务标准规范等4大部分。在设计标准规范体系的时候,需要从体系结构的角度全盘考虑,在符合或者兼容国家电子政务标准规范或上级部门的标准规范的基础上进行设计。
以下标准规范体系图为参考方案,投标方如有更完善的标准规范方案可具体说明整体的体系结构。
第 5 页,共 14 页
数据标准规范
数据标准规范包括:公共数据元标准、公共代码标准、公共数据存取规范、数据交换规范。
技术标准规范
通过技术标准规范支持业务部门系统和数据共享平台之间的数据级和应用级整合,并提高业务系统之间的应用集成、互联互通的能力。
管理标准规范
管理标准规范包括:标准管理、安全管理、数据管理、项目管理,用于指导数据中心日常运行管理、数据维护管理。
业务标准规范
独立的业务标准规范由业务部门制定,关联业务标准由数据共享平台统筹,协调各业务部门联合制定。
八、数据共享平台建设
数据共享平台得建设分为以下三大部分:
第 6 页,共 14 页 1)政府资源目录平台
管理《顺德区电子政务资源共享目录》的内容。包括以下功能:目录接口定义和实现;目录管理和维护;目录访问。
2)前置机处理系统
实现对各个业务部门(不少于5个)不同数据库、不同业务数据资源的统一共享和访问。包括以下功能:系统配置;系统安全管理;数据共享接口定义和实现;数据共享规则定义;数据同步复制。
3)资源目录管理平台
实现政府工作人员共享数据、发布数据、监控管理的统一入口和功能。具体内容包括:完善系统现有功能;增加系统统一监控功能;增加数据库自动推送与接收功能;简化部门前置机的安装和配置;将系统配置功能在统一的Web管理端上实现;实现与佛山市数据共享和交换平台的无缝对接。
第 7 页,共 14 页
数据共享交换平台应实现如下功能:(1)节点管理
实现与数据共享平台相连的的各个节点(业务部门)的信息管理、配置管理。(2)主题管理
数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题的方式进行,因此必须实现对主题的管理。主题是元数据的集合。
第 8 页,共 14 页(3)元数据管理
元数据(Metadata)是关于数据的数据。元数据描述了数据的结构和意义,同时也可以描述应用程序和流程的结构和意义。构造数据共享平台数据库的重要步骤之一,就是定义和创建元数据。所有进入数据共享平台的数据,必须在元数据中有所表述。数据共享平台的数据管理系统必须提供储存和管理元数据的方法。
数据共享平台的元数据包括基础数据元和共享数据元,由数据共享平台统一管理。基础数据元由数据共享平台定义,共享数据元由业务部门定义并注册到数据共享平台。业务部门进入数据共享平台的元数据管理中心好比进了一个“超市”,可以方便地知道可以获取和使用哪些数据,并进行数据使用申请的定制。(4)公共代码管理
对公共代码需要有统一的标准规范,数据共享平台必须提供公共代码的管理。基于数据中心的公共代码规范,各部门可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换。(5)数据采集
与各业务部门形成数据采集机制,通过数据共享交换平台从各业务部门汇总数据,对原始数据进行缓存、存储。(6)数据同步策略管理
系统应能灵活设置和管理数据的同步策略,支持异地、异构、不同组网方式、不同时间间隔等同步策略功能,能结合调研结果和招标方的最终实施方案进行部署,能灵活配置各部门的业务数据库和数据共享平台的公共基础数据库的数据同步,实现数据透明同步和更新,保证数据的一致性。(7)数据整理比对
从各业务部门采集共享数据后,进行数据转换,数据比对、冲突检测处理并入库。(8)数据交换
实现业务部门与数据共享平台之间的数据交换业务,形成高效、安全、可靠、稳定
第 9 页,共 14 页 的数据交换网络。应提供定时批量、实时按需等多种方式的数据交换手段,提供点对点、一对多的数据交换支持,对数据交换进行管理和监控。(9)恢复管理
恢复管理是对数据进行备份、导入导出以及数据库恢复等。数据是数据共享平台核心的资源。全面的容灾方式应该是数据备份+数据复制+远程容灾。对系统中的数据要定期进行系统备份。采用本地备份与异地备份相结合的方式。投标方应具体说明采取何种方式实现该功能。(10)标准管理
进行数据共享平台的标准规范尤其是数据标准的审核制定、升级维护与发布实施等管理功能。在数据中心的建立之初,由于标准规范处于不断完善的过程,应建立标准的版本管理机制,方便业务部门的查询和使用。(11)应用支持
对政务相关业务应用系统、公共服务系统、联合审批系统、业务监管系统和决策支持系统提供数据、通道和平台等支持。(12)运行管理
运行管理系统主要提供给数据共享平台的系统管理人员使用,用于保证数据共享平台的安全可靠和高效运行。其功能主要包括面向安全性的用户管理、权限管理、密码管理和日志管理等;面向性能优化的性能监控等。面向实用性的节点管理、交换规则管理和状态监控;其中节点管理包括对业务部门的信息管理。
由于各种共享数据由不同的部门提供和使用,为了提高数据的使用效率,必须提供数据统计和分析功能,首先要对共享数据的访问日志进行记录,然后灵活地统计各个部门共享的数据以及访问过的其它部门的共享数据,同时将这些结果汇总,进行各种分析,提高数据的使用效率。
数据共享平台是一个分布式业务处理平台,由多个设备和软件同时运行,为了保证整个平台的高效率运行,必须监控每一台设备上每一种应用程序的运行状态,数据访问流
第 10 页,共 14 页 量,以及共享数据业务的办理状况,一旦发现异常,立即报告管理人员采取有效措施,恢复系统的正常运行。
这些功能的设计,首先是标准的监控状态信息格式定义,然后是被监控设备上软件的技术实现,最后是数据资源管理平台对被监控设备上软件的状态信息的动态查询和显示。
(13)数据共享申请管理
此功能包括以下三个功能点: 1)数据共享申请:提出数据共享申请 2)数据共享申请审核:对共享数据进行审核
3)数据共享目录编制:对于审核通过的数据共享申请,对所共享的数据进行编目和发布
一个业务部门想要其他部门共享数据,首先要向其他部门提出申请,由其它部门对数据共享申请进行审核,如果审核通过,则对共享数据进行编目,其它部门就可以对想要的数据进行访问了,若审核不通过,则数据不共享。(14)数据交换网关
数据共享平台的建设,解决了数据共享和交换的问题,实现了政务信息的互联互通,但是由于UDDI规范比较复杂,而且,开发一个应用系统需要与多个业务部门打交道,因此,开发效率比较低。而数据交换网关,能够很好地解决了这个问题。
如“错误!未找到引用源。”所示,数据交换网关,是一个基于数据共享平台的数据共享和交换服务提供平台,该平台引入了数据服务的概念,在定义数据服务的基础上,屏蔽了UDDI规范的细节,通过数据服务中的业务系统名称,屏蔽了整个数据共享平台中的各个接入部门,使得应用系统的开发人员只需要和数据交换网关打交道,再也不需要和各个业务部门打交道了,大大提高了开发效率。
数据交换网关提供简单的、标准化的数据共享和交换接口,在接受应用系统提交的数据共享和交换请求以后,通过所定义的数据服务,找到所要共享和交换数据的业务系统,第 11 页,共 14 页 然后由数据交换网关从政务信息资源目录中获取数据共享和交换接口,向业务部门发出调用请求,最后将调用结果返回给应用系统,实现了数据共享和交换请求的智能路由。
对于公共数据库,共享文件库等,可看作一个特殊的业务部门,也通过数据交换网关实现数据操作。
领导综合社会保障城市综合地理应急指挥决策支安全责任技术交易市其他应电子监察查询系统服务系统信息服务系统系统持系统管理系统场管理系统用系统Web Service接口:XML, SOAP数据交换网关服务管理服务定义服务取消服务检索远程服务注册管理安全管理用户管理权限管理服务安全管理系统安全管理系统监控访问监控流量监控操作监控线程监控请求中转和路由日志管理统计分析数据加密/解密Web Service接口:XML, SOAP部门前置机政务信息资源目录WSDL格式接口信息公共数据库部门前置机部门前置机部门前置机人口数据库法人数据库宏观经济数据库地理信息数据库
九、与CA安全认证平台无缝集成
系统安全可靠性要求
数据共享平台是电子政务的核心系统,如果遇到破坏,或无法正常工作,将造成无法估量的损失。需要保护的资源不仅有物理资源(设备、设施)、数据资源(数据、数据库软件等),而且还有网络资源(通信链路、网络接入等)。投标方应具体阐述这方面的实
第 12 页,共 14 页 现方案。
数据安全保密性要求
满足在数据存储、传输过程中的安全保密性要求。电子政务中涉及大量的敏感数据,在其处理过程中,特别是与各级单位数据交换过程中,要进行数据加密传输和存储,要保证数据的安全保密性。
数据完整性要求
满足在数据存储、传输过程中的完整性要求。在内部要保证数据存储和传输过程中不被篡改和破坏,在与各级单位数据传输的过程中,要保证数据不被篡改和破坏。
实体的可鉴别性要求
满足数据共享平台系统对用户及数据交换服务器的可鉴别性要求。系统要实现监管及其他方面的要求,其必要条件是实现实体的可鉴别性,包括用户及数据交换服务器具有可鉴别性等。
不可抵赖性要求
满足数据共享平台用户行为和系统行为不可抵赖性的要求。用户每天都利用数据中心处理大量的事务,事务处理过程的可管理、效率的可审计、行为的可审计等,需要行为的不可抵赖性来解决。本项目建设中要保证在所有数据处理过程中,办公人员行为和系统行为的不可抵赖,以便审计和监督。
对象和行为的可授权性要求
实现对数据资源的自主授权和访问控制的功能。针对电子政务系统数据交换共享工作的特点,要求数据中心具有对对象灵活授权的功能,包括用户对用户的授权、系统对用户的授权、系统对系统的授权等,以及授权过程的审计监督。
统一信任与授权策略要求
对于涉及30多个业务部门、若干业务系统的数据中心而言,安全性的实现不仅体现在各个部门、各个业务系统中,更重要的是在不同业务部门的不同系统实现互联后。为了保障数据、业务系统在互通后的信任、授权的一致性,必须建立统一的信任策略、授权策
第 13 页,共 14 页 略,实现跨部门、跨系统的信任和授权服务的一致性,杜绝由于不同部门、不同业务系统不同的安全策略、不同的安全等级带来的安全漏洞和安全隐患。
数据共享平台统一安全监管性要求
由于数据共享平台及其部门端系统分布地域广、涉及政府多个部门,因此需要实现数据交换、共享过程的可管理,实现对内部和对各级单位相关的业务处理的可审计性;系统中有大量的数据交换服务器、维护终端、系统软件、网络设备等,为使这些资源协同工作,需要实现对实体(用户或数据交换服务器)进行统一的管理;系统需要对用户行为和系统行为进行记录和统计,对系统日志进行分析和统计,提供对用户和系统行为的审计监督。这种统一的安全监管必须以可靠的技术和严格的管理来保证。
软件及技术资料要求
1)软件要求为模块化结构,保证安全可靠,具有容错能力。
2)投标方提供的软件应能满足确保本系统正常运行所需的管理、运营、维护等有关的全部软件。
3)兼容性及升级。不同时期软件版本应能向下兼容,软件版本易于升级,且在升级的过程中不影响网路的性能与运行。投标方应承诺在供货时提供最新版本的软件, 但该软件必须是经过测试正式推出的, 其可靠性、稳定性经过严格验证的。
4)投标方提供的书面技术资料应能满足确保系统正常运行所需的管理、运营及维护有关的全套文件3套,光盘1套。投标方应提供书面技术资料详细清单,提供的技术文件至少应包括:
- 系统说明文件
- 技术手册(需求分析、详细涉及、安装、测试、使用、维护、故障排除等)- 软件原代码
合同主要条款
1、完工期:合同签订生效后180天内平台建设调试完毕、验收合格并交付使用。
第 14 页,共 14 页
2、付款方式:
1)合同签订生效后15个工作日内付合同总价的30%;
2)无违反合同约定的,软件全部交付使用、验收合格后15个工作日内付合同总价的65%;
3)无违反合同约定的,余款(即合同总价的5%)在免费升级维护期满后30个工作日内付清。
3、售后服务:
1)免费升级维护期:不少于1年,在验收合格后开始计算。
2)响应时间:即时响应;4小时内到达现场(如电话响应无法解决); 3)修复时间:免费升级维护期内24小时内解决。
4、培训:1)培训地点:使用单位内培训,培训人数不少于3人。
2)培训基本内容:确保用户能够对软件有足够的了解和熟悉,能够独立进行应用系统的日常运营、维护和管理。
以上合同主要条款为基本要求,投标人参加投标,则视为接受上述要求。投标人可在此基础上作出优惠承诺,以提高其投标的竞争力。
分析数据通信交换技术 篇3
关键词:ATM;IP;数据分析;交换技术
中图分类号:TN915 文献标识码:A 文章编号:1674-7712 (2013) 02-0015-01
数据通信是以“数据”业务为主的一种通信系统,数据是预先约定好的具有含义的数字以及字母和符号等。计算机的发展,数据通信应运而生,实现了计算机与计算机之间的传递。电信技术的发展,使其数据交换的技术也随之出现。
交换即转接,是交换通信网中不可缺少的技术。交换是指按照某种方式对传输线路的资源进行分配,交换技术主要包含了报文的交换、分组的交换、线路的交换以及分组的交换等几个方面。
目前的宽带数据通信网出现了两种不同的技术,即IP与ATM,IP的网络核心节点为太位路电器;ATM的网络核心节点为ATM交换机,其目的为了实现信元的高速交换。
一、目前数据通信的几种交换方式
(一)电路交换:能为任意一个入网的用户提供一条临时使用的物理信道,这种方式被称为电路交换,是由通路的各节点内部早空间上完成的信道接续而形成。这条物理信道始终被用于信息的传输,因此不允许被用于其他的计算机。
(二)分组交换:分组交换,同时也被称作为包交换。它的主要作用是将用户发来的数据分割成相同长度的数据包,因此被称为打包或者分组。分组交换是指在每个数据包前面加一个分组头,作为将发往何处的地址标志,然后分组交换机会根据不同的地址标志对其转发到目的地。
(三)报文交换:报文交换,同时也被称为信息交换方式。报文交换是将用户之间不直接存在的信息进行接收以及发送的特殊物理信道。同时还将用户正在进行交换的报文进行存储,当输出电路出现空闲的情况时,再将报文发送到需要接收的交换机。
二、DDN
(一)DDN的工作方式:DDN作为高质量、高宽带的数字数据通信网,数字信道为信息传输的主要信道,因此不具有交换的功能。用户的数据信息应该根据之前约定好的协议,采用同步转移的模式对数字进行分复用的技术,所以必须在固定的时间内对通信宽带和速率传输进行事先设定。
(二)DDN提供的业务:DDN网作为全透明的网络,因此可以为分组交换网和互联网提供中继电路;不仅可以对一点对提供多量的业务;同时还可提供图像、G3传真以及语音和智能等多种业务来满足用户的要求。
三、FR
(一)FR的工作方式:FR的主要任务是将在原来的交换基础上进行分组交换做出相对简化数据传输新技术。它在OSI第二层主要采用简化的方式进行数据的传送和交换。因为FR仅完成OSI的物理层与核心层的功能,将控制流量以及纠错等任务留给终端来完成,因此不仅使节点机之间的协议简化,同时还提高了传送的效率。
(二)FR的特点:1.传输效率高。2.产生的费用低。3.兼容性好以及组网的功能性强。4.网络资源的使用率高。
(三)FR提供的业务:FR主要使用的面向连接交换技术,虽然能够提供需要交换的PVC和SVC,但目前只能采用交换虚电路的方式。
四、IP
(一)IP的工作方式:IP交换是一种高效的IPoverATM技术,同时也被称为三层交换技术。简单来讲,三层交换技术即“二层交换技术加上路由转发技术。”IP只对数据流中的第一个数据包进行路由地址的处理,由路由转发,继而按照已经计算好的路由在ATM网建立虚电路VC。这样的处理方式使数据包在今后不用经过路由器,可以直接沿着VC的方式进行传输,提高传输的效率。
(二)IP的交换的特点:1.因为彼此之间不存在连接建立时延,因此IP在进行交换的时候不需要事先建立通信线路,可以随时将信息发送出去。2.通信的双方可以不使用固定的通信线路,因此,提高了对通信线路的使用率。
(三)IP提供的业务:适合多种业务的环境,目前主要使用于宽带以及IP骨干的传输。
五、X.25
(一)X.25的工作方式:X.25的交换方式主要体现在传统储存转发方式的基础上,进而发展的一种新型交换方式。X.25的主要工作是将用户发送的数据进行分割,每个分割后的分组都有一个分组头,而分组头的主要目的是为了指明将要发往的地址,最后按照地址的排列顺序挨个进行交换网的发送。
(二)X.25的特点:因为X.25的交换动态主要为分配线路资源和传输的效率高,因此能为不同种类的终端提供互通的便捷。其具体内容如下:1.交织传输。2.统计时分可复用:采用动态的方式对线路资源进行分配。3.逻辑信道:在分组的交换方式中,每条逻辑信道在一次呼叫过程中都有相应的逻辑信道号。因此被用于用户的区分。4.虚电路:虚电路是根据报文的需要,以及占用多个时隙相应的缓冲空间而来的,因此,进行呼叫时不需要建立固定的物理通道。5.分组多路的通信:因为每个分组都有控制信息,所以分组型的终端可以做到与多个用户终端同时通信。
(三)X.25提供的业务:分组交换可以提供永久虚电路,同时还能开发以及提供增值的数据业务。
六、ATM
(一)ATM的工作方式:ATM的转移模式是立于电路交换和分组交换的基础上,主要目的是将数据分解成固定长度53B的信息,目前将这样的分组叫做信元。而ATM主要以信元为单位进行复接、交换等工作。复用的时候只要具备信元就可以进行信息的发送工作。
(二)ATM的特点:1.不仅可以建立虚电路来进行数据的传输,同时支持无连接的业务。2.因为采用的数据包属于固定长度的模式,因此有利于宽带的交换。3.采用异步术同时能够采用服用技术。4.ATM技术使其协议以及网络功能得到简化。
(三)ATM提供的业务:ATM常用于局域网互联、互联网以及虚拟局域网,还可用于电视领域。其主要优点在使用的过程中可以提高速度。
七、结束语
企业数据交换 篇4
关键词:企业服务总线,数据共享与交换,面向服务架构
电子政务在多年的发展过程中, 已经取得了一定的成果,在设施建设方面得到了很大的完善, 但在一些公共服务信息系统设计方面仍存在很多问题, 仍未实现信息资源 的共享 ,建设力度远远不够, 引发严重的信息孤岛问题, 影响政府办公系统中业务和信息的处理效率。本文通过基于企业服务总线的数据共享与交换平台的设计研究, 为电子政务逐渐向着面向服务、规模应用的方向发展提供给术研究基础, 从而达到提高电子政务系统工作效率的目的, 为相关研究提供参考意见。
1 概述
1.1 ESB 架构
建立在面向服务的体系结构 (SOA) 基础之上的企业服务总线 (ESB) 本质上属于电子行业设备应用集成模型, 其内部集成式软件构件具有紧密的联系, 相互影响和作用。面向服务的体系结构的组装和集合是构建ESB的前提, 包括多种功能元件, 能够满足不同层次目标的要求。
1.2 ESB 特点
在面向服务的体系结构下, 企业服务总线可以实现企业应用的集成。ESB特点体现在事件驱动、面向消息和面向服务3个方面, 其中, 在不同应用间进行的消息接收、产生均属于事件驱动, 面向消息及服务则分别指的是利用ESB进行消息的接收/发送和重复利用服务组合而成的分布应用[1]。
由Web服务、可扩展标记语言及中间件技术共同构成的ESB, 可以起到传递企业应用信息数据的作用 , 改进了传统的传输模式, 在性能上具有显著的优势。在企业构建数据共享与交换平台的过程中, 应用ESB技术可以大大降低成本的投入, 避免了因应用技术差异较大而导致的服务不统一的问题。
1.3 ESB 功能
在研究技术不断完善的过程中, ESB具备的功能逐渐增多, 这些功能的发挥能够以开放标准或专项技术为基础, 主要涉及消息处理、建模、集成、通信、 安全、质量服务和服务交换等。但不同技术的综合运用也可能会带来潜在的问题,例如 : 采用标准 不一致、 技术安全 和灵活程 度差异大 等[2]。ESB核心功能简介如下 : (1) 服务交换。可实施替代服务 ,可以高效地完成应用服务代码的提取工作, 具有一定的开放性特点;(2) 集成。能够使适配器、Web服务和Java2连接器等不同集成方法正常运行;(3) 通信。应用普遍性的传输协议, 通过进程间通信的重要途径, 管理命名服务、网络服务寻址, 将有关位置透明性的寻址服务、路由的信息进行收集。
1.4 ESB 的组成及适配器技术
适配器组 件、管理 控制组件 、转换组 件及通信 组件是ESB的关键组成部分 , 在发挥连接 应用系统 功能的过 程中 ,需要借助适配器技术, 从服务组件、应用及数据库系统等方面实现整合系统与被整合系统应用的统一。多种连接方法为应用系统的联系提供了技术保障, 其中数据库连接、开放数据库互连为应用数据库系统的连接提供了标准规范。ESB的架构图如图1所示。
为了保障系统的高效连接而研制的适配器, 可以使多种系统的接口整合为一个, 并在此基础上实现业务数据的交换,减少了系 统数据传 输的繁琐 性[3]。ESB适配器技术的优 势如下: 改善面向对象、以组件为基础的模块网络应用性能; 提升数据相关操作和处理的工作效率; 将应用系统同管理系统的连接、数据共享变为现实, 可以管理各项事务。
2 信息共享交换平台
2.1 平台的层次结构
用户交互层→流程整合层→应用整合层→应用接口层→信息系统基础设施是组成数据共享与交换平台的5个层次结构,流程整合层又分为业务间整合、业务行为监控和业务流程管理, 而应用层又包括消息路由、数据转换及数据格式定义。
应用接口层是数据共享与交换平台构建的基础, 该平台需要在信息系统基础设施的支持下发挥作用, 可以针对系统间的数据传输提供解决路径。应用整合层作为应用接口层的上一级, 尤其适用于整合系统应用数据信息转换方面, 企业系统数据的应用都应通过该层的数据模型来完成。二者的上一层次为流程整合层, 是确保不同系统高效运作的重要前提,可以整合不同系统, 具有管理业务流程、设计流程、监管控制流程等多项功能[4]。位于数据共享与交换平台的最高层次是用户交互层, 主要面对的广大用户, 使用户能够进入应用系统中, 满足不同用户的需求。用户交互层可以对系统内、外部的信息进行融合。企业服务总线技术在流程整合层及以上层次结构占据着较高的地位, 提供了坚实的技术保障。
2.2 平台功能
数据共享与交换平台的功能包括多种内容, 如:(1) 连接和运行各种数据库, 通过适配器的作用, 对系统进行全面的管理;(2) 建立在可扩展标记语言 基础上的 集成服务 模式, 高效传输应用系统及业务间的数据信息, 结合实际需求,对系统应用功能进行优化配置;(3) 包含测试、监管控制、动态观察和整体部署等功能, 实现远程管理控制;(4) 平台互用性较强, 可以发挥传递数据、数据定位、数据包封装的作用, 根据相关标准, 整合多种应用系统的整合;(5) 转换多种数据格式, 如: 可扩展标记语言同文本文件间 的转换、可扩展标记语言同其他可扩展标记语言间的转换、 短消息服务同可扩展标记语言间的转换等。此外, 还能利用不同的函数关系, 映射异构数据[5]。
2.3 平台架构
就企业中基于ESB的数据共享与交换平台的管理原则来说, 其属于一种集中、统一式的管理, 但在运行角 度来看 ,则归为分布式运行的范畴, 平台架构的设计和实现参考的原则为松耦合原则。应用系统平台包含着大量的节点, 不同节点的自身运行环境相对独立, 均支持数据集成、服 务交换 ,在应用系统的大环境下, 这些节点能够通信联系, 承担着服务总线系统负载。
如图2基于面向服务的体系结构的企业服务总线体系架构所示, 在中央服务器的统一约束管理下, 企业服务总线服务网络呈现分布式的特征, 共包括6大部分, 都是由多个节点整合而成。各层功能独立而统一, 既确保了自身系统扩展性, 同时也存在协作关系, 共同实现企业业务需求。
3 数据共享与交换平台系统实现
3.1 集中式的服务总线的管理
各节点适配器、运行环境的管理均利用的是JMX (JavaManagement Extensions) 技术 , 适配器及SOA解决方案的分布式JBI (Java Business Integration) 环境的管理控制阶段位于企业服务总线体系架构核心的中央服务层, 应用标准为JMX。集中管理层、代理层及设备层是组成JMX代理服务的基本模块, 不同应用层中分布的节点, 可以将涵盖所有注册MBean的仓库、JMXUrl进行连接, 获取有关管理对象的数据信息 , 并向MBeanServer发出一系列的执行命令 , 最终落实和完成相应的操作。
3.2 日志管理
具备日志收集服务功能的数据共享与交换平台, 在Java日志框架的支撑下, 通过多种管理工具, 向用户提供大量的日志信息, 并采取嵌入式数据库的途径, 将不同种类的日志进行存储和管理, 在系统伸缩性方面具有独特的优势, 避免了企业服务总线争用的问题。在当前应用系统中, 开放源码的嵌入式数据库的程序库有着极其广泛的应用, 方便了工作人员和用户进行管理和操作, 性能更加优化[6]。通过设置日志记录表的途径, 可以在平台数据库中对日志的内容、时间和级别进行记录, 还可以查询到日志创建者的网络之间互连的协议。
3.3 节点
各节点运行环境均符合分布式JBI规范要求, 允许适配器组件的接入和运行, 大量节点在基于ESB的数据共享与交换平台中的位置对等, 平均承担着系统总负荷, 大大提高了节点资源的管理和应用效率。
3.4 适配器
数据共享及交换平台的功能实现, 依靠的关键部件就是适配器, 适配器种类繁多, 是应用系统功能整合的根本所在。适配器实现技术包括DBIn、DBOut, 二者均属于数据库适配器, 前者具有接受、解析数据信息的作用, 能够将可扩展标记语言形式的信息转化为结构化查询语言形式, 并执行Sql语句; 而后者根据数据库应用记录查询相应的操作, 进行实时性的监测和控制, 实现数据增量抽取。
4 结语
企业数据交换 篇5
远随着信息技术在企业中发展与应用的逐步深入, 以及各类大型的信息系统逐步引入, 企业数据结构和数据量也日积月累。这些数据库无论从软硬件结构, 还是存储方式均彼此之间有所差异。久而久之, 便形成了一个个的“数据孤岛”。不同类型的数据库之间难以相互访问与交换, 造成了不必要的数据冗余与数据冲突, 影响了信息系统的使用效率。这就使得用户对数据的交换提出了更高的需求。怎样在维持现有数据库安全的基础上, 能够实现各类信息系统的数据库之间高效的分享, 成为一个亟待解决的问题。而随着XML逐渐在各类系统中投入使用, 为分属于不同数据库的高效转化与交换提供了新的可能。本文通过分析异构数据交换的关键问题, 以XML技术为基础, 提出了数据库交换模型, 实现了基于XML的异构数据库数据交换, 本文的成果具有比较好的理论价值与实践意义。
二、XML体系概述
XML即可扩展标记语言 (Extensible Markup Language) , 是一种实现网络和分布式数据交换的语言。XML通过XML, XSL和XLL三大标准, 对结构化数据进行描述和交换。
XML语言的优势包括 (1) 平台无关性, 指的是这种语言基本上可以支持大量流行的数据库平台, 凡是基于关系型的数据库系统, 均可以被开法者和用户共享。 (2) 系统安全性, 在基于的XML异构信息交换系统投入运行的时候, 客户端或者服务器之上的内存系统是交给OS来配置的, 这个优势能够不让一些病毒以指针为通道而进到信息系统内部进行破坏。 (3) 分布式系统, XML有专门配置的协议方法, 为系统开发者的工作简化了难度, 使其在从因特网上使用文件就如同在本地使用文件般简单。 (4) 有许多良好的机制用以排除和避免信息在映射时可能产生的各种错误, 可以协助搜索出一些信息在开发早期便已存在的安全隐患。
三、基于XML的数据库映射
异构数据交换的关键问题是交换过程中的完整性和安全性, 而数据库映射包括基于模板的映射和基于模式的映射, 本文选择的异构数据库映射模式为后者。这种映射的特点是:将需要处理的数据由XML文档中提取出来并且传输至数据库之后 (包括逆向的操作, 从数据库到XML文档) 脱离了对sql指令的依赖, 从而实现关系型数据库与XML间的高效映射。
1. 关系数据库模式转化为XML数据模式
这个阶段的映射和转换包括了两个方面, 一是需要提取出基于关系模式的数据库中表文件的具体结构和属性, 二是结合关系数据库中已有的主关键字与外部关键字, 结合数据库对于参照完整性的规定, 来提取关系数据库中的约束特性。结合以上两方面, 在进行映射时, 也分为两大部分, 一是实现从表文件数据结构到XML文件的映射, 二是实现在数据库表文件中主关键字、外部关键字以及各类约束关系的映射。结合XML技术的特点, 设计出以下的映射算法:
(1) 在XML中建立与映射相关的所有全局变量, 意即:构建出在XML文档中所有与其根元素相关的属性, 举例来讲, 需要建立XML的命名空间等。
(2) 结合关系数据库的具体格式与内容, 为其对应一个XML模式的文档, 并为之建立根元素。
(3) 在建立了根元素的基础上, 进一步为XML建立相关的表元素, 在所构建的表文件中, 应保证关系数据库的表文件名与XML文档名一一对应。
(4) 为关系数据库的表文件建立基于XML的复杂类型, 实现与表文件的一一对应。复杂类型的构成分为两大部分, 分别是表文件中的属性, 以及相互嵌套的表文件, 在表文件所拥有的属性之中, 每一个属性都可以作为XML的一个子元素。
(5) 实现关系数据库表文件中属性与约束条件之间的映射, 这些属性包括表文件中的数据格式、精度范围、数据源缺省值、数据能否是空值等, 这一步骤也可以结合XML文档属性做出限定, 从而实现一一映射。
(6) 对表文件的约束条件进行映射, 对于主关键字、唯一关键字以及外部关键字所构成的约束条件进行映射。引入XML中的key参数与keyref参数实现映射。
在以上的步骤完成之后, 从关系数据库到XML结构的映射过程便已完成。此时, 结合所生成的XML模式, 便可以得到映射而来的XML文档。
2. XML数据模式转化为关系数据库模式
这一阶段的操作与上一阶段在逻辑上互为逆运算。因为XML模式本身固有的精密性和复杂性, 映射的难度会有所增加。本文结合异构关系数据库的具体语法, 通过创建模板的方式可实现了数据库映射的简化算法。通过模板来限制XML文档中的内容, 降低了算法的复杂度, 为其应用的推广提供了基础, 设计出以下的映射算法:
(1) 对需要转化的XML文档进行解析, 任意一个XML文档中, 有且只有一个根元素, 并且这个元素属于schema之下的一个子元素, 根元素具有特殊性, 属于复杂节点, 此处, 将基于XML的根元素进行转换, 使之成为关系数据库中的数据库文件名, 同理, 将这个根元素所拥有的所有属性进行转换, 使之成为该数据库的属性。
(2) 通过遍历schema的方式来提取其中的复杂元素, 复杂元素的节点包括两大类, 一是元素节点中存在类型子元素的值和属性值, 二是XML中不属于基本类型的元素。获取复杂元素之后, 为其中所包含的所有节点组成有向树, 并且使元素名等同于节点名, 再以节点的有向边为基准, 连接图中节点, 通过这样的方式, 将存在于XML里全部的复杂类型都转换成数据库的表文件。
(3) 分析上一步所构建的有向树, 为树中所含有的全部节点生成数据约束, 结合XML文档中的节点元素下属性标示符来确定具体的约束条件。
(4) 继续在构建了约束条件的有向树中生成关系型的表文件, 并使关系表的文件名和有向树所对应的节点名相同, 同时, 令关系表中, 所有属性的属性名和有向树子节点名相同, 在关系表中, 每一个属性的约束属性以及数据类型, 均由XML标签相互对应。
(5) 为所形成的关系模式构建主关键字、外关键字以及唯一关键字。将XML文件里的唯一性约束设置为关系表里的主关键字, 将XML文件里的keyref约束设置为关系表里的外部关键字。
综上所述, 基于XML结构的数据库映射可以很好地解决不同数据库之间的问题, 并且有效地避免了数据冲突。在实际的使用中, 信息系统的用户通过数据访问层支持底层数据和业务组件之间的平滑过渡, 主要是进行数据信息与数据逻辑的支持, 控制全部与数据产生关联的完数据整性、一致性、以及数据的安全性, 包括以下两个层次的数据交互:业务逻辑层与数据存储层。由于在实体域中需要实现对象持久化, 因此只能以数据库访问代码来进行。一般来讲, 在信息系统中, 都是通过引入EJB组件来实现数据交互的。在一般的设计中, 考虑到EJB在基于J2EE的信息系统中的应用并不是很理想, 其原因在于EJB本身所具备的复杂性。而考虑到的复杂程度远低于EJB, 而且Hibernate内置了许多获取数据和数据查询来支持类到数据库表的映射, 所以采用Hibernate可以明显地降低系统开发的时候使用数据库进行数据处理的时间。因此本系统在设计时推荐引入Hibernate来实现与数据库的交互。
在进行数据实体的表示时, 主要考虑的重点, 一是设计一个一致的数据表示方式, 而是设计一个良好的数据映射方法。在本文所设计的系统中, 业务层之中的全部数据都被定义良好的数据实体类表示, 数据实体类的目标就是供业务层使用, 因此可以说该数据实体类是业务类操作的具体对象。在设计数据实体类与系统数据库之间的映射方式时, 本研究的做法是把该实体类的属性与系统数据库中的字段进行一一对应。具体映射的实现则是引入了XML方法对文件进行配置。用这种方法配置的文件其特点在于能够进行灵活的改变, 系统的易维护性得到了提升。
在信息系统进行业务逻辑的设计时, 考虑到业务逻辑只能对类进行处理, 业务逻辑无法实现数据库操作。因此在对业务逻辑的实现中引入的是一致组织策略, 这种方法能够有效避免系统内部出现的不一致性, 使系统的设计变得可控。本研究在对系统业务逻辑的设计中, 为了使业务处理能够体现出自大限度的正确性, 引入事务处理功能, 在设计中把业务层类分为管理类、处理类和业务层类三个类别。
3. 异构数据库交换模型的构建
在实现了关系数据库模式与XML数据模式互相映射的基础上, 本文通过定义XML文件, 并将其作为异构数据库之间进行数据共享和交换的标准。数据库交换模型示意图 (图1) :
由图可知, 数据交换模型可以分为三大模块, 下面对各个模块的功能进行阐述:
(1) 系统1、系统2…系统n为企业信息系统中的异构数据库:这些数据库中的数据均需要通过XML进行映射和处理, 使之能够实现互相共享。
(2) 数据采集模块属于交换模型中的关键模块, 引入Web Service标准接口将所需数据源从不同的信息系统关系数据库中提取出来, 并传输至数据处理中心。之所以引入Web Service, 是为了便捷地将数据传输到注册中心。为每当需要从异构数据库中提取数据时, 网络服务借口能够便捷地与业务系统进行通信, 以文件的形式获取需要发布的信息。
(3) 数据处理中心的功能比较多, 包括加密解密模块, 核心处理模块等, 加密解密模块负责对异构数据库映射之前的数据进行加密与解密, 核心处理模块则用来处理基于XML格式的文件的处理。核心处理模块的功能有三部分, 一是获取XML文件, 对其进行转换, 使之成为中间文件, 并存储到相应地址;二是结合信息系统用户所发出的查询, 提取出用户所需的XML文件;三是把中间文件转换成关系数据库能够读取的XML文件。
四、结束语
本文结合目前信息系统使用的规范性与不同系统之中数据库的异构性特点, 以XML技术为基础, 结合不同类型数据库的数据冲突现状, 探讨了数据的安全交换过程, 并进而设计了针对企业的异构数据库交换模型, 使得异构环境下系统数据分享更加方便快捷。
参考文献
[1]欧阳峥峥, 李禹生.基于XML的异构数据库数据交换中间件的研究.计算机与现代化, , 2012, 6:91?93
[2]程庭, 张明慧, 石国营.一种基于DES和RSA算法的数据加密方案及实现.河南教育学院学报 (自然科学版) , 2012, 02:37?40
[3]叶枝平.基于XML的数据交换平台及其关键问题的分析与设计[硕士学位论文], 广州:广东工业大学, 2011
[4]杜军威, 隋树林.基于XML的异构数据库模式转换的实现.青岛科技大学学报, 2010, 02:158?161
数据交换平台的数据交换模式浅析 篇6
这些年来我们国家的的信息化建设已取得很大成果, 从20世纪90年代初至20世纪90年代末为信息化建设的发展阶段, 为适应全球建设信息高速度公路的潮流, 中国政府正式启动了“三金工程”, 部分政府部门的网络基础设施建设和应用层面的信息化得到了较大发展。1999年至2001年为推进阶段, 中国政府国务院40多个部委的信息主管部门共同倡议发起了“政府上网工程”, 目的是实现政府信息资源共享, 建立政府管理机构的Web站点, 使其成为面向公众服务的窗口。从2002至今为整合阶段, 政府信息化由各自为政转向电子政务整合的过程。
上述是从大的国家电子政务方面来讲, 从具体的小范围来讲, 我们学校的信息化建设也取得了一定的成果, 学生可以通过网络选择全校的选修课, 教师通过网络可以录入并查询学生的成绩, 教务处可以通过网络向省里上报学生名单, 教师可以通过排课系统进行自动排课等。虽然从一定的角度来说我们学校的信息化建设跟以前相比, 进步很大, 但这里面也存在一定的问题, 这个问题也是普遍存在的问题, 那就是各个应用系统相互独立, 应用系统之间的数据信息不能进行共享与交换。
所以打破目前这种局面, 连通各个孤立的应用系统, 把分散的信息资源整合起来, 实现这些不同系统、不同环境下的信息的实时共享和双向交流, 是下一步信息化建设的中心任务, 也是必走之路。
要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心相连, 应用系统之间要进行数据交换与共享必须通过数据交换中心;也可以建立共享信息库供应用系统共享。在这里主要讨论数据交换平台中数据交换模式。
二、数据交换模式
在信息系统中, 各应用系统之间的联系是比较密切的, 各部门的信息要保持一致, 数据交换可以保持数据的一致性。在数据交换平台中, 任意系统之间的数据交换过程可以采用不同的交换策略, 主要有三种数据交换模式:主动发送、请求/应答、订阅/发布交换模式。
1、主动发送模式
主动发送模式是通过数据交换平台的中心交换服务器进行的。发送方的数据发生变动时, 通过数据交换平台直接将数据发送到应用数据的相关单位。比如大通关就涉及海关、工商、税务、质检、公安等部门, 为了更好地为进出口企业服务, 有效打击逃税、骗汇、走私等犯罪活动, 海关、工商、税务、质检、公安等部门就要掌握进出口企业信息, 而且这些信息要一致。当进出口企业的信息发生变化时, 就直接将信息发送到海关、工商、税务、质检、公安等部门, 这样保证信息的一致性及实时性。下面以A局向B局和C局发送数据为例, 分析主动发送模式的数据流程:
(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并将数据置入所在单位前置节点的服务器相应文件夹中, 所发送的数据标明要发送的地址。
(2) 数据交换中心通过时间轮询的方式将数据接收到中心服务器。
(3) 数据交换中心解析数据, 得到数据要发送的目的地。
(4) 数据交换中心删除发送方前置服务器中的数据, 保证文件夹的内容是空的。
(5) 接收部门接收数据, 并放入数据库中保存。
2、请求/应答模式
请求/应答模式通过数据交换平台的中心交换服务器进行请求和应答的。和主动发送模式的区别在于数据发送前先要向数据交换心发送请求消息, 数据交换中心响应后才能进行数据的交换操作。下面以A局向B局和C局发送数据为例, 分析请求/应答模式的数据流程:
(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并生成数据交换请求消息传送到数据交换平台。
(2) 数据交换中心接收到请求消息后, 进行响应, 与A部门建立连接。
(3) 数据交换中心接收A局封装成XML格式的数据。
(4) 数据交换中心对接收到的信息进行解析, 知道数据要发送到B部门和C部门。
(5) 数据交换中心向B部门和C部门发送请求消息, 要求发送数据。
(6) B部门和C部门响应请求, 并与数据交换中心建立连接。
(7) 数据交换中心将数据发送到B部门和C部门。
(8) B部门和C部门的业务系统接收到数据后, 分析本部门的应用系统, 并把数据存入相应的数据库中。
3、订阅/发布模式
订阅/发布模式基于SOA服务架构思想提出来的。W3C将SOA定义为:“一种应用程序体系结构, 在这种体系结构中, 所有功能都定义为独立的服务, 这些服务带有定义明确的可调用接口, 可以以定义好的顺序调用这些服务来形成业务流程”。
面向服务的架构包含三个部分:服务请求者 (Service Requestor) , 服务提供者 (Service provider) 、服务注册中心 (service Registry) , 如图所示[1]。
(1) 服务提供者
服务提供者是一个可通过网络寻址的实体, 它接受和执行来自消费者的调用, 它将自己的服务和接口契约发布到服务注册中心, 以便服务使用者可以发现该服务。
(2) 服务请求者
服务请求者可以是一个请求服务的应用、服务或者其它类型的软件模块, 它从注册机制中定位其需要的服务, 并通过传输机制来绑定该服务, 然后通过传递契约规定格式的请求来执行服务功能。
(3) 服务注册中心
服务注册中心是一个包含可用服务的网络可寻址的目录, 它是接收并存储服务契约的实体, 供服务请求者定位服务之用。
订阅/发布模式就是由服务提供者提供服务, 也就是发布操作;服务请求者请求服务, 也就是订阅服务;并且服务提供者提供的服务在服务注册中心进行注册。这样服务请求者就可以通过服务注册中心的目录资源进行查找。
订阅/发布是通过数据交换平台的中心交换服务器进行订阅和发布的。信息请求者向中心交换服务器订阅服务, 信息发送者将数据发布到中心交换服务器, 中心交换服务器接收到发布数据后, 将信息发送给请求者。
用户订阅此服务后, 一旦信息发送方的数据发生增加、删除、修改等变化, 数据交换中心会自动将更新的信息发送给信息订阅者。
三、数据交换模式的分析
上述三种数据交换模式都有由特点, 主动发送模式比较适合于几个部门之间有固定业务关系的, 一旦一个部门的信息发生变化, 其它几个部门的信息也要实时发生变化, 比如上述的大通关, 进出口企业的信息更新后, 就要及时的通知海关、工商、税务、质检、公安等部门。
请求/应答模式每次进行数据交换时, 都要有请求应答消息, 数据的及时性没有主动发送模式性强, 因此这种模式比较适合于小范围部门间小量数据的交换。
订阅/发布模式是几种数据交换模式中最具有松藕合性的, 用户只要把要共享的信息发布, 其它事情都可以由数据注册中心完成;用户要访问共享信息时, 只要向注册中心订阅该信息就可以了, 其它也由数据注册中心完成。
四、小结
上述分析了数据交换平台中的三种数据交换模式, SOA服务架构体系是一个不断发展的过程, 数据交换模式也在不断的发展中, 我们可以根据不同的情况选用不同的交换模式。
摘要:我国的信息化建设已取得一定的成果, 但也存在各个应用系统孤立, 应用系统之间不能进行数据共享与交换的问题。要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心连接, 通过数据交换中心进行数据交换与共享。
关键词:数据交换平台,数据交换模式,SOA
参考文献
基于元数据的数据交换系统研究 篇7
随着信息技术的发展,业务领域的变化频率越来越高,业务流程再造的速度越来越快,数据模型不断升级,导致数据迁移需求不断增加,跨部门业务融合也导致数据交换的需求持续增加。因此,建设一个数据交换平台迫在眉睫。该平台不仅可以提供点到点的系统间数据交换,还能实现点到面的跨部门、跨业务的数据集成,对整体数据资产提供有力支撑。
目前,主流的数据库产品大多提供了数据迁移工具,但这些工具一般只适用于数据的导入、导出,并且只能支持一个或几个特定类型的数据库[1]。现在的问题是用户使用的数据库产品种类众多,比如格式化的数据库有Oracle、SQL Server、DB2、MySQL、Access、Sqlite、达梦、金仓等;半结构化的数据格式有xls、csv、json、xml等;NoSQL类型的数据库有MongoDB、Redis、HBase等。无论是数据迁移还是数据集成,均需要在它们之间交换共享数据。如果工具只支持一对一的数据转换,就可能需要开发、维护、学习使用一批这样的工具[2]。因此一个通用的数据交换系统是实现数据迁移和数据集成重要的基础工具。
1 数据交换过程
一个典型的数据交换过程包括以下几个步骤:数据抽取、数据转换、数据加载[3],为了顺利实现数据交换,还需要对以上几个过程加以控制,这就是人们常说的ETL(Extract Transform Load),这里加上了控制(Control),简称为ETLC,如图1所示。
数据抽取,就是从数据源中获取数据。进行数据抽取是进行数据交换的首要步骤,它是指从异构的数据源中获取需要的数据。这里的异构数据源既包括传统的结构化数据库(支持SQL标准)、半结构化数据文件(如XML文件、JSON文件、XLS文件等),还包括不断涌现的NoSQL数据库(如:MongoDB、Memcached、HBase等)。建立一个通用的数据访问接口是获取不同数据源数据的关键。
数据转换,就是根据目标数据源的要求转换数据,实现异构数据源之间的数据转换是进行数据交换的重点。完成从异构数据库中提取数据之后,为了满足目标数据库对数据的要求,需要对其进行相应的转换。建立一系列数据转换规则是满足不同数据转换要求的关键。
数据加载,就是将数据加载到目标数据源。进行数据加载是达成数据交换目标的最后一环,它需要按照事先制定的加载策略,将经过转换的、符合要求的数据有针对性地加载到目标数据库中。
过程控制,就是启动、记录数据抽取过程。对数据交换过程进行控制是数据交换的有效保障。针对不同的数据交换需求,应能够自动地启动交换任务,收集、记录交换过程中的日志和异常信息,为掌握交换事务,及时发现和处理各种异常提供支撑。
2 数据交换元数据
通过对数据交换过程的分析可以看出,进行数据交换的基础是对数据源及其映射关系进行描述,数据交换过程需要对数据抽取、数据转换、数据加载、过程控制进行描述。元数据是对数据资源的规范化描述,对于数据交换过程中涉及到的数据源以及交换行为,可以抽象为以下几类元数据。
2.1 数据源描述元数据
数据交换实质就是数据从一个数据源通过抽取、转换、加载到另一个数据源,因此,数据交换的基础就是要对数据源进行详尽描述。
数据源按其类型不同,可概括为结构化数据库、半结构化数据文件、NoSQL数据库。无论何种类型的数据源,在进行数据交换时,首先都要知道如何访问,这就需要描述数据源所属的数据库类型、数据库版本、数据库名称、数据库的URL、访问数据库的用户名与密码等信息。
数据库逻辑上是由数据表组成,在进行数据交换时,要知道需要交换的数据在哪张表里,因此需要描述数据表信息,包括表的名称、表的语义描述、表所属的数据库等。
数据表是由一系列字段构成的,在进行数据交换时,最小的粒度是数据从源端的某张表的一个字段至目标端一张表的某个字段,因此对表字段的描述至关重要。字段的描述信息包括:字段的名称、字段的语义描述、字段所属的数据表、字段类型、字段的约束信息等。
通过以上分析,对数据源的描述可以归纳为三元组,记为D(Db,Dt,Df),其中Db为数据库描述信息,Dt为数据表的描述,Df为数据字段的描述,其逻辑关系如图2所示。
2.2 数据映射元数据
数据交换是不同数据源之间的数据转换,最终反映的是数据字段之间的映射关系。对于异构数据的交换,这种映射关系不仅包括不同数据要素之间的对应关系,还包括字段之间的转换规则。因此对于数据映射的描述,可以用四元组表示,记为R(Rd,Rt,Rf,Rc),其中Rd为源端数据源与目标端数据源的对应关系,Rt为源端数据表与目标端数据表的对应关系,Rf为源端数据字段与目标端数据字段的对应关系,Rc为源端数据字段与目标端数据字段的转换规则,其逻辑关系如图3所示。
2.3 交换操作元数据
实现异构数据交换的核心功能是进行ETL[4],即抽取、转换和加载,为了提高整个ETL过程的可控性、灵活性、通用性,需要对每个操作过程加以控制,因此交换操作元数据由数据抽取元数据、数据转换元数据、数据加载元数据和操作控制元数据组成。
2.3.1 数据抽取元数据
数据抽取就是按照事先制定的抽取策略将需要的数据从源端数据源抽取出来,对于数据抽取元数据的描述可用三元组表示,记为E(Ed,Es,Ep)。其中Ed为源端数据源,包括数据源连接信息和结构信息,Es为数据抽取范围,包括需要抽取的表及字段信息的集合和每张表内需要抽取的内容范围,Ep为抽取策略,分为手动抽取、定时抽取、准实时抽取等。
2.3.2 数据转换元数据
数据转换就是根据目标数据结构与源数据结构的映射关系,按照转换规则,将从源端数据库抽取出来的数据转换为与目标数据库相适应的数据,描述数据转换元数据可用四元组表示,记为T(Ts,Td,Te,Tr)。其中Ts为源端数据库,包括数据结构信息,Td为目标数据库,包括目标数据库结构信息,Te为需要转换的数据,是数据抽取结果的实例,Tr为源端数据结构与目标端数据结构的映射关系,是数据映射的实例。
2.3.3 数据加载元数据
数据加载就是将特定的、经过转换的数据加载到目标数据库中,描述数据加载元数据可用三元组表示,记为L(Ld,Lt,Lp)。其中Ld为目标数据库,包括数据库连接信息和结构信息,Lt为需要加载的数据,是数据转换结果的实例,Lp为数据加载策略,分为先清空后加载、增量加载、直接追加转载等。
2.3.4 操作控制元数据
数据交换需求,可以抽象为一个交换任务,一个交换任务是由若干个数据交换操作过程来实现的,为了使数据交换的各部分有机协调工作,需要操作元数据控制整个数据交换过程,描述操作元数据可用五元组表示,记为C(Ct,Cd,Cs,Cr,Cl)。Ct为与一次交换任务相关的信息,Cd为当前交换操作的目标数据库,Cs为当前交换操作的源数据库,Cr为当前交换操作关联的数据映射集合,Cl为当前交换操作过程产生的日志信息结合。
3 设计实现
3.1 系统逻辑
基于以上数据交换元数据,一个通用的数据交换系统框架由5层结构组成,分别是数据源层、数据访问层、元数据层、交换功能层和应用层,如图4所示。
数据源层:需要进行数据交换的所有数据源,能够支持数据源动态地加入或退出。
数据访问层:功能模块访问数据源的统一接口,它为上层的功能应用屏蔽了异构数据源访问差异,其核心是为不同类型的数据源建立相应的适配器。
元数据层:存储数据交换功能的元数据,它是数据交换功能的驱动源。
交换功能层:由实现数据抽取转换的各功能模块组成,包括数据抽取功能、数据转换功能、数据、数据加载功能和过程控制功能等。
应用层:提供数据源注册管理、数据映射编辑、数据交换策略管理、交换任务管理、交换任务执行、交换日志管理等用户交互操作界面。
3.2 系统应用流程
数据交换系统应用流程包括:
(1)注册数据源。按照数据源描述元数据的要求,将需要进行数据交换的数据源加入到交换系统中,详细描述数据源相关信息,包括连接信息和数据结构信息。
(2)编辑数据映射。根据数据交换需求,针对参与交换的源数据库和目标数据库的结构差异,建立字段级数据映射关系,选择相应的数据转换函数。
(3)数据交换任务管理。创建数据交换任务,设置交换策略。选择源数据库和目标数据库,确定任务启动方式(手动或自动)、启动时间、间隔周期等参数;根据数据抽取、数据转换和数据加载元数据要求,描述数据抽取范围、数据抽取策略、数据加载策略等。
(4)数据交换任务执行。根据交换任务启动策略,启动一个交换任务。系统完成数据抽取、数据转换、数据加载等动作,并记录任务执行过程中的相关日志信息。
(5)数据交换日志管理。查看相关任务执行过程中的日志信息。
4 结语
本文通过分析数据交换过程,提炼出数据交换的元数据模型,基于这些元数据模型构建了通用的数据交换系统。实践表明,基于元数据驱动的数据交换系统,屏蔽了异构数据源的差异,适应了数据映射规则的多样可扩展特性,满足了交换策略的灵活可定制要求。通过该系统,可以集中管理异构数据源,进行异构数据之间的转换,具有良好的适应性、灵活性、通用性和可扩展性,为进行大规模的数据迁移和数据集成提供了基础支撑。
参考文献
[1]张朝晖,徐立臻,董逸生.一种基于SOA的企业集成平台[J].计算机工程,2011,37(5):115-119.
[2]邓新莉,张四平,刘珊,等.基于中间件平台的异构数据交换与集成[J].四川兵工学报,2011,32(3):26-28.
[3]邹卫国,郭建胜,王毅.基于XML的异构数据交换研究[J].中国管理信息化,2009,12(24):184-189.
[4]王盼卿,刘增良,陶源.基于元数据的ETL工具集成研究[J].2009,25(12):58-61.
基于数据元的数据交换规范研究 篇8
1 数据层面上的数据异构
信息系统一般可以分为三个层面:数据层面、业务处理逻辑层面和表示层面。其中数据层面是整个系统的基础和核心,数据层面上的数据异构是导致系统之间难以进行数据交换的主要原因。典型的数据层面上的数据异构现象主要有以下几个方面:
1)名称不一致:即对同一个概念采用不同的名称命名。名称不一致造成人和计算机都难以寻找数据之间的对应关系。
2)定义不一致:即同一个名称所描述的概念不一定相同。定义不一致会造成人们对数据含义理解的歧义。
3)数据类型不一致:即存储数据时采用的数据类型不一致。数据类型不一致在数据交换时会导致数据溢出或者数据不兼容等问题。
4)数值表示不一致:即数据表达格式的不一致,包括计量单位、有效数字位数等。数值表达格式不一致会造成数值理解错误。
3 数据元的基本概念
数据元是用一组属性描述其定义、标识、表示和允许值的数据单元[1]。数据元可以理解为不可再分的数据的基本单元,是组成数据结构的基本元素。
数据元的基本模型如图2所示。
数据元由对象类、特性和表示三部分组成。对象类是我们所要研究的现实世界或抽象概念中事物的集合,例如人、汽车、房子等。特性是某个对象或实体的特征,是对象有别于其他成员的依据,例如人的姓名、性别等。表示描述数据元被表达的方式,包括数据类型、值域等,必要时也包括度量单位、字符集等。数据模型中的实体对应于对象类,属性对应于特性和表示。
数据元也可以看成是由数据元概念和表示组成。数据元概念是能以数据元的形式表示的一种概念[3]。一个数据元概念由一个对象类和一个特性组成。一个数据元概念可以与多种不同的表示方式结合,组成多个数据元。特性与表示可以组成与对象类无关的通用数据元。通用数据元可以作为制定数据元的模板使用。
4 领域数据元目录
数据元理论主要以数据元目录的形式发挥作用。数据元目录是列出并定义了全部相关数据元的一种信息资源[4]。数据元目录中的数据元一般包括标识符、名称、定义、数据类型、计量单位、允许值、等基本属性信息。
数据元目录一般是在一定的领域范围内使用的,它为领域内所涉及概念的名称、定义、数据类型、表示格式等以数据元的形式作了规范、统一的定义,并为每个数据元分配一个全局唯一的标识符。标准化的数据元目录是领域内唯一的、共同遵守的数据字典,可以为消除数据异构、实现数据的标准化提供统一的参照标准。
5 基于数据元的数据交换规范
基于数据元的数据交换以标准化的领域数据元目录为继基础,通过建立数据项与数据元之间的关联以及数据转换关系,以标准化的XML文件为载体发送和接收数据,实现数据交换。
具体操作流程为:
1)在所有需要进行数据交换的系统中建立映射关系表,记录每个数据项与数据元的映射关系(Relation Mapping),其中包含数据元标识符(Data Element_ID)、数据项标识符(Data Item_ID)和转换规则(Transform Formula)三项内容。转换规则包括数据类型转换、计量单位换算等。若系统中数据项的数据类型与数据元的数据类型不能实现转换,则需要根据实际情况对系统的数据类型作必要的修改。
2)系统发送数据时,根据映射关系将每个数据项编写成一个XML数据节点(Data Node),然后把所有的数据节点组织成一个XML文件(磁盘文件或内存文件)发送给接收方。数据节点中包含数据元标识符和数据(Data),编写数据节点时需要根据映射关系中的转换规则将数据转换成与数据元的数据类型、表示等一致的标准的数据。
3)接收方收到XML文件后,根据本系统的映射关系表将每个数据节点中的数据转换成符合本系统的数据。
因为所有的映射关系表都是以同一个数据元目录为参考标准的,网络中传输的数据又都是根据该目录进行标准化的数据,任何遵守这一套交换规范的系统只需要建设一个映射关系表就可以很方便的与其他所有遵守这一规范的系统进行数据交换。
6 结束语
数据元的标准化是数据标准化的核心内容,但数据元理论的作用却不仅仅是数据标准化,制定数据交换规范也只是其很小的一部分功能。本文在分析了数据异构的各种现象和介绍了数据元理论的基本概念的基础上,制定了一套可复用的数据交换规范,有效避免了建立数据映射关系的重复劳动,使异构系统之间的多方互联变得简单易行。
摘要:针对信息系统之间的数据异构导致数据交换困难的问题,研究利用数据元理论制定一套基于数据元的、统一的、可复用的数据交换规范,以实现异构信息系统之间高效的数据交换。
关键词:数据元,数据异构,数据交换,可复用
参考文献
[1]GB/T18391—信息技术数据元的规范与标准化[S].
[2]SDS/T2132—2004数据元标准化的基本原则与方法[S].
[3]ISO/IEC11179—2004.Information technology-Metadata registries(MDR)[S].
浅谈数据交换技术 篇9
随着信息技术的快速发展, 计算机网络及数据通信越来越引起人们的普遍关注。数据通信怎样能够更加高效地完成和实现网络规模的进一步扩展都与数据交换技术紧密相关。当通信系统基础硬件能够进行信号传输时, 可以实现通信双方的数据交换, 从而完成一次完整的通信过程。
1 数据交换技术的内涵
所谓数据交换技术, 主要指由交换机等相关通信网络设备所组成的数据交换系统, 再在路由选择技术的支持下实现通信双方的物理或者逻辑连接, 从而形成一条能够进行数据传输与交换的通信电路的技术。其作为一项能够实现多点通信的共享信道关键技术, 可以达到扩展网络规模以及提高通信效益的目的。通常进行数据交换的前提条件是通信子网能够进行数据信号传输, 其同时也是资源子网里各通信节点能够实现相应网络功能的前提。进行交换的数据可以是实时产生, 也可以是预先准备好的静态数据。某种意义上说, 数据交换是网络的本质功能。
2 数据交换技术的类型及其交换过程
数据交换技术通常可以分为电路交换技术、存储转发交换技术和信元交换技术三类。其中电话网络以及早期网络通常应用电路交换技术;多种网络形态时通常应用存储转发交换技术;而现代ATM网络系统通常应用信元交换技术。
2.1 电路交换技术。
该技术也称线路交换技术, 是最早的数据交换技术之一, 要求通信双方在进行数据传输交换以前, 必须建立一条实际的物理电路, 其作为典型的面向连接的通信模式之一, 当通信双方进行连接时, 整个线路都会被使用直到通信结束为止。
电路交换技术中物理电路的建立是关键, 其建立过程通常包括三个阶段, 第一阶段是建立电路阶段。其主要为数据传输建立一条物理连接通道。通信发送方发出交换数据请求, 根据接收地址以及路由算法找到中间连接节点, 再由被叫方进行应答;第二阶段是电路传输阶段。由通信双方利用所建立的物理电路按照一定通信模式进行数据传输。其中的中间节点仅负责连接之用, 而不进行数据处理等工作。第三阶段是电路释放阶段。由发送方请求释放电路, 再由接收方根据信号进行信息反馈, 并在信息确认后进行释放电路工作。从整个数据交换过程来看, 前两个阶段是通信双方进行数据交换, 而后一阶段则是为了释放电路和增强系统效率。
电路交换技术在电话网络以及早期网络中应用较广, 其特点可以总结为以下几个方面:一是通信双方建立与释放链路通过网络中间节点来实现;二是通信双方建立的物理电路需要独占使用;三是数据传输时中间节点只负责连接之用, 而不会处理数据;四是电路交换技术性能较好、可靠性较高、不冲突, 不易出现差错, 实时性数据传输较为适宜;五是电路建立与释放过程较慢, 因此对于突发性数据交换不适合;六是虽然数据传输过程较快, 但电路建立与释放过程较慢;七是该线路总体利用率较低。
2.2 存储转发交换技术
该技术是目前应用极广的数据交换技术之一。其在通信时能够建立动态的数据传输通道, 其交换节点通常由具有复杂数据处理能力的通信控制处理机确定, 且通信控制处理机在存储数据的同时, 还能够进行差错检测、转换数据类型、变换数据传输速率等操作, 从而使系统更加灵活, 通信效率更高。该网络里进行数据传输时, 要经由中间节点选择动态路由, 并将控制信息加入到传输数据当中。这里的控制信息包括通信双方的网络地址, 从而保证了数据的传输准确度, 并且在发现差错时可以及时处理解决。由于通信子网里的控制处理机能够进行数据存储, 所以传输数据能够进行信道共享, 提高了线路的使用效率。此外, 由此其能够进行流量控制, 所以不会出现因通信量过大而造成的堵塞等问题, 并且能够通过优先级控制来安排通信次序。
通信过程中里的全部交换数据和一定的通信控制信息共同组成的数据包, 我们称之为报文。在报文较大情况下, 为了网络传输方便可以将其分解为多个组成单元。当报文中的全部分组都被正确接收以后, 会在信宿处进行组装, 其中中间交换节点负责单个分组处理而不负责组装, 以确保数据传输安全和提高数据传输效率。据此我们可以将存储转发交换技术分为报文交换技术、分组交换技术两种。
2.2.1 报文交换技术
该技术应用在通信双方是相邻接点时, 则信源会把报文直接投递给信宿;如果通信双方并非同一物理网络, 则报文会在路由选择机制下通过中间节点传给接收方, 并由中间节点进行数据的存储与处理操作。进行报文交换时, 因交换处理数据量较大, 要求通信存储与处理能力较高, 因此通信成本较大。并且还可能导致堵塞现象, 降低系统灵活性与可靠性, 易出现差错。
2.2.2 分组交换技术
该技术会对报文中的有效载荷数据进行分割, 再加上一定的控制信息和报文号, 再以组建的分组为单位进行数据传输。其中间节点具有判断分组对错和路由选择等功能。该技术应用了流量控制机制以防止发生网络堵塞。虽然对报文进行分组和重组会浪费一定时间, 然而由于其分组处理效率较高, 所以提高了整体效率。但因需在通信过程中加入通信控制数据, 所以会增加开销, 并可能出现数据丢失、破环和乱序等问题。
2.3 信元交换技术
该技术在现代ATM网络系统中应用较多。ATM作为高速分组交换技术之一, 其以信元为交换的基本数据传输单元, 因此ATM技术也叫信元交换技术。通过ATM进行数据交换时, 所有的文本、语音和视频等相关数据都会被分解成长度固定的信元, 通常信元长度是53字节, 由于信元头、用户数据组成一个信元。
ATM技术通常以统计时分多路复用方式动态分配网络带宽, 具有网络传输延时较小的特点, 对于实时通信较为适宜。但该技术不具备链路级纠错和流量控制功能, 传输协议简单, 数据交换的效率较高。由于其运用了两级虚电路机制, 能够增加虚电路分配的灵活性, 因此还具有传输速率高的特点。
3 结语
如今, 我们已经进入了网络时代, 数据通信技术也势必迅猛发展以适应时代发展的需求。通过本文我们可以了解数据交换技术的演变过程与发展趋势, 从中我们可以看出, 信息技术的革命会不断推陈出新, 而我们的计算机网络也会不断开拓创新, 从而更好地满足人们的各种需求。
参考文献
[1]李传金;论计算机网络数据交换技术的发展[J];黑龙江科技信息;2011年25期
[2]翟胜军;有效实施网络隔离下的数据交换[J];中国电信业;2008年04期
[3]葛春燕.数据挖掘技术在保险公司客户评估中的应用研究[J].软件, 2013年01期
[4]邓云逸, 余重秀.宽带光纤参量放大器增益特性的理论研究[J].新型工业化, 2011, 1 (11) :77-82
相关文章:
大数据时代下的会计信息系统安全探析01-03
MIS系统数据交换分析论文01-03
数据库系统的安全性01-03
如何用第三层交换保证数据安全01-03
尺寸质量01-03
数据库系统安全性思考论文提纲01-03
内外网数据安全交换01-03
定制数据安全交换技术01-03
数据交换系统设计思路01-03
数据交换与交换平台01-03