关键词:
电子数据交换(精选十篇)
电子数据交换 篇1
2002年以来, 我国省市地方的电子政务建设取得了很大的进展, 为推动政府改革和廉政建设, 加强对企事业单位和公众的服务, 发挥了很大的作用。在当前总结“十一五”、规划“十二五”之际, 研讨地方电子政务建设的一个重要问题——如何建设地方电子政务数据中心和数据交换平台, 具有重要的理论意义和现实意义。
我国地方电子政务建设的基本问题
我国“十五”和“十一五”期间, 省市电子政务建设的基本内容, 是政府门户网站建设和一些业务应用系统的分散开发。由于缺乏统一的规划和统一的数据标准, 各种应用系统所形成的“信息孤岛”和“信息烟囱”比比皆是, 政府部门各自为战、独立建设、重复投资等问题时有发生。这些问题不解决, “十二五”期间, 要求政府创新与电子政务互相促进, 实现跨部门业务协同, 全面提升公共服务水平, 是办不到的。
“信息孤岛”产生的原因是多方面的, 但就认识根源来说, 是长期以来的一个普遍性的认识误区在作怪——总以为可以通过做数据接口来实现应用系统的集成;或者以种种数据接口的变种, 如数据库中间件、企业服务总线和数据交换平台等技术, 来实现多个“信息孤岛”的整合。例如, 许多地方在经济管理信息服务网建设方面, 为了实现工商、国税、地税和质监等政府部门的协同监管和服务所建立交换平台, 虽然投入巨大, 但如期效果并没达到。
信息工程方法论 (IEM) 已经彻底地从理论论证和实践检验上澄清了这一认识误区, 指出靠做数据接口不能实现多个孤立应用系统的集成;只有建立统一的数据标准, 面向业务主题建立共享的数据库, 实施数据环境的重构 (DER) , 才能解决信息资源整合与应用系统的集成问题。地方电子政务数据中心 (GDC) 建设的目的, 就是实施数据环境重构, 一体化地解决一个时期以来各种“信息孤岛”问题, 加强政务信息资源整合, 提升政务协同能力的重点工程。
数据中心与数据交换平台统一建设的可行性
事实上, 已经有些省市在进行电子政务数据中心建设的探索了, 取得了一些成果, 也出现了一些问题, 主要有:
◆某些地方立项目标任务定位不正确, 重叠立项“数据中心”和“数据交换平台”, 将两和本来是紧密联系、不可分割的统一建设任务, 划分为两个建设项目, 不仅重复投资浪费, 实际整合的效果还不好;
◆大部分停留在物理建设层面, 只注重解决数据集中存储、备份与安全等问题, 不注意解决数据标准化建设、信息资源整合与支持应用集成问题;
◆没有发挥业主方的主导作用, 将数据中心建设项目承包给系统集成商或软件开发商, 政府部门既不积极参与需求分析, 又不注重培养自己的数据管理人员;
◆数据中心和交换平台设备先进, 也购买安装一些数据抽取、加载和展现软件, 但业务实用数据贫乏, 开发商只给加载、调通少量数据, 项目验收后并不能投入实用。
为避免上述问题的发生, 电子政务建设的主管领导、信息中心负责人和骨干人员, 需要加强学习, 调整思路。首先要全面、正确把握电子政务数据中心和交换平台建设的总体任务。研究表明, 按数据中心建设所涵盖的业务范围, 可以有不同类型的数据中心:省市为经济管理信息服务的数据中心 (涵盖发改委、财政、工商、国税、地税、质监、统计等政府管理部门的业务) ;为社会保障管理信息服务的数据中心 (涵盖医疗保险、养老保险、失业保险、工商保险、生育保险、劳动就业等政府管理部门的业务) , 还是一些专业性信息服务的数据中心 (如省市财政数据中心、区域物流数据中心、电子口岸数据中心、文化教育数据中心等) 。我们的研究发现, 从基本构成上来说, 所有电子政务数据中心和交换平台建设, 都包括如下五项总体任务:
1、整合网络资源, 完善通信-计算机网络基础设施;
2、建立信息资源管理基础标准——数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准和逻辑数据库标准;
3、重整数据结构, 建立共享的空间图形信息库、主题数据库和支持辅助决策的数据仓库;
4、建立信息资源元库和信息资源目录与交换体系, 科学有效管理各种业务数据和交换数据;
5、以数据中心支持核心业务系统的集成化开发和运行, 支持首长信息系统 (EIS) 的开发和运行。
某些地方重叠立项数据中心和数据交换平台建设的重要原因, 是受信息资源整合与应用系统集成问题的复杂性所困惑, 片面理解数据中心和数据交换平台建设任务, 不掌握数据中心共享数据库重建的关键技术, 对数据交换平台建设的“企业服务总线 (ESB) ”技术期望过高。按信息工程方法论 (IEM) “以数据为中心”的基本观点, 在数据中心建设的业务范围内, 已经堆积、并且正在堆积一些交错复杂的“系统”和冗余无序的“数据库”, 如果不从数据标准化和共享据库建设入手, 以“保护已有投资”为名, 完全靠数据交换平台来解决两类堆积问题, 不仅其复杂性会超过数据标准化和共享据库建设, 而且至今没有完全成功的先例。这里, 有一个简单的事实是ESB推行者所避而不谈的:你说将一些应用系统 (“信息孤岛”) 用前置机或适配器 (Adepter) 联到服务总线上, 就可实现这些应用系统的互联互通, 它们之间的数据就可以自动交换。可是, 适配器里的信息内容是什么?——设想王某人在工资系统里的编码是0134, 在社保系统里的编码是021045736, 在银行卡中的编码是130034, 这些数据不分别装载到三个系统的适配器里, 系统怎么能自动比对识别呢?而需要整合的业务范围内, 要建立多少个这类的数据对照表?谁来做这些数据对照表, 能跟得上业务的变化吗?
我们说, ESB技术还是可以用的, 数据交换平台还是需要的, 但不是实现信息资源整合与应用系统集成的主体技术;实现信息资源整合与应用系统集成的主体技术是数据标准化和共享据库建设。以某市社会保障信息系统的优化提升为例, 按照金保工程总体规划, 他们设立了生产区、交换区和决策区三个逻辑工作区, 现在面临三个区的升级改造。我们的研究认为, 生产区多个应用系统的升级改造, 要着力数据标准化建设, 构建共享的主题数据库, 使核心业务通过存取共享数据库, 实现最便捷、最经济、最高效的信息共享。交换区要逐渐将重点转向核心业务数据与外部的交换, 即通过建立信息资源目录与交换体系, 实现核心业务数据与外部 (工商、质监、银行等) 的数据交换;核心业务之间的数据交换, 如过去统筹与医保、失业保险与劳动就业等业务之间的数据交换, 要改为通过共享数据库的存取实现信息共享, 而不再是数据交换。这就是说, 核心业务之间不通过数据接口 (或变相的数据接口) 进行数据交换, 即消除核心业务的“信息孤岛”, 以支持社会保障业务协同和综合服务。决策区除了建立与生产区同步更新、只读的查询数据库外, 还要建立面向社会保障指标体系的数据集市, 改变面向报表的统计为面向指标的统计, 以支持广大企事业单位和公众的信息查询;建立由主题数据库升档的数据仓库, 而不是由应用数据库抽取形成的数据仓库, 以支持社保局、政府有关部门和领导的辅助决策工作。交换区建设在采用企业服务总线 (ESB) 技术时, 要根据左右、上下、内外数据流的分析, 分类指导信息资源目录与交换体系的建设, 科学规划当前、近期和远期的自动化数据交换的实施步骤。
数据中心与数据交换平台统一建设的可行性和必要性, 在于它们的建设目标和建设策略的统一性。数据中心建设的目标, 是通过对业务数据集中采集、集中存储、集中管理、集中使用, 一体化地解决信息资源整合与应用系统集成问题, 支持核心业务集中统一管理, 实现跨地区、跨部门业务协同和综合服务。数据交换平台建设目标, 主要是解决与上下、外部的数据自动交换;而核心业务之间的数据交换, 随着共享数据库的建设, 会逐渐减少, 因为核心业务将以对主题数据库存取, 取代以往的核心业务之间的数据交换。由此可见, 数据中心的共享数据库与数据交换平台两大机制建设是不可分割、紧密联系、相互依存的。两平台的统一建设, 要遵循“四统一原则”:统一规划——统一进行信息资源规划;统一标准——统一建立数据标准化体系;统一设计——统一搞好总体设计;统一实施——根据信息资源规划方案 (IRR) 和信息工程总体方案, 统一进行数据中心和交换平台的建设。
基于信息资源规划的总体设计
我国自1993年全面推进国民经济与社会信息化以来, 在电子政务和企业信息化建设过程中, 不断出现重复投资、重复开发、各自为战、条块分割、先出现“信息孤岛”后考虑整合的被动局面, 到2004年, 国信办领导和信息化专家一致认为, 信息化建设的主要问题已经不是网络构建、应用开发和软件选型问题, 而是首先搞好总体设计或顶层设计问题。
这时, 一些专家学者和研发机构开始引进介绍美国联邦政府业务框架 (FEA) 和企业架构 (EA) 等参考模型, 军内信息化专家王保存少将介绍了《美国如何进行军队信息化顶层设计》。到2007年, 国家出台《电子政务系统总体设计要求》 (GB/T21064-2007) , 使电子政务建设的总体设计, 有了可参考的指导意见。该意见指出, 电子政务总体设计的目标, 是确定系统所支撑的政务活动的范畴, 明确系统在其所属电子政务框架中的位置与作用, 给出满足系统需求的一种解决方案, 确保电子政务系统的无缝集成和预期目标的实现。一些总体设计的要素, 如需求分析、业务功能、信息资源和系统体系结构等, 可以作为总体设计的参考要素予以关注。
钱学森在《论系统工程》中对总体设计有精辟的论述:总体设计部由熟悉系统各方面专业知识的技术人员组成, 并由知识面比较宽广的专家负责领导。总体设计部设计的是系统的“总体”, 是系统的“总体方案”, 是实现整个系统的“技术途径”。总体设计部一般不承担具体部件的设计, 却是整个系统研制工作中必不可少的技术抓总单位。钱老指出了谁做总体设计、总体设计做什么和总体设计有什么用等关键问题。
我们以钱老的系统工程思想为指导, 学习运用信息工程方法论 (IEM) , 创新提出了基于信息资源规划总体设计的整套技术方法, 简单说就是“三大模型、五项标准和三大信息工程总体方案”。现以某市“金财工程”数据中心与数据交换平台建设基于信息资源规划的总设计为例, 简述要点如下:
1、全面梳理和优化业务流程, 建立应用系统功能模型。信息资源规划是以“职能域” (Function Area) 为基本单元进行数据流分析的, 职能域是指组织中的一些主要业务活动领域的抽象, 它不是当前机构部门的翻版, 但会覆盖当前的机构部门。该市财政职能域界定为:预算编制、国库支付、收入管理、政府采购和财务核算等十个职能域。对每一职能域分析识别业务过程 (Process) , 再对每一业务过程识别定义业务活动 (Activity) , 从而形成稳定的三层结构“职能域-业务过程-业务”表达的业务模型 (Business Model) 。然后, 通过对每一业务活动做计算机化可行性分析, 确定程序模块或组件 (Component) , 形成由三层结构“子系统-功能摸块-程序模块”表达的逻辑子系统功能模型 (Function Model) 。
2、调研并规范用户视图, 进行数据流定性和定量分析。用户视图 (User View) 是指最终用户对数据实体的看法, 是对单证、报表、帐册、屏幕表单等的综合。数据流就是用户视图的流动。采用软件支持工具, 对10个职能域约1000多个用户视图做规范化处理 (达到1-NF) ;基于用户视图, 通过数据流程图做数据流的定性分析, 进而做数据流的定量分析, 全面搞清楚各职能域之间, 以及与外部应用系统的数据流关系。
3、基于用户视图分组和数据流分析, 建立应用系统共享数据模型。数据建模是信息资源规划核心、也是难度最大的工作。借助于专业支持工具软件, 可建立由若干主题数据库 (35个) 、若干基本表 (140个) 所构成的数据模型, 采用简化E-R图来表达全域数据模型和各子系统数据模型。
4、基于数据存取分析, 建立应用系统体系结构模型 (C-U矩阵) 。体系结构模型是功能模型和数据模型的关联, 采用C-U矩阵来表达数据库的共建共用关系和程序模块研发顺序的控制机制, 是应用系统开发过程中确定数据分布的重要依据。每个子系统一个C-U矩阵, 反映子系统内程序模块与基本表的关联, 全域一个C-U矩阵, 反映各子系统与主题库的关联。
5、统一数据标准, 建立信息资源管理基础标准。该市财政核心业务所涉及到的数据标准规范, 在采用和借鉴现有的国际、国家、行业标准的同时, 还需要根据实际需要, 来建立统一的信息资源管理 (IRM) 基础标标准, 包括数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准、逻辑数据库标准 (共5项) 。在此基础上, 建立与外部进行数据交换的信息资源目录与交换体系。
6、采用软件支持工具, 建立信息资源元库系统。信息资源规划工作是由多个小组、众多业务人员与IT人员密切合作完成的信息化工程, 就需要有能够集“理论指导、标准规范和操作方法”为一体的专业软件工具的支持。我们研发并具有自主知识产权的规划工具软件——信息资源规划工具IRP2000net与信息分类编码工具IRP3-icc, 能够对信息资源规划工作过程中的分析调研、建模和数据标准化过程和结果, 都统一保存在信息资源元库 (Information Resource Repository, IRR) 之中, IRR是后续应用系统开发工作所依据的核心资源。
以上就是基于信息资源规划总体设计的第一部分工作——信息资源规划的三大模型和五项数据标准, 而且由工具系统建立和存储, 即形成活化的计算机文档。在此基础上, 做基于信息资源规划总体设计的第二部分工作——
7、信息工程总体方案编写。通信-计算机网络工程总体方案、数据标准-数据中心工程总体方案和应用软件工程总体方案等三大信息工程总体方案, 将用来指导、控制和协调该市“金财工程”数据中心与数据交换平台有序成功的建设。
实践表明, 我们创新提出的电子政务总体设计方法论——基于信息资源规划总体设计, 不仅完全覆盖GB/T21064-2007的总体设计要素, 而且更为科学、简明和实用。
要在实践中推进两化融合
工业和信息化部副部长杨学山
2010年7月1日, 全国首个推进两化融合高级培训班 (第一期) 在上海开班。工业和信息化部副部长杨学山出席开班仪式并发表重要讲话。
要充分认识两化融合。第一, 推进两化融合是党中央国务院的重大战略决策。第二, 两化融合是历史发展的必然趋势。第三, 无论是从企业或国家竞争力的角度、从微观或宏观经济效率的角度, 还是从发展转型的角度, 两化融合的本质就是材料、能源、信息三种社会发展的基本资源综合、协调、高效利用和均衡优化, 中国应该加快创新步伐, 实现科学发展。第四, 推进两化融合是转变发展方式的重要抓手。两化融合在各个方面支撑发展方式的转变:两化融合促进战略性新兴产业发展, 在宏观和微观两个方面提升生产效率, 是节能、减排、降耗、治污的重要抓手, 是提升创新能力的重要基础, 是产品和产业升级的内在动力, 是产业布局调整的技术支撑。
要在实践中推进两化融合。首先, 在战略层面, 第一要提升经济运行整体效率:发展电子商务, 降低贸易成本;发展现代物流业, 降低物流成本;发展诚信体系, 降低交易成本;发展创新平台, 降低研发成本, 提升研发质量;加强预测预警, 引导平稳发展。第二要在三大产业结构调整、产业内结构变化、产业布局、生产技术选择方面着手, 构建现代产业体系, 转变经济发展方式。两化融合是构建现代产业体系的重要抓手, 在构建现代产业体系中发挥着重要作用。
其次, 在重点工作层面, 要大力发展企业信息化、行业信息化、区域信息化。
最后, 要高度重视创新与延续的关系, 两化融合在创新发展的同时, 要高度重视发展的延续性。传感网、物联网、泛在网、云计算、智慧地球等一系列新概念正在发展, 并影响着两化融合进程。但万变不离其宗, 不能就概念论概念, 要正确认识技术的发展, 正确认识技术发展与两化融合的关系, 要切实做到重本质、讲延续、求效果。
摘要:本报告在总结我国地方电子政务建设基本问题的基础上, 提出了地方电子政务数据中心与数据交换平台统一建设的目标、任务和策略, 论述了基于信息资源规划总体设计是其成功建设的基础保障。
关键词:电子政务,信息资源,数据中心,信息资源规划,总体设计
参考文献
[1]中共中央办公厅.关于加强信息资源开发利用工作的若干意见[S].2004.
[2]中国工程院“十二五”规划信息化专题组.我国“十二五”信息化发展的思路[M].2009.
[3]高复先.信息资源规划——信息化建设基础工程[M].北京:清华大学出版社, 2002.
电子政务系统中数据交换模式的比较 篇2
电子政务系统面临着普遍的“信息孤岛”问题,如何彻底消除“信息孤孤岛”,有效地整合现有及未来的业务应用系统的信息数据成为当前政务信息化建设的重中之重。
目前的解决方法是建立一个信息交换平台,采用一种统一的数据交换标准实现相互的数据交流和共享,从而有效地整合现有及未来的业务应用系统的信息数据。
通过数据交换实现数据共享和协同办公。
将针对信息交换平台中的数据交换的模式问题,进行分析和比较,从而为解决各职能政府间的异构数据库之间采用何种交换模式提供借鉴与参考。
进一步实现信息资源的整合、增值和共享,建立统一的电子政务信息架构提供理论依据。
一、数据交换模式分类
数据交换是计算机网络环境上的一个基本信息处理功能。
由于业务的复杂性,形成的交换应用也比较复杂,因此,需要通过不同的交换模式适应多种应用的需求。
在当前的交换应用中已经被证明行之有效的交换模式主要有集中式交换模式、分布式交换模式和混合式交换模式三类。
1.集中式交换模式。
共享信息集中存储在统一的数据库中,信息的提供者和信息的需求者通过访问集中数据库实现信息的共享。
集中交换模式更适用于信息共事程度广泛或信息一致性要求高的应用中(如图1所示)。
2.分布式交换模式。
信息资源分布存储于各业务信息库中,信息资源提供者和使用者通过交换结点提供的交换服务实现两者之间信息资源定向传送的交换模式。
分布式交换模式可划分为有中心交换和无中心交换,分别如(图2、3所示)。
3.混合式交换模式。
集中交换模式和分布交换模式的组合,既可通过共享信息库实现信息交换,又可通过直接互相访问或通过中心交换结点实现信息交换(如图4所示)。
二、数据交换过程
1.集中式交换模式。
通过应用终端访问共享信息实现部门间的信息交换方式(如图5所示)。
2.分布式交换模式
(1)经由中心交换系统进行数据交换。
所有前置交换系统对外交换的信息均由中心交换系统(有的文献也称“数据交换中心”或“数据交换系统”)进行传送(如图6所示)。
注:以下图中的虚线表示信息的流向。
(2)前置交换系统之间直接进行信息交换。
前置交换系统之间直接交换信息的方式是一种点到点的交换模式,没有中心交换系统,信息由一个部门的前置交换系统直接传递给另一个部门的前置交换系统(如图7所示)。
三、数据交换模式的比较
对于集中交换模式,信息资源集中存储于共享信息库中,信息资源提供者或使用者通过访问共享信息库实现信息资源交换。
该交换模式是信息交换常用的一种模式,也是大型应用系统的首选,目前,也常常用于应用系统整合。
这种模式的优点是系统运行效率高、易管理、易维护。
是基于数据整合的一种系统集成方式,主要适合于信息共享程度高、信息一致性要求高的跨部门应用,例如网站系统、综合应用系统等。
对于分布交换模式,信息资源分布存储在各应用业务信息库中,信息资源提供者和使用者通过交换结点提供的交换服务实现两者之间信息资源定向传送的交换模式。
该交换模式是目前跨部门信息交换中的主要方式,多用于异构系统的互连。
这种模式的特点是系统构建灵活,可扩展性好,可以将政务资源的提供者和使用者通过不同的通信方式进行连接,充分保护以往系统的投资;还可以有效隔离下层交换服务与上层应用,使信息交换成为公共服务,可为多个应用共享。
例如企业征信系统、综合治税系统。
这些系统的信息来自不同业务部门的应用系统数据库,通过分布交换模式可以很好的解决信息实时交换、信息适配和信息安全等问题,提高了跨部门应用的有效性和可用性。
混合模式是集中交换模式和分布交换模式的综合运用。
由于政务部门间信息化发展水平的差异和信息交换支持的应用需求的差异,在同一个交换区域内,不会是单一的交换模式,而是多种模式的组合。
在建设规划时,要根据应用需求特点进行台理布局,充分发挥两种交换模式的特点解决特定的问题。
目前政府信息资源整合已经成为电子政务建设的一个重要组成部分。
本文从政府信息资源整合的现实情况和实际需求入手,通过对数据交换模式的介绍和比较,给出数据交换模式适用的场合,从而为解决各职能政府问的资源整合提供借鉴和参考。
电子数据交换 篇3
【关键词】Web Service;电子政务;交换平台;SOAP
随着计算机技术、互联网技术的飞速发展,以网络经济为主要特征的新经济形势日益壮大,但是信息化时代的经济能否健康的发展,这需要电子化与信息化的政府对其进行监督、管理和服务。所以电子政务将成为当代信息化社会的重要发展领域之一,需要采用先进的电子信息技术来构建一种电子政府,运用电子信息化来实现电子政务,从根本上提高政府的管理水平。但是各个职能部门都采用不同的技术搭建符合自身需求的信息系统,这将使平台数据共享和访问带来了困难。在实际的生活中,一项工作还必须依靠各个相关部门所提供的业务数据协同处理才能得以完成。为了解决这一问题,本文将介绍一种基于Web Service技术来实现电子政务数据的交换。
1.Web Service简介
Web Service是一种分布式计算模型,是一系列标准的总和,它包括XML、UDDI、WSFL、WSDL和SOAP等等。在Web Service分布式模型中,开发者可将服务封装成单个独立的Web服务,使每个服务来提供相应的一类服务,然后用户就可通过绑定到HTTP的SHAP来进行访问。政府的各个职能部门采用不同的平台来搭建自身的信息系统,而每一种平台都将有它的数据表示方法及类型系统。所以要实现各个平台之间的互操作性就需要在Web Service平台上来提供一套标准的类型系统使得各个不同类型系统、不同的平台和不同的编程语言能够进行沟通。而Web服务不仅是提供信息,还具有处理信息的能力,只要任意的两个应用程序能够运用XML来进行读写,那么通过Web就能够实现互相通信。
Web Service具有基于开放的标准协议的特点,能够实现异构平台间的互通这最大的优点,在Web服务中有一种概念认为任何东西都是一种服务,这一服务只需发布一个API就可供网络中的其他服务进行使用,并能够实现细节进行封装。在电子政务系统选用Web Service技术,可充分利用Web服务的特性来建立数据交换平台,可以把系统数据的展示和需求看作是一种服务,这种服务只需发布一个API就可以实现各个不同系统之间的数据交换和共享功能,也就实现了电子政务数据信息的整合。
2.数据交换平台的实现
数据交换平台的搭建是为了实现各个不同业务系统之间的数据交换和共享,而利用Web Service技术来搭建一种电子政务交换平台。使其各项应用都共享使用一种数据的交换通道,也就将不同的平台、不同的职能部门的信息系统连接到一起。而这种电子政务交换平台的搭建也就是要进行数据传输平台和数据整合平台的搭建。
2.1数据传输平台
数据传输平台是实现数据信息实现互联互通、信息共享的基础,将采用SOAP技术来进行对其的构建,从而为整个系统来提供数据传输通道,它的基本原理是首先将要传输的数据信息封装成SOAP协议所定义的消息格式,然后对其进行标准的HTTP的封装,最后通过HTTP通道将数据信息进行发送。为了保证传输平台的可靠性,可对数据进行消息队列机制来完成对数据的正常排队处理。
2.2数据整合平台
数据整合平台是数据交换平台搭建的核心,它的作用是要完成电子政务系统各个不同部门自身系统之间的业务数据的交换和整合。通过电子政务的数据整合平台就能够实现各个部门之间的数据整合和共享。数据整合平台首先负责接收各个不同部门的所传送过来的数据,然后将数据传递给数据处理中心进行数据的校验来测试数据的准确度,对于准确的数据信息进行数据的转换,来保证其他部门的系统能够接收到被转换的数据,然而经过效验的数据还需经过数据队列模块将各个数据进行进一步的处理,以免数据提供方长时间的等待,通过交换中心的各个部门来对数据进行协同处理,从而能够提高效率,最后待数据处理完成后就需要对其进行分发,使其到达指定的位置。数据都到达了指定位置后,就可定义路由信息,来实现交换平台的多层连接,致使达到信息数据的共享。
2.3数据交换平台的实现原则
(1)数据交换平台必须具有良好的扩展性,充分考虑未来信息量与业务量增长的需要.且必須要与未来发展方向相适应。
(2)数据交换平台必须能够预留与安全支撑平台的接口。
(3)在软件的设计上应考虑到未来的发展,系统功能要模块化,使用的程序语言应尽量减少将来维护及开发的困难。
(4)数据交换平台必须是一个能够支持大量并发用户的系统体系结构,并且适应性高,用户界面友好易用。
(5)必须为各单位现有的业务系统提供开发接口和标准。
(6)数据交换平台提供的信息交换标准必须与国家交换标准的规范化格式相适应。
(7)数据交换平台必须能方便、快捷地接入新的业务系统,而无须作大的变更。
(8)容易实现业务系统的独立升级与扩容。各业务模块可以独立升级、修改流程时不影响其他模块。
3.数据交换平台在电子政务系统中的应用
基于Web Service技术的电子政务系统在实际的应用过程中,首先要明确电子政务的总体目标,掌握各个部门目前已有的应用系统,然后按照Web Service技术的设计规范对新应用进行设计,最后搭建XML/SOAP的数据交换平台,来实现对信息交换的数据提供封装、路由、传输等服务,依据各个部门的实际情况来通过应用系统对交换的数据进行配置和管理。
我市在搭建电子政务数据交换平台时,依据我市各部门之间已有系统的特点,提出采用集中式数据交换系统体系结构,在政府的计算机中心设立一个中心数据交换平台作为整个电子政务系统的核心,来负责个级机关之间的业务数据信息的交换。区市级的数据交换中心相互连通,形成市区级政府之间的政务系统数据交换通道,区市级政府机关之间的数据交换通过区级数据中心可上传到市级数据交换中心来完成上下级的数据交换。而对于电子政务系统大量的数据文件传输,尤其是多点对一点的双向数据传输,则采用消息队列方式,数据以XML的格式进行封装,以简化数据传输的管理工作,提高数据传输的稳定性和可靠性。
数据交换平台提供的管理服务包括:信息解析、日志、审计、监督等,这些管理服务功能用于对信息交换系统的安全控制和业务审核。
4.结语
基于Web Service技术的电子政务数据交换平台的搭建,使政府各个部门的业务数据得以转换和共享,在对电子政务系统的不断应用过程中,随着需求的变化,运用已经成熟的标准和规范进一步的去完善数据交换平台的功能,使其Web Service技术得以优化,更好的服务于电子政务系统。
【参考文献】
[1]李书林.基于Web Service的电子政务数据交换平台的设计与实现[D].山东大学,2008.
[2]范冰冰.电子政务框架体系结构[J].计算机应用,2004(02).
[3]季久峰,李志等编著.ASP.NET办公自动化系统开发实例导航[M].人民邮电出版社,2004.
电子数据交换 篇4
本文结合了在实际软件项目中的具体需求,在网络层次体系的最高层应用层提出一种全新的非实时网络数据自动传输机制,并予以具体实现。本文提出的传输机制能够借助现有的硬件平台,从而节省了成本,具有较高的经济效益。
1 现有数据传输方式的不足
目前,位于不同地区的两个企业分支机构如果需要传输数据,一般可以采用以下方案:
1)采用虚拟专用网。
此类方案由于需要专门的VPN[1]软件支持,而此类软件价格一般不菲,所以企业单位需要为此支付较高的成本费用。
2)使用FTP技术。
此类方案在费用方面低于采用虚拟专用网的方案,但是FTP技术由于帐户和密码采用明文传输[2],安全性不是很高,不适合企业单位传输机密文件的场合。另外此方案不具备自动传输功能。
3)采用电子邮件
此类方案采用电子邮件的方案一般需要人工介入发送数据,不具备自动传输功能。另外,对于较大文件的发送存在限制。
以上各种方案均不能较好地满足多个网络结点自动进行数据传输的要求,为了满足软件项目过程中的此类具体需求,必须设计新的数据文件传输机制。
2 新设计的传输机制
本文针对以上现有的解决方案的不足之处提出了一种全新的非实时网络数据自动交换机制[3]。新设计的传输机制总体设计采用中央邮件服务器,参加数据交换传输的各个网络结点各自使用自己的帐户在邮件服务器上接收发送给自己的邮件并下载其中的附件文件。同时,各个网络结点都将要交换传输的文件作为电子邮件附件发送到邮件服务器中的接收者的帐户中,由接收者定时接收下载。图1演示了传输机制整体拓扑图。
新传输机制的主要过程如下:
1)假设A、B、C分别是参加数据交换的各个网络结点。
2)A、B、C各自预先设置具体目录为发送目录,在这个发送目录中的所有数据文件都将被后台程序或者服务自动发送。
3)A、B、C各自预先设置具体目录为接收目录,参加数据交换传输的各个结点接收的数据文件都被后台程序或者服务自动存放在这个接收目录中。
4)后台程序或者服务根据预先设定的间隔时间读取发送方的发送目录中的所有数据文件准备发送。
5)为了减少数据传输大小,发送方对准备发送的数据文件进行压缩处理。
6)发送方以电子邮件的形式向预先设置的若干个交换方邮箱发送邮件,数据文件作为附件发送。
7)由于邮件附件存在大小限制,所以发送数据方检查即将发送的数据文件是否大于预先设置的最大值MAXSIZE。如果大于,则将数据文件进行分组分割成若干个分组文件,每个分组大小不超过最大值MAXSIZE。
8)如果数据文件被分割之后传送,则按照顺序对进行分割的文件进行文件名编号,最后一个分组文件以“end”为后缀。例如原来的压缩文件名是“培训名单.rar”,被分割为3个文件,则这3个文件的文件名分别是“培训名单1278367.rar1”、“培训名单1278367.rar2”、“培训名单1278367.rar3end”。这些分组文件均被发送方暂存,以便接收方没有收到的时候再次重发。其中“1278367”这个数字是发送方为了防止第三方冒充发送文件给接收方而随机产生的随机数。
9)接收方按照预先设置的间隔时间到预先设置的邮件服务器上接收邮件,并逐个下载每个邮件的附件到预先设置的接收目录中。如果接收目录中存在同名的文件,则将新接收的文件覆盖原有文件。每一个邮件接收之后将从邮件服务器删除。
10)如果接收方发现硬盘空间不够,则不予接收邮件服务器上的邮件,并且向发送方发送邮件通知发送方停止向接收方发送文件邮件。
11)根据文件名的扩展名后缀检查同一文件的所有分组文件是否已经全部接收到。例如收到“培训名单1278367.rar1”、“培训名单1278367.rar2”、“培训名单1278367.rar3end”三个文件,则由“3end”后缀得知发送方发送了文件“培训名单.rar”,一共为三个分组文件。接收方将文件名中的随机数去除,恢复原来的文件名。
12)如果接收方发现同属于一个文件的所有分组文件中存在还没有接收到的分组文件,那么按照预先设置的超时时间进行计时,如果超时之后还没有在邮件服务器中接收到这个分组文件,则向发送方发送邮件,标题统一为“要求重发”,内容为要求重复的分组文件的文件名,例如“培训名单1278367.rar2”。
以上过程为新机制的主要过程,在具体情况下可以稍微进行调整以适应更加具体的情况,从而取得更好的效果。图2演示了正常情况下传输机制的工作过程。
3 新传输机制的优势
综合以上过程,本文提出的新的传输机制具有以下优势[4,5]:
1)不仅适用于互联网这种广域网,而且适用于局域网,只需在局域网中架设邮件服务器,相对其他方案经济负担小。
2)支持在各种网络(例如广域网、局域网)情况下的大文件传输需求。
3)由于采用电子邮件传输文件,各个网络结点接收文件需要使用各自的帐户在邮件服务器上发送和接收文件,安全性和电子邮件的安全性一样同样得到保障。
4)文件传输过程完全是自动的,只需将要发送的文件放入预先设置的发送目录即可。
5)支持多个网络结点同时进行数据传输和交换。
6)支持错误检测,并且能够重发数据。
以上这些优势将使本文提出的新传输机制在很多应用场合优于传统的数据传输机制。
4 结束语
该文针对实际软件项目的具体需求提出并且设计了一种全新的基于电子邮件的非实时数据自动交换传输机制,这种机制能够满足很多场合的实际数据传输要求,相对传统的数据交换传输方法有独到的优势,必然具有更加广阔的应用前景。
参考文献
[1]韩旭东,汤隽,郭玉东.新一代IPSec密钥交换规范IKEv2的研究[J].计算机工程与设计,2007,28(11):2549-2552.
[2]杨明福.计算机网络原理[M].北京:经济科学出版社,2007.
[3]陈卓,张正文.Internet密钥交换协议IKEv2研究[J].计算机应用与软件,2008,25(2):269-270.
[4]谢希仁.计算机网络[M].5版.北京:电子工业出版社,2008.
电子数据交换 篇5
卷
本卷共分为1大题50小题,作答时间为180分钟,总分100分,60分及格。
一、单项选择题(共50题,每题2分。每题的备选项中,只有一个最符合题意)
1.根据下列资料回答4~6题:一家大型银行拥有30个主要的应用系统,支持着超过250个不同类型的客户账户,包括从标准的支票和存款账户到复杂的信托账户。这个系统已经开发了25年,使用了几种语言和数据库系统。单独就某个系统来说,系统工作得很好并很少发生错误。然而,不同的系统有不同的用户界面,这就增加了对新的账户业务人员培训的时间,也增加了系统使用错误的可能性。8年以前,账户业务人员对所有的账户类型都很熟悉,并且可以向客户建议选择哪种合适的账户。但是现在,只有很少的账户业务人员能够熟悉大多数账户种类,甚至有些人在他们自己的职责范围内也不能很好的帮助客户选择合适的账户组合。管理部门认识到客户服务的质量取决于与客户联系的账户业务人员。如果账户业务人员能够熟悉客户最适合的账户种类,客户就可以得到更好的服务。通过多次讨论,管理部门确信如果不能与客户之间保持良好的关系,本银行将落后于它的竞争对手。同时银行也不能一下子安装所有新的系统。经过许多次会议讨论之后,管理部门和账户业务人员还是不能就新系统应该如何工作和用户的界面达成一致的意见。如果经过了一段时间,银行把账户管理系统开发出来了,并培训了账户业务人员,经过培训这些人员也能够成功地使用系? A:a.生命周期法。B:b.模拟法。C:c.原型法。
D:d.分层-输入-处理-输出(HIPO)。
2.在计划对应收账款的内部控制实施审计时,首席审计执行官索取并得到了外部审计人员的函证。在审查这些工作底稿时,他注意到外部内部审计师使用否定性函证,这是因为 A:运货和开票的内部控制薄弱;
B:外部审计人员怀疑账户余额中有错误和违规; C:许多账户余额较大;
D:内部控制强,且所涉及的许多账户余额都很小。
3.以下哪项内容可提供关于可审计对象之风险的最为可靠的信息? A:带有回归分析的情景假设
B:以往的审计发现和管理失败的案例 C:损失的后果和经济可预见性
D:在内部审计部门开展的管理评估和协作
4.一家宠物医院通过计算机应用程序把每次宠物就诊的账单提供给客户。需要在操作系统的帮助下才能完成的功能是下列哪一项? A:a.需要将就诊费用汇总时。B:b.当对余额进行更新时。
C:c.当对每一个宠物的文件进行调阅时。
D:d.当从通讯录中提取出宠物主人的姓名时。
5.以下哪项雇佣程序能够对求职申请中所提供信息的正确性进行最好的控制?
A:要求申请者在提交申请的同时提供非正式的成绩单复印件,作为他们教育背景的证明。B:证明申请者品行特点的推荐信必须直接邮寄给招聘单位,而不能由申请者提交。C:招聘单位给参加最后一轮选拔的每一名申请者的上一个就职单位打电话,证实他们的就职时间长短和职位情况。
D:要求申请者签署申请表中的信息是真实而正确的,作为对申请表中信息真实性的确认。6.如果应用电子汇款系统,以下哪项内容的风险更高? A:变化控制程序不恰当
B:未经授权进行访问和其他活动 C:网上编辑检查不充分
D:备份和灾后数据恢复不充分
7.首席审计执行官正在面试一名应聘者。首席审计执行官认为这名申请者熟练掌握了内部审计技术、会计和财务知识,不过,申请者在经济学和信息技术方面的知识很有限。以下哪项行动最适当
A:尽管应聘者缺乏一些基本领域的知识,但仍可以为申请者提供一个职位; B:由于缺乏内部审计专业实务标准所需的知识,因而拒绝其申请; C:鼓励申请者接受经济学和计算机方面的培训,然后重新应聘;
D:如果部门的其他员工掌握了充分的经济学和信息技术方面的知识,可以为申请者提供一个职位。
8.以下哪项增长后会引起国内生产总值下降? A:通货膨胀 B:出口 C:进口
D:消费支出
9.以下哪项是对内部审计师在组织现存的风险管理、控制以及治理过程审核目标的最佳描述
A:帮助确定必要测试的性质、时间安排及范围,以实现业务目标; B:确保内部控制系统的薄弱环节得到纠正;
C:为组织的目标和宗旨得以有效率和有效果地实现的过程提供合理的保证; D:确定内部审计过程是否能确保会计记录的正确性以及财务报表的公允披露。10.独立董事任期届满,连续可以连任,但连任时间不得超过几年? A:3 B:4 C:5 D:6 11.以下哪种计算机控制措施对于从个人电脑向主机上载数据完整,而且没有其他数据被添加最为效果?
A:有效限制进入的密码,保证只有合法用户可以把数据上载到主机结构。B:字段层次编辑控制,检查每个字段的完整性。
C:自校验数位,保证只有有效的部分数字被添加到数据库中。D:批处理总数控制,包括控制总数和杂项总和。
12.某内部审计师正检查某机动车辆联营企业的业务情况。该审计人员利用分析性审计技术观察大型轮胎车辆的主要制造费用的趋势。该趋势表明下列各项有关的费用地预见较去年有重大增长(1)正使用的车辆数;(2)车辆运行里程数;(3)设备使用年数;(4)环境状况。审计人员调查发现有两家新维修公司正在被使用。所有维修业务的费用单据项均完整,但在单据上发现维修车辆牌号与正在使用的车辆不一致。审计人员可能采取的措施包括①与维修部门的负责人讨论此事并要求作出解释;②编制正开展的维修项目清单,并与制造业维修指南进行 比较;③对车辆的车票进行分析来确定其中是否隐藏着需要注意的问题;④检查截止日期报告(deadline report),确定所维修的车辆在维修日期并未在使用中;⑤检查派遣时间安排,确定是否存在车辆发生使用而同时维修部门报告中列为维修的情形;⑥与安全部门协商。上述有关行动中你认为哪些较佳? A:①,⑥和④; B:④,⑤和⑥; C:⑥,⑤和②; D:②,③和④。
13.某内部审计部门在开展基建工程审计时,审计师怀疑构架用钢材不符合合同规定。内部审计部门没有工程方面的人员。根据IIA的《标准》,恰当的行动是 A:对这个差异安排一定的财力,编制一份缺陷发现报告。B:询问工程主管,以解释为何存在这种差异。C:要求暂停合同付款,直到这个差异得到解决。
D:询问公司或咨询工程师,确定这种钢材是否符合合同规定。
14.在审计业务计划中,内部审计师应该检查所有相关的信息。下列哪一种信息来源最可能帮助识别那些怀疑违反环境法规的行为 A:与经营经理讨论; B:检查贸易订单;
C:与外部审计人员在业务合作过程中进行的讨论; D:检查机构报送政府机构的函件。
15.管理当局为评价这一建议应考虑的额外标准不包括 A:内部审计人员现有的专业知识。B:被提议审计的总体成本。
C:发挥本组织内部专家作用的必要性。D:外部审计师对一次性审计想法的坚持。16.在内存中检查错误是以下哪项的职能 A:有效性测试; B:范围测试; C:内存保护; D:奇偶校验。
17.制定业务工作方案发生在业务的以下哪个阶段 A:计划阶段;
B:在评价风险管理和控制系统之后; C:在开展业务时;
D:为确保下次业务能涵盖所指出的问题区域,在每次业务结束后对标准业务方案进行修改时。
18.以下哪项提醒审计人员该分部有可能存在舞弊行为? A:该分部当年未安排外部审计。B:销售额增长10%。
C:管理者报酬的相当大部分直接与该分部报告的净收益相关。D:以上三项都对。
19.文件可以提供具有不同程度说服力的信息。如果审计目标是证实从供应商处取得的特定发票确实已经付款,下列哪种文件通常是最具说服力的
A:业务客户现金支出日记账中的分录,该分录有供应商发票的凭证支持; B:支付给供应商并有发票支持的已核销的支票,该支票已包括在审计人员从银行直接取得的截止日银行对账单中;
C:应付账款明细账列示了对发票的付款;
D:已经盖上“付讫”戳记并附有相关支票号码的供应商原始发票。
20.某审计师正设计抽样计划,以测试过去三年中日常生产报告的准确性。所有的报告都包含同样的信息,只有星期五的报告例外—星期五的报告还包括每周总额,而且是由生产经理而不是车间主任编写。在正常情况下,生产活动在接近每月月末时达到高峰。如果审计师希望应用间隔抽样计划每月选取两份报告,那么,以下哪种技术能降低样本出现偏差的可能性? A:推算总体的错误率 B:应用多少随机启动方法 C:提高置信度 D:提高准确度
21.在评价制造业公司计算机化采购活动的业务中,以下哪项应包含在业务工作底稿的永久性档案部分
A:计算机程序文件的副本(或与此有关的详细内容);
B:用内部审计师编制的程序来打印输出数据并检验数据;
C:对上年工作底稿的修改所发生的变化会对本年的业务有影响; D:对每个地点有关计算机运行的管理控制信息。
22.当内部审计师开展的咨询服务给公司带来增值,并改善公司运营时;
A:如果内部审计师开展涉及同一客户的保证服务,上述咨询服务可能有碍其客观性; B:不可能在这些咨询服务中实现保证业务的目标;
C:这些服务应与内部审计部门章程中反映和内审部门授权保持一致;
D:这些服务不应给内部审计师施加向业务客户以外的其他对象反映情况的责任。23.下列哪种变动会导致置信区间范围变窄 A:置信水平从95%增至99% B:置信水平从95%下降至90% C:误拒风险的可接受水平降低 D:精确度提高
24.下列哪一程序可以取得有关应收账款坏账准备充足性的最相关证据? A:函证应收账款。
B:分析下月应收账款账户的回款情况。
C:检查有关应收账款核销的控制,以保证所有核销的坏账都经过管理层的批准。D:通过对应收账款账龄和当前相关经济数据进行分析来确定坏账准备的充足性。25.管理当局为评价这一建议应考虑的额外标准不包括 A:内部审计人员现有的专业知识。B:被提议审计的总体成本。
C:发挥本组织内部专家作用的必要性。D:外部审计师对一次性审计想法的坚持。26.上述舞弊不可能通过以下程序发现 A:分析每一贷款部门主管的贷款数目; B:分析贷款主管的贷款总额; C:针对贷款的内部以外部审计;
D:调节全部在外贷款总额与总帐余额。27.以下哪项不是出具中期报告的优势 A:正式的书面中期报告打消了对特定情形的审计报告的需要 B:中期报告使需要立即引起关注的信息得到沟通 C:中期报告可以是非正式的,可以只通过口头来传递 D:缩短撰写最终报告的时间
28.审计师决定不向审计委员会报告与公司治理有关的薄弱环节。如果情况属实,以下哪项说法可以证明审计师的决定是有道理的?
A:公司治理问题比较复杂,审计师应该依赖管理层对问题范围的分析。B:董事会已单独成立公司治理委员会;
C:与控制薄弱环节有关的金额和潜在的风险对于整个公司来说并不重大; D:管理层已计划启动纠正措施;
29.下面的网络图显示了完成项目所需要的几种活动之间的内在联系。箭头代表了活动,并且以字母表示。括号里面的数字表示了完成每种活动所需要的星期数目。
完成该项目的最短时间是 A:18周 B:17周 C:16周 D:14周
30.安全性软件的主要目的是 A:控制对信息系统资源的进入;
B:限制对阻止安装非法工具软件的进入; C:检查病毒的存在;
D:监控应用软件职责的分开。
31.内部审计师近期接到一个来自于营销部门经理提供的周末免费使用海滨度假的提议。目前内部审计活动不会对营销部门实施审计,而且也不在计划安排中。内部审计师 A:应该拒绝这个提议,并向恰当的领导报告;
B:可以接受这个提议,由于这个提议的价值是非实质性的; C:可以接受这个提议,由于没有开展或计划对营销部门的业务; D:如果得到了适当的领导批准,就可以接受这个提议。
32.资产和负债风险。Ⅱ、与保险方案有关的风险。Ⅲ、影响机构目标实现的风险。A:只有Ⅰ和Ⅱ是对的 B:只有Ⅲ是对的 C:只有Ⅱ是对的 D:Ⅰ、Ⅱ、Ⅲ都对
33.通过以下哪种方式可以最好地防止拥有充分技术的人员绕过安全程序对生产程序进行修改?
A:定期运行测试数据。B:制定合适的职责分离。
C:对已完成工作的报告进行检查。
D:将生产程序与独立控制的拷贝进行比较。
34.内部审计主管被任命参加一评估外部审计师应聘资格的委员会。承担外部审计的会计师事务所业务合伙人邀请内部审计主管一起到其私人狩猎场打猎一周。该内部审计主管应当 A:接受,理由是他们双方的有关条文允许; B:拒绝,鉴于双方的利害关系; C:只要不占用工作时间就可以接受; D:询问主计长,这样做就是违背公司道德守则。
35.以下哪一项内容最可能被视为内部审计保证服务? A:流程设计服务; B:协调业务; C:培训业务; D:合规性业务。
36.当下列哪个因素提高时,企业的经济价值(市值)会提高? A:非系统风险。B:系统风险。C:净现金流。D:贴现率。
37.以下哪种情形违反了IIA道德规范?
A:在一起合伙人起诉某公司诈骗的案件中,该公司内部审计师被法庭传唤,他在法庭上泄漏了机密审计信息。
B:某办公用品制造公司的内部审计师最近完成了对公司市场部进行的审计,基于本次审计经验,周末他花费几个小时为本地一家医院提供有偿咨询,指导这家医院市场部实施类似的审计。
C:一位内部审计师在当地举办的IIA会议上发表了一次讲演,概括了他为某公司电子数据交换系统进行审计而设计的程序,许多该公司主要竞争者的审计师都参加了此次会议。D:在一次审计中,内部审计师了解到某公司将要推出一种能使该产业发生变革的新产品,由于新产品可能成功,该审计师接受了生产经理的建议,多购入了该公司股票。
38.在注意到几处红旗标志之后,内部审计师明显感到可能存在舞弊行为。以下哪项是对内部审计师责任的最佳描述
A:扩大审计活动,以确定进一步调查是否合理;
B:向管理高层和审计委员会报告舞弊存在的可能性,并向他们询问是否继续审计工作; C:向外部法律顾问咨询,确定要采取的一系列行动,如批准已提交的审计工作方案,确保这些方案在法律范围内是可接受的;
D:向审计委员会报告这一事实,并要求提供专款,聘用外部服务提供者,以协助调查可能存在的舞弊行为。
39.根据《专业实务框架》,评估内部控制系统充分性的主要目的是确定;
A:内部控制系统的设计是否是为了保证遵守有关政策、计划、程序、法律和规定; B:内部控制系统是否为实现公司目标提供合理保证; C:内部控制系统是否能降低内在风险;
D:内部控制系统是否能保证管理层所用信息的可靠性和完整性。
40.某内部审计主管揭示了一项明显涉及某执行副总裁的重大舞弊活动。该副总裁正是内部审计主管向其提交报告的高层主管。该主管最好采取下列哪一措施? A:进行调查以确定舞弊程度; B:与副总裁面谈以获得重要证据; C:通知执行部门和警察;
D:将事实报告给总裁和董事会的审计委员会。
41.创建数据库查询的审计师通常需要将几张表合并起来,获得他们需要的信息。一种可以合并表的方法是 A:提取; B:分类; C:合并; D:连接
42.审计发现的摘要显示旅行费用预付款超过规定的最大限额。公司政策允许预支旅基金给经批准的员工在旅行时使用,预付资金不超过45天的预计费用。公司程序不要求在申请大额旅行预付款时提供正当理由,员工能够并实际上累计预借了大额的不需要的预付资金。上述审计发现中,作为审计发现“原因”因素的是 A:公司预付款程序不要求提供具体的正当理由。B:公司政策允许为经批准的员工提供旅行基金。C:员工积累大额的旅行预付款。D:旅行预付款没有及时清理。
43.在以下哪种情况下,首席风险官的职能最有效? A:作为高级管理层的一员来管理风险。B:与直线管理者一起管理风险。C:与首席审计执行官一起管理风险。
D:作为企业风险管理团队的一员来监督风险。
44.审计师了解到计算机的普及为计算机舞弊创造了更多机会,但也促进了检查舞弊的计算机审计技术的发展。编程舞弊是发生在银行业中的一种舞弊,即程序员设计了一个程序,将储蓄账户的日利息计算到四位小数点,然后他截掉最后两位小数并加到自己的账户中。以下哪项计算机审计技术最有效地检查这类舞弊? A:平行模拟;
B:系统控制和审计复核文件。
C:为了向储户函证,用通用审计软件抽取账户余额; D:抽点打印法
45.如果编制工作底稿摘要,则其可用于 A:提高内部审计主管复核工作底稿的效率。B:替代作永久保留之用的详细工作底稿文件。C:用作给高级管理层报送的内部审计报告。D:记录审计发现的所有进展情况。
46.某报纸的头版报道某国际性非盈利机构的总经理一直为私人目的而花费该机构的资金。基于正在对该机构进行审计,某内部审计师有足够证据证明文章中的报道。该报社的一位记者想证实此事而采访他。这位内部审计师最适当的反应是
A:和盘托出,因为内部审计师讲的是与总经理个人有关的事,与该机构无关。B:将这一要求交由审计委员会或董事会处理。
C:提供有关资料但不标明出处,使文章不能明确指出信息的来源。D:以调查不全面而推托。
47.关于模拟模型,以下哪项不对
A:模拟模型用数学语言评估未来的实际情况 B:模拟模型模仿随机系统
C:在本质上,模拟模型是确定的 D:模拟模型可能会用到抽样技术
48.终端仿真软件允许局域网的微机像大型机的终端一样工作。部门局域网用户也需要公司大型机的中心数据库的信息,并使用该部门雇员开发的终端用户计算(EUC)应用系统对这些信息进行处理。在这种环境下,除了一项外都是主要的控制风险? A:部门用户可能未执行充分的针对EUC应用的备份程序。B:雇员可能将未经授权的办公自动化软件拷贝用于私人目的。C:雇员可能将微机用于获得私人利益。
D:在进行终端仿真时,微机的屏幕显示能力可能不足。49.下面哪一种情况说明审计人员可能缺乏客观性?
A:一个与主要客户相连结的新的电子数据交换程序运行之前,审计人员对其进行审核; B:前任采购助理调入内审部门四个月后,对采购业务的内部控制进行审查;
C:审计建议制定控制和业绩考核标准,以便评估与某服务组织签定的处理工资和雇员津贴的合同;
D:编制工资单的会计职员,协助审计人员确认小型电动机的实际库存量。50.可以快速产生用户接口、用户与系统的交互过程以及处理逻辑的模型的系统开发方法称为
A:神经网络。B:原型法。
C:业务流程再造。
交换机端口数据流量信息 篇6
关键词:封包;数据;流量
中图分类号:TP311 文献标识码:A 文章编号:1006-8937(2015)17-0066-01
1 交换机的重要作用
在企业局域网中,网络链接的核心就是交换机。交换机属于网络运转枢纽,直接影响到连接到它上面的电脑上网。如果交换机出现运行问题,轻则导致电脑上网缓慢,严重的话则会出现断网现象。我们利用技术手段对交换机端口数据流量信息进行采集、分析、控制,可以有效保证交换机和网络链接的正常运行。
网络中对流量进行有效的控制,能够保证网络运行的稳定性。为此,选择性能优越、质量上乘的交换机组成完善的网络链接体系,就显得至关重要了。当然,无论交换机质量有多么过硬,如果网络管理员平时疏于管理维护,也会让局域网出现一些技术问题,甚至是严重的机械故障,影响整个系统的正常运行。因此,网络管理员要注意提升网络交换机管理维护水平,充分认识到交换机管理维护的重要性,及时妥善地进行技术维护,确保交换机的健康运行。
2 交换机的工作原理
交换技术是数据链的重要环节,处于OSI七层网络模型中的第二层。在这个数据链接过程中,交换机要实时进行数据链路层操作。在网络信息传递正常运转时,交换机对数据报文的转发是建立在MAC(Media Access Control )地址之上的。在网络链接启动后,交换机不需要知道信源机和信宿机地址,只要知道IP 网络协议用户的物理地址(MAC),就可以进行数据信息的封包转发。
交换机在具体链接过程中,会持续进行报文检测,并根据报文目的源和目的MAC地址来建立MAC地址表。交换机在收到具体报文时,需要核对地址表,找到具体数据报文的端口地址,确认信息数据应该从哪个端口报文转发出去。假如交换机在地址表中找不到相应的地址数据信息,它会自动将IP报文广播出去。
3 交换机的封包(报文)转发
交换机的报文(封包)转发涉及到两个关键的线程。
3.1 学习线程
学习线程包括众多操作步骤,根据其操作运行特征,可以归结为三个主要操作环节。
①网络信息正常传递时,交换机将端口接收的数据帧进行分类,并根据接收数据帧的源地址建立MAC地址表,实现数据信息的初步操作处理。
②交换机在具体操作中,如果发现接收到的报文数据源地址和报文中的源地址出现偏差,交换机会进行自行移动,将MAC地址学习到新的端口,确保数据报文转发的正常运行。
③交换机在实际工作中,如果长时间收不到主机发出的报文数据信息,交换机会自动删除该主机的MAC地址,如果该主机继续报文,交换机又会自动学习MAC地址到新的端口。
3.2 报文转发线程
交换机在报文转发操作中,会根据报文数据源MAC地址表进行相应调整。如果交换机发现数据报文数据源MAC地址存在于地址表中,会自动进行链接转发报文信息;如果在MAC地址表中找不到相应的报文数据源地址,则会向所有端口发出广播。
另外,假如交换机接收到的报文中源MAC地址和目的MAC地址相同,就会做出丢弃该报文的决定,然后交换机会向所有端口发送该报文数据信息进行广播。
4 交换机如何进行信息采集
4.1 准备工具
Sniffer软件是一款数据处理辅助工具,由于相关数据涉及用户的账号和密码等隐私,在具体操作使用时要遵循相关技术规范要求。这款数据处理软件也可以作为网络报文的设备来使用。Sniffer软件在交换机网络链接中的使用频率很高,其作用也不容忽视,不仅能够对客户账户密码等信息数据进行科学处理,还能够利用计算机网络接口截获目的地数据信息,为其他计算机报文提供有效的服务。
4.2 工作步骤
对一台交换的端口实施端口镜像:通过配置交换机来把一个或多个端口(VLAN)的数据转发到某一个端口来实现对网络的监听,是网络通信协议的一种方式。交换机对进出网络接口的所有数据信息进行处理,也能够为监控软件管理设备提供数据支持。可以将某一个端口接收的数据信息报文源数据帧复制到另一个端口,这个被复制的端口就是镜像端口,接收复制的端口则被称为镜像目的端口,而且Sniffer监控数据包能够快速启动监控功能。
4.3 抓包后交换机的交换方式
交换机通过以下方式进行交换:
交换机抓包后需要进行数据交换,首先是数据帧交换,这是目前局域网应用最为广泛的交换技术,主要是通过媒介进行微分段,并进行数据帧信息进行媒介传送,尽量减少域冲突,这样才能获得较高的宽带数据运行。
4.4 解决方案
很显然,由交换机的工作方式可以看出,出现网络“顶死”基本都是由上网用户没有节制的消耗宽带资源引起的。要解决这个问题,需要从以下几个方面展开:
方案一:扩大访问Internet网络的出口,达到提升网速的目的,这个举措带有客观限制的困难。
方案二:限制每个用户上网访问端口数理信息流量,虽然上网出口宽带大小不变,但只要有效控制用户上网端口信息流量,也可以保证宽带资源的正常运行。因此,要想利用扩大上网出口宽带流量大小来保证交换机不出现堵死的故障,还需要运营上支付较高的网络运行成本。
方案三:利用交换机特有的网络管理功能,对上网用户上网交换端口出入速度进行控制。不管用户IP地址是不是变化,只要用户上网宽带接入到交换机限速交换端口上,其网上流量都会被有效控制在一定范围之内。这样可以有效解决用户流量问题,实现交换机数据控制的合理性。流量控制之后,交换机受到大流量数据包冲击的可能性大大提升,也为我们提出新的研究课题。
通过多元比对,我们可以明显感觉到,方案一和方案二都难以有效地解决用户端口数据信息报文过量的问题,自然也无法避免交换机出现“堵死”的故障。因此,只有方案三具有一定优势,首先是不需要额外支付相关成本,其次是不需要调整相关组网结构,确保交换机控制端口流量不受大容量数据信息报文的冲击,确保客户网络运行的正常稳定。
参考文献:
[1] 戴伊·麦克唐纳·鲁菲(美).思科网络技术学院教程CCNA Exploration[M].北京:人民邮电出版社,2012.
电子数据交换 篇7
采用C/S、B/S等架构的计算机系统,可以快速地完成实时数据交换,满足不同行业的应用需求。
1 问题的提出
在实际应用中,存在着这样的一种需求,即在网状网络拓扑结构中,任意两点或多点之间存在着定期或不定期、没有严格时间限制的、少量而又是必须的数据交换的要求。如果全部采用C/S、B/S等架构,意味着需要较大的软硬件建设成本和运行成本,以维持系统的有效性。实际上,这种需求只是希望以较低的建设成本和运行成本在某一时刻传输某些特定数据,采用传统的系统组建方法,虽然能够完成任务,但显然是不经济的。
例如,在供电管理系统中,乡级供电所需要将其用户供电可靠性指标中的停电次数、故障停电次数、停电持续时间、停电户数、停电缺供电量等原始数据,在每月的10号之前报县供电局,将其线损、铜损等指标每半月一次报县供电局,将其效益数据每月一次上报县供电局。其上报时间并无严格限制,只需在截止日期之前上报即可。县供电局在规定的日期将乡供电所提供的原始数据汇总、计算,形成县局的汇总数据,以日报,旬报、半月报、月报等形式,上报省局。省局再汇总、计算,形成省局的相关数据和报表。同样,省局、县局也需要将文件、计划、分解的任务等数据下发至县局和乡供电所。由于每一个点发送数据的时刻是不确定的,而这种小规模的数据传输又是该行业所必需的,如果采用C/S、B/S结构,意味着每一个点都至少应配备一台C/S结构的计算机,并确保其24小时开机。与其需求相比,这种方式尽管实现了既定功能,但系统设计显然是不合理的。
2 设计思想
该类应用系统的行政管理结构如图1所示,为一个树状拓扑。
为了实现所要求的数据传输,我们设计了如图2所示的系统方案。采用电子邮箱,构成网状拓扑结构。保证系统满足当前层层上报的传输要求,同时也具有了良好的扩充性。当需要乡供电所将原始数据直接上报省局,或省局的计划及文件需要直接下发至乡供电所时,只需要修改邮箱地址即可实现,从而使传输通道更简捷、有效。当然,根据业务要求,需层层上报或层层下发的数据仍然遵从原有的业务规则。利用电子邮箱的暂存作用,下级局可以在截止日期之前的任一时刻将采集到的原始数据上报,上级局也只需在规定的时间之前从电子邮箱收取上报的数据,汇总、计算,产生本局所需的报表或作为其它系统的原始数据。
3 实现方法
本系统由于采用电子邮件作为中间环节,所以作为乡供电所、县局、省局,在系统中的作用是对等的。主要任务是按要求完成发信和收信功能,所以基本数据交换模块是一致的,只是县局和省局还需要额外增加汇总和计算模块。
3.1 程序结构
本系统采用C/S结构(也可采用B/S结构,但此时数据只能以邮件方式暂存本地),开发工具选用powerbuilder + SQLServer。写信、收信和发信功能采用powerbuilder来实现,邮件的管理和暂存由公网的邮件服务者提供,汇总和计算利用SQLServer在后台完成。程序框图如图3所示。
3.2 拨号上网的实现
在发信、收信之前,首先要确保Internet的接入。对于没有通过局域网连入的乡供电所,我们提供了电话线 +modem的接入方式。拨号过程由用户通过相应的按键自动完成,同时自动监测连接过程和当前状态并给出相应的提示。
拨号模块采用winsock方式实现,并以动态链接库(dll)的方式提供给发送和接收模块使用。在链路控制级,采用面向字符的链路控制规程。提供的函数有:
同时,数据交换的双方应该是对等的。任何一方都可以主动地拨叫对方,所以,我们还在双方建立拨号服务,以允许其他用户通过电话线拨入。所有节点的电话和用户密码可通过配置,采用查表的方式获取。
在进行数据发送和接收前,系统首先要检测网络的连通状态。当局域网已经处于连通状态时,就立即发送数据;当通过modem时,如果用户直接进行数据的发送和接收操作,系统将自动启动拨号程序,并等网络连通时,立即完成用户的操作请求。
3.3 数据录入的实现
根据需要采集的原始数据,该系统提供相应的录入界面,用户可通过手工录入、电子文档导入方式来实现原始数据的录入工作,并暂存本地,作为电子邮件的数据源,也可以作为日后本地查询的历史数据。
电子文档导入时首先要进行数据的一致性和完整性检查,并将错误数据剔出,以便用户修改后再行导入。对于用户需要成批以覆盖方式导入的数据,该系统也提供安全措施,经用户确认后再行导入,以避免误操作。
3.4 收信和发信功能的实现
收信和发信功能借助于Windows的OUTLOOK来实现。
为了使用OUTLOOK,首先要建立账号,然后配置该账号的账号名、密码、电子邮件地址、接收邮件服务器地址(POP3,由邮件服务商提供)、发送邮件服务器地址(SMTP,由邮件服务商提供)等信息。
在powerbuilder中,调用OUTLOOK,并控制邮件发送和接收的过程。
在发送和接收邮件时,主要使用powerbuilder的以下对象:
mailsession:这是一个非可视用户对象,是为了建立MAPI (messaging application program interface) 。其主要属性有:Po-werObject ClassDefinition、String MessageID[]、Long SessionID,主要方法有:maillogon(邮件登录)、mailaddress(弹出邮件地址窗口,获取邮件接收者的地址)、mailsend(发送邮件)、maillogoff(退出登录)、mailgetmessages(获取mailSession对象的MessageID数组)、mailreadmessage(按照ID邮件的内容)等。
mailmessage:这是一个包含指定邮件信息的系统结构。其主要属性有:AttachmentFile[ ] (发送邮件的附件)等。
mailreturncode:mailsession 的函数调用的返回值,取值包括mailReturnSuccess!、mailReturnFailure!、mailReturnInsufficientMemory!、mailReturnUserAbort!、NULL,用户根据其取值决定后续动作。
用户所属局所标识采用国家编码,利用初始化文件(INI)的配置在用户登录时自动带入,并作为全局变量,在统计报表中作为本局所的唯一标识,邮件的接收方根据该标识分别进行处理。
每次发送时仅发送一封邮件,发送的数据作为邮件的附件。根据需要,报表内容通过参数表配置,在发送时自动从参数表获得报表的名称和个数,组成附件,一次发送。作为邮件的接收方,在接收邮件时,根据局所标识、mailsession的mailgetmessages和mailmessage的AttachmentFile[]等属性,依次接收邮件,并分别进行处理。如果是数据邮件,则首先本地暂存,然后入库;如果是文件邮件,则存入指定的目录。邮件发送和接收之后,记录发送和接收日志。
部分发送程序:
3.5 数据文件的传输
通过参数配置,传送的数据都有一个唯一的标识号,在发送时可以通过选择来选取本次需要发送的多种数据,然后以邮件附件形式随邮件发送出去。接收方再根据数据的标识号将其导入不同的数据表。
为了避免发送方重发的电子邮件形成的重复数据,每一笔导入的数据都要记录日志,包括日期、发送单位等信息。当重发数据导入时,系统根据日志能够自动识别,并由操作员来确定是作为重复数据放弃导入还是作为重报数据覆盖原有数据。
4 结束语
该系统通过一年的试运行,取得了良好的运行效果。以较小的运行成本,解决了在此类行业存在着定期或不定期、没有严格时间限制的少量而又必须的数据交换的要求,不失为具有类似需求应用的一种良好的解决方案。
参考文献
[1]王雪聪,麻书城,聂胜才.PowerBuilder7彻底研究.北京:中国铁道出版社,2001:176-180.
[2]朱友芹,等.新编Windows API参考大全[M].北京:电子工业出版社,2000:789-796.
[3]马永杰.Powerbuilder中可重用模版的设计[J].计算机应用与软件,2004(3):50-52.
[4]马永杰,等.数据库应用软件系统的远程维护方法[J].计算机应用,2003(6):155-158.
电子数据交换 篇8
早在过去的几年里,当现代电子政务还处于萌芽状态的时候,各国分别颁发了电子政务方面的各类法规以及文件,其中包括美国在1997年颁布的“全球电子政务纲要”、欧盟委员会在1997年4月5日发布的“欧盟电子政务协议书”等,都使得使得电子政务在实际运作的时候有了更为系统的的标准,另外,在1998年召开了一次非常具有全球EC史里程碑意义的会议,制定了一批指导电子政务实际运作的文件,都使得电子政务在实际发展中得到了良好的铺垫。
在国内,中国电子政务仍然处于起步阶段,国际企业应用EC的程度远高于国内企业,但电子政务在中国的发展潜力却是巨大的。据国家经委会对中国电子政务应用的调查,全国对EC有一定了解的企业仅占17%,另外有5%的小型企业、10%的中型企业和50%的大型企业具有电子政务方面的意向,除此之外,已经大概有五百家大型企业对电子政务进行实践和方案论证。根据有关人士分析,在未来的三年内,将会有80%的国内企业投入到电子政务领域。此外,中国国家领导人也就电子政务问题发表了谈话,并敦促发展中成员要认真仔细的向发达成员学习在电子政务方面的技术。
1 互联网电子存在的风险
1.1 黑客入侵
互联网不能随时随地的规避外界的恶性攻击,例如互联网黑客,黑客通常会非法入侵用户的电脑中,窥探用户的网络数据资料,一般用于口令的进攻方式,从而破解用户的账号密码,泄露用户的资料,并对对用户的财产进行转账、删除网络用户的重要文件资料等行为。有些黑客还会入侵国家机构的互联网,窥探国家机密,给国家带来巨大损失。
1.2 由于防火墙防御能力较弱引发的网络漏洞
防火墙是保障计算机网路安全使用的一道重要的屏障,但是目前有些用户的防火墙未能及时更新,从而降低防火墙的防御功能,进而引发一系列的网络漏洞,网络漏洞会给黑客入侵创造有利的条件,网络漏洞现在正在威胁着用户的网络使用安全。
1.3 网络用户的操作不当引发的威胁
计算机的使用环境较为开放,互联网的安全有些是来自外界的威胁,而有些是由于计算机用户的操作不当引起的。互联网具有可共享的性能,因此当用户上传的资料文件会携带相关的个人信息,这些信息就会造成泄露。还有一些用户会会在好奇心的作用下去下载一些文件,或者浏览相关的网站,很有可能这些网站和文件携带病毒,这些都存在着一定的风险,会给计算机用户带来一定的损失。
2 互联网电子政务的定制数据安全交换技术研究方案
想要促进互联网电子政务的定制数据的安全发展,首先要实现互联网电子政务的定制数据的可视化发展。实现互联网安全的形式和手段多种多样,但是能否达到互联网电子政务的定制数据的发展透明化还不得而知。实现互联网电子政务的定制数据交换技术安全的相关研究方案包括对网络数据流动的可视化、各个端口信息的网络安全可视化、数据安全监测技术的可视化、数据防御系统的可视化、建立相关的防火墙安全防范系统、加强网络信息安全技术的研发等方面。
2.1 网络流动数据量的安全可视化
网络流动数据量的安全可视化对保证网络数据的安全具有重要的意义。由于客户端常常会受到恶意的端口扫描或者网络病毒的入侵,在网络流动数据量中,网络数据安全可视化可以分析设备中的所有流动数据量的状态,并将明显的逐一分散或者集中聚集现象查找出来,因此在遭到攻击时流动数据量往往会大幅度增加,这种异常的增加和容易引起工作人员的注意,以便于以最快的时间查找异常,并作及时补救工作。
2.2 各个端口信息的网络安全可视化
想要保证数据交互的安全那么首先要保证各个端口运行的安全。一般情况下,黑客入侵主要是通过搜索用户端的端口,获得网络地址IP,一旦端口出现安全隐患,那么则直接导致黑客入侵。因此必须实现各个端口信息安全的可视化,各个端口信息安全的可视化,可以促进工作人员有效的监督端口的运转情况,并根据端口的实时动态进行数据分析,将数据的划分不同等级的安全系数,如果数据出现异常,则便于工作人员及时发展,为工作人员维护工作争取时间。
2.3 数据安全检测技术的可视化
数据安全检测技术的可视化顾名思义就是指对于网络数据信息的安全监测上呈现可视化监测。这种监测的好处就在于,当系统或数据遭到入侵时,它可将异常的数据和数据空中显示危险的数据相比对,一旦匹配符合或相似,将会进行告警。在这种可视化监测技术下可分担相关人员工作量,准确的查找网络日志中的异常,提高网络数据安全系数。
2.4 数据防御系统的可视化
数据防御系统多种多样,建立防火墙是系统中重要的一项防御措施,数据防御系统可视化的工作原理就是使用多种视图,实时对网络通信的相关细节进行显示,将这些细节中的异常集中处理,集聚的显示出整个网络信息的工作状态。这种数据防御系统的可视化技术一般被用于大规模的网络异常结构数据的显示上,这样将提高网络防火墙的工作效率,并完善网络安全数据系统。
2.5 建立相关的防火墙安全防范系统
防火墙就是互联网的一道安全屏障,计算机防火墙的功能对互联网安全起着防范作用,防火墙可以适当的限制计算机用户的访问功能,对外界的不安全信息起着拦截作用,制定好对防火墙安全防范系统可以大大的降低对黑客入侵、病毒传播等情况的出现,用户应当实施的开启防火墙系统,为自身的计算机安全架起一道安全防御之墙。
2.6 加强网络信息安全技术的研发
计算机抵御的风险由很多,具有外部的威胁以及内部的干扰,适当建立计算机内部先关信息加密系统对计算机安全管理防范具有重要的意义。目前我国的互联网信息安全技术水平还难以和国外的先进水平相媲美,加强互联网安全技术的研发刻不容缓,建立自身的核心安全管理科技的同时,国家相关部门应当适当的引用国外的先进技术,因地制宜的做好技术的结合,提高我国的网络信息安全技术,是我国互联网的安全中采取的必要措施之一。
2.7 提高互联网病毒的查杀能力
互联网病毒是目前计算机安全中存在的较大风险,现在存在于计算机中的安全管理软件可以对相关病毒进行查杀,但是网络安全软件的查杀知识只是针对小型或者风险相对较低的病毒具有一定的防范作用,对于高技术信息网络病毒还是束手无策,而且相关的病毒查杀软件都是针对对现在已经出现的病毒有作用,对于新兴的高科技互联网病毒,未能进行查杀工作,所以用户应当不定期的关注网络中出现的病毒,及时的更新网络查杀系统,提高对互联网病毒查杀能力。
3 结论
综上所述,目前我国互联网电子政务的定制数据安全上还存在着较大的漏洞,如何把握好互联网电子政务的定制数据安全的发展方向,应该引起我国相关部门的重视。现阶段对于互联网电子政务的定制数据交换技术的安全性能掌握的还不是很到位,因此如何建立好互联网电子政务的定制数据交换技术的安全技术管理系统是至关重要的。为我国现代化社会作出努力,增强我国互联网电子政务的定制数据安全系数,为实现我国互联网电子政务的定制数据安全发展作出贡献。
摘要:随着经济全球化的发展,我国已经步入信息化时代的潮流中,全国各地对互联网电子政务的应用越来越广泛,互联网电子政务应用极大的为人们的生活带来方便和快捷的同时不断促使着我国市场经济的发展。但是在互联网电子政务的使用中,还未能完全的掌握其安全性能,出现着种种的弊端,尤其是网络的安全问题,这些问题令人堪忧,例如电子政务定制数据信息的安全问题,互联网信息数据是否具有稳定性能等等。本文主要分析的是互联网电子政务的定制数据存在的安全问题,主要阐述互联网电子政务的定制数据的安全交换发展方案。
电子数据交换 篇9
随着信息技术的不断普及,现国家电子政务外网和电子政务内网已逐步覆盖至县,省级电子政务网络已形成较为完善的体系。但由于信息资源共享机制尚未建立,部门自成体系现象严重,被隔离成一个个独立的“孤岛”,资源不能得到良好的整合,信息不能够得到充分的共享。为提高公共服务效率,需要将各部门的资源整合,更好的实现资源共享,从而为公众提供无缝式的、一体化电子化服务。利用ETL技术建立数据交换平台,可将各部门数据进行整合,从而实现信息共享。
利用ETL技术建立数据交换平台,可将各部门的数据抽取到临时中间库后,然后对数据进行清洗、转换,最后加载到正式数据库中,解决各部门资源共享问题。
2 ETL简介
ETL,即抽取(Extract)、转换(Transform)和加载(Load),将各种数据源(分布式、异构等)的各类数据(如关系型数据、文件数据等)抽取到临时中间库后,然后根据业务需要,用相关的规则进行清洗、转换并集成,最后加载到目的数据库中,有效的解决了由于数据内容、数据格式和数据质量等原因造成的无法共享的各种棘手问题。简单的ETL体系结构如图1所示:
3 数据交换平台在电子政务领域中的应用
针对现全省各级各部门之间信息不能共享,利用ETL技术,建立数据交换平台,可对全省各级各部门的资源进行有效地整合。其结构图如图2所示:
数据交换平台主要包括交换桥接子系统、交换传输子系统和交换管理子系统。
3.1 交换桥接子系统
根据业务需求,交换桥接子系统用来采集各部门的业务数据,能够支持异构数据库,多种服务器软硬件,不同的文件数据源间进行高效的数据采集,努力实现“零编程”或“少编程”。
3.1.1 数据抽取方式
1)全量抽取:全量抽取较为简单,即将数据源中数据(如,表或视图)原封不动的从数据库中抽取出来。跟数据迁移或数据复制类似。
2)增量抽取:顾名思义,抽取增量数据(包括新增或修改的数据)。即抽取自上次抽取以来数据库中表或视图中新增或修改的数据。
3.1.2 数据交换方法设计
1)触发器方法。即在要抽取的数据库中数据表上建立相应的触发器。根据对数据表的操作类型来看,需要建增加、删除和修改三个触发器;当对源表的数据进行增加、删除或修改操作时,相应的触发器会被触发,就会将变化的数据写入一个临时表;抽取数据时从这个临时表进行数据抽取,临时表中的数据一旦被抽取后,应当对其进行标记或者删除。
2)时间戳方法。改造各部门的业务系统,在需要抽取的业务表中添加时间戳字段,字段类型为时间类型;若业务系统对该条数据进行了更新或修改时,也业务系统需同时修改时间戳字段;数据抽取时,通过时间戳字段与系统时间的比较来决定进行数据的抽取。数据增量抽取的原理如图3:
3)整表比对法。先抽取源数据,并根据相应的规则进行转换,完成后先不插入目标表,而是将源数据的每条数据与目标表中的数据进行对比。对比时,可根据表的主键值进行新增或更新的判断。若目标表已存在该主键值的,表明目标表中该数据已存在,然后在进行其余字段的对比,若完全相同,则不进行更新操作,反之,需进行更新操作;若目标表没有存在该主键值,表明目标表中该数据不存在,进行新增操作即可。
4)全表删除插入法。进行时间抽取时,首先删除目的表的全部数据,然后将数据全部重新加载。
5)日志表法。在业务系统中添加维护日志功能,建立系统日志表,当业务数据发生变化时,维护日志表的内容及时更新,然后通过读取维护日志表中的数据进行数据抽取以及如何抽取。
6)主动交换法。各部门按照标准设置的数据交换格式(xml),通过自己业务系统开发数据交换程序,主动定时提交数据到指定位置。
7)人工报送方法。提供一个简易的数据录入系统,针对没有业务系统或数据量不大、更新频率不高的部门,需要报送数据时,直接使用此系统。
3.1.3 数据交换机制
根据业务系统需求,建立实时交换、定时交换机制、单向交换机制和双向交换机制。
1)实时交换机制
实时交换机制采用触发器机制,依靠数据库自身的实时触发管理,确保数据交换的实时同步,实时同步时间在毫秒级。触发器分为INSERT、UPATE、DELETE三种。即业务表在数据变化时根据三种触发条件判断属于那种数据更新方式并定位数据记录。在数据加载时通过定位信息获取数据并按照触发类型进行数据更新同步。
2)定时交换机制
定时交换机制采用时间戳方式。当数据加载时,通过上次运行时间、本次运行时间与时间戳字段的比较来决定进行何种数据抽取。
3)单向交换机制
无论是定时还是实时交换机制,都可以设定为单向交换。即针对一个数据源,只是做同一种操作向其他数据源做数据同步。
4)双向交换机制
对于实时数据同步可以支持双向交换。即针对一个数据源,在往其他数据源做数据同步的同时,该数据源又要受被其同步的数据源的变化做实时同步。
3.1.4 数据转换和加工
利用ETL技术,选择数据库方法或组件化方法对抽取的数据进行数据转换和加工。
1)数据库方法:利用关系型数据库对数据库中的数据进行加工。如,在SQL查询语句中添加where条件进行过滤,查询中重命名字段名与目的表进行映射,substr函数,case条件判断等。
2)组件化方法。组件化方法包括以下功能:字段映射、数据过滤、数据清洗、数据替换、数据计算、数据验证、数据加解密、数据合并、数据拆分等。此外,组件之间可以任意组装。另外,提供脚本支持,使得用户可以通过编程的方式去制定数据的转换和加工。
3.1.5 数据装载
1)SQL语句装载方法:直接使用SQL语句进行insert、up⁃date、delete操作,此方式进行了日志记录并且是可恢复的。
2)数据批量装载方法:数据批量装载方法包括数据库bcp、bulk、关系数据库特有的批量装载工具或api等。
3.1.6 日志功能
提供业务系统桥接过程中的数据传输日志功能。
3.2 交换传输子系统
3.2.1 数据封装
系统采用XML国际标准作为数据封装接口规范,数据在传输前将数据封装成XML格式的传输对象。
3.2.2 数据传输
提供可靠队列的通信机制,保障队列持久性;提供不错、不漏、不重的传输机制;支持断点续传、网络容错;支持点对点消息传输和发布/订阅消息传输;支持JAVA编程、JMS和WEB⁃SERVICE等接入方式;支持应用的实时、定时、主动、被动模式,实现同步/异步消息通信手段,实现数据交换平台多种交换模式的通信支持;支持数据高效率传输,适应网络传输速率,提供透明压缩传输功能,提供通信服务端集群与均衡负载能力,有效应对多客户端大并发需求,屏蔽性能瓶颈;支持复杂消息传输模式,可以直接对大文件进行传输;提供优先级处理能力;提供标准传输组件。
3.2.3 交换日志
提供底层交换日志功能,包括错误日志的记录。
3.3 交换管理子系统
主要内容包括系统配置、监控管理、交换节点管理、数据适配、交换流程管理和日志管理等。
4 结束语
本文主要简述了ETL技术,着重介绍了利用用ETL技术建设的数据交换平台,整合全省各部门数据,实现了信息的共享。同时也为ETL技术在其他领域的应用提供了一个很好的借鉴。
摘要:ETL作为构建数据仓库的一项重要技术,越来越多地应用于各个领域。该文简单介绍了ETL的基本原理,以及利用ETL技术,建立数据交换平台,实现电子政务领域的数据整合。
关键词:电子政务,ETL,抽取,转换,加载,数据交换平台
参考文献
[1]郭志懋,周傲英.数据质量和数据清洗研究综述[J].软件学报,2002,13(11):2076-2082.
[2]张宁.数据仓库中ETL技术的研究[J].计算机工程与应用,2002(24):213-216.
[3]缪嘉嘉,邓苏,刘青宝.ETL综述[J].计算机工程,2004(3).
数据交换平台的数据交换模式浅析 篇10
这些年来我们国家的的信息化建设已取得很大成果, 从20世纪90年代初至20世纪90年代末为信息化建设的发展阶段, 为适应全球建设信息高速度公路的潮流, 中国政府正式启动了“三金工程”, 部分政府部门的网络基础设施建设和应用层面的信息化得到了较大发展。1999年至2001年为推进阶段, 中国政府国务院40多个部委的信息主管部门共同倡议发起了“政府上网工程”, 目的是实现政府信息资源共享, 建立政府管理机构的Web站点, 使其成为面向公众服务的窗口。从2002至今为整合阶段, 政府信息化由各自为政转向电子政务整合的过程。
上述是从大的国家电子政务方面来讲, 从具体的小范围来讲, 我们学校的信息化建设也取得了一定的成果, 学生可以通过网络选择全校的选修课, 教师通过网络可以录入并查询学生的成绩, 教务处可以通过网络向省里上报学生名单, 教师可以通过排课系统进行自动排课等。虽然从一定的角度来说我们学校的信息化建设跟以前相比, 进步很大, 但这里面也存在一定的问题, 这个问题也是普遍存在的问题, 那就是各个应用系统相互独立, 应用系统之间的数据信息不能进行共享与交换。
所以打破目前这种局面, 连通各个孤立的应用系统, 把分散的信息资源整合起来, 实现这些不同系统、不同环境下的信息的实时共享和双向交流, 是下一步信息化建设的中心任务, 也是必走之路。
要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心相连, 应用系统之间要进行数据交换与共享必须通过数据交换中心;也可以建立共享信息库供应用系统共享。在这里主要讨论数据交换平台中数据交换模式。
二、数据交换模式
在信息系统中, 各应用系统之间的联系是比较密切的, 各部门的信息要保持一致, 数据交换可以保持数据的一致性。在数据交换平台中, 任意系统之间的数据交换过程可以采用不同的交换策略, 主要有三种数据交换模式:主动发送、请求/应答、订阅/发布交换模式。
1、主动发送模式
主动发送模式是通过数据交换平台的中心交换服务器进行的。发送方的数据发生变动时, 通过数据交换平台直接将数据发送到应用数据的相关单位。比如大通关就涉及海关、工商、税务、质检、公安等部门, 为了更好地为进出口企业服务, 有效打击逃税、骗汇、走私等犯罪活动, 海关、工商、税务、质检、公安等部门就要掌握进出口企业信息, 而且这些信息要一致。当进出口企业的信息发生变化时, 就直接将信息发送到海关、工商、税务、质检、公安等部门, 这样保证信息的一致性及实时性。下面以A局向B局和C局发送数据为例, 分析主动发送模式的数据流程:
(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并将数据置入所在单位前置节点的服务器相应文件夹中, 所发送的数据标明要发送的地址。
(2) 数据交换中心通过时间轮询的方式将数据接收到中心服务器。
(3) 数据交换中心解析数据, 得到数据要发送的目的地。
(4) 数据交换中心删除发送方前置服务器中的数据, 保证文件夹的内容是空的。
(5) 接收部门接收数据, 并放入数据库中保存。
2、请求/应答模式
请求/应答模式通过数据交换平台的中心交换服务器进行请求和应答的。和主动发送模式的区别在于数据发送前先要向数据交换心发送请求消息, 数据交换中心响应后才能进行数据的交换操作。下面以A局向B局和C局发送数据为例, 分析请求/应答模式的数据流程:
(1) 首先根据A部门的用户请求, 按照数据交换中心的要求把数据封装成XML格式, 并生成数据交换请求消息传送到数据交换平台。
(2) 数据交换中心接收到请求消息后, 进行响应, 与A部门建立连接。
(3) 数据交换中心接收A局封装成XML格式的数据。
(4) 数据交换中心对接收到的信息进行解析, 知道数据要发送到B部门和C部门。
(5) 数据交换中心向B部门和C部门发送请求消息, 要求发送数据。
(6) B部门和C部门响应请求, 并与数据交换中心建立连接。
(7) 数据交换中心将数据发送到B部门和C部门。
(8) B部门和C部门的业务系统接收到数据后, 分析本部门的应用系统, 并把数据存入相应的数据库中。
3、订阅/发布模式
订阅/发布模式基于SOA服务架构思想提出来的。W3C将SOA定义为:“一种应用程序体系结构, 在这种体系结构中, 所有功能都定义为独立的服务, 这些服务带有定义明确的可调用接口, 可以以定义好的顺序调用这些服务来形成业务流程”。
面向服务的架构包含三个部分:服务请求者 (Service Requestor) , 服务提供者 (Service provider) 、服务注册中心 (service Registry) , 如图所示[1]。
(1) 服务提供者
服务提供者是一个可通过网络寻址的实体, 它接受和执行来自消费者的调用, 它将自己的服务和接口契约发布到服务注册中心, 以便服务使用者可以发现该服务。
(2) 服务请求者
服务请求者可以是一个请求服务的应用、服务或者其它类型的软件模块, 它从注册机制中定位其需要的服务, 并通过传输机制来绑定该服务, 然后通过传递契约规定格式的请求来执行服务功能。
(3) 服务注册中心
服务注册中心是一个包含可用服务的网络可寻址的目录, 它是接收并存储服务契约的实体, 供服务请求者定位服务之用。
订阅/发布模式就是由服务提供者提供服务, 也就是发布操作;服务请求者请求服务, 也就是订阅服务;并且服务提供者提供的服务在服务注册中心进行注册。这样服务请求者就可以通过服务注册中心的目录资源进行查找。
订阅/发布是通过数据交换平台的中心交换服务器进行订阅和发布的。信息请求者向中心交换服务器订阅服务, 信息发送者将数据发布到中心交换服务器, 中心交换服务器接收到发布数据后, 将信息发送给请求者。
用户订阅此服务后, 一旦信息发送方的数据发生增加、删除、修改等变化, 数据交换中心会自动将更新的信息发送给信息订阅者。
三、数据交换模式的分析
上述三种数据交换模式都有由特点, 主动发送模式比较适合于几个部门之间有固定业务关系的, 一旦一个部门的信息发生变化, 其它几个部门的信息也要实时发生变化, 比如上述的大通关, 进出口企业的信息更新后, 就要及时的通知海关、工商、税务、质检、公安等部门。
请求/应答模式每次进行数据交换时, 都要有请求应答消息, 数据的及时性没有主动发送模式性强, 因此这种模式比较适合于小范围部门间小量数据的交换。
订阅/发布模式是几种数据交换模式中最具有松藕合性的, 用户只要把要共享的信息发布, 其它事情都可以由数据注册中心完成;用户要访问共享信息时, 只要向注册中心订阅该信息就可以了, 其它也由数据注册中心完成。
四、小结
上述分析了数据交换平台中的三种数据交换模式, SOA服务架构体系是一个不断发展的过程, 数据交换模式也在不断的发展中, 我们可以根据不同的情况选用不同的交换模式。
摘要:我国的信息化建设已取得一定的成果, 但也存在各个应用系统孤立, 应用系统之间不能进行数据共享与交换的问题。要把各个孤立的应用系统整合起来, 就必须要建立一个公共的数据交换平台。各个应用系统通过统一的接口与数据交换中心连接, 通过数据交换中心进行数据交换与共享。
关键词:数据交换平台,数据交换模式,SOA
参考文献