大数据技术在煤矿安全管理的应用论文

关键词： 城市 信息化 数据 技术

大数据技术在煤矿安全管理的应用论文（精选8篇）

篇1：大数据技术在煤矿安全管理的应用论文

大数据技术在煤矿安全管理应用论文

【摘要】在时代的不断发展中，对于教学，人们逐渐提出了新的需求，将课堂内容融入生活是新课程标准提出的新要求，需要进行一定的关注。利用当地资源展开教学，可以更好地实现课堂效果。文章对教学中的方法以及策略展开讨论，使大家对该项教育模式的认识进一步增强。

【关键词】地理资源;初中;地理;教学

在进行地理教学过程中，与当地地理资源有效结合是新课标提出的要求，可以使学生的认识更加直观具体，从而更好地实现课堂教学，真正意义上实现了“以人文本”的新课标理念。

一、教学方法

1.角色扮演法

角色扮演是使学生以一个全新的角度进行思考，换一个身份对问题展开思索可以更加全面地考虑，在进行教学的过程中，学生需要采用多种途径进行信息的收集，包括阅读文献资料、实地勘察以及社会访问等。在对收集到的信息进行分析之后，就某一项环境问题进行角色扮演，分析出不同的机构在进行问题处理时的责任与意义[1]。例如，在进行“世界的人口”一课的学习时，首先采用多种途径进行信息采集，搜集世界人口的分布状况以及因为人口的过快或过慢增长造成的各项问题，然后从不同的角度分析这些问题。对“人口过快增长”这一问题进行分析，一组学生扮演环境保护协会的成员进行分析，一组学生扮演国家福利机构进行分析。两组学生分别从不同的角度进行探索，认识到该问题对不同方面造成的影响，从而提出针对性的解决策略，也使学生对课堂有了更多的兴趣，实现了新课标的要求。

2.多媒体展开教学

在进行地理教学过程中，存在着很多的景观是学生在生活中难以接触到的，对其认识也具有一定的局限性，通过多媒体手段展开教学，可以使学生的认识更加直观。利用多媒体展开教学可以使教学容量增大，将课堂内容现实化、简单化，使学生更加真实的感受课堂所学内容，使其接收信息更加全面，尤其是面对一些自然灾害的讲解时，采用多媒体教学，可以使学生更加直观地认识到环境问题带来的恶劣影响，使课堂达到预期的目标。例如，在进行“中国的河流”的讲解时，讲述黄河部分时，首先可以利用多媒体设备使学生见识到黄河的气势恢宏，在讲述到“地上河”的问题时，可以利用多媒体设备让学生们对当地的土层进行观察，认识到该问题的产生原因，然后利用多媒体演示在我国历史上由于该分体产生的危害，使学生对其危害的认识进一步增强，最后多该项问题的治理进行一定的分析[2]。

3.辩论教学

辩论教学法是根据某一项问题，让学生阐述自己的认识，分析自己的观点对他人见解进行反驳，其目的是使学生对问题的认识深入，从而提出具有可行性的对策，在现代教学中，新课标提出了“以人为本”的教学理念，通过该方法展开教学，可以更好地使学生作为课堂主体，在进行学习时，也可以使学生掌握更多的主动权。例如，在进行“世界的人口”一课的学习时，教学可以就“人口增长过快及过慢哪一个危害更大?”这一问题让学生展开辩论，勇于阐述自己的见解，使学生的信息处理能力、思维逻辑能力等方面都得到培养，同时也使其对人口问题的认识进一步增强。

二、课堂策略

1.理论联系实际

教师在进行教学时，需要进行“乡土地理”的教学模式，从学生身边的真实案例入手，进行课堂的开展。利用该方法，可以使学生在进行学习的过程中，对课堂内容更好地把握，使课堂难度得到了一定程度的降低，同时还可以使学生发散思维得到培养，利用身边的案例就可以映射出世界地理的大体局势，基于此，在进行地理教学时，对当地的地理资源进行利用，实现地理教学的渗入是一项具有推广意义的教学模式[3]。真正意义上实现了将地理学习融入生活的教学目标，使学生认识到进行地理学习的意义，从而更好地进行学习。例如，在进行地形的学习时，可以首先带学生去当地的不同地形进行实地考察，对不同的环境条件下地形的情况进行具体的分析，从而映射出我国不同的地势条件下不同的`地形环境，最好结合教材对映射出的关系进行验证，如果验证不一致，需要再次展开分析，对其不同进行深层次的挖掘，分析出其原因。通过该方法，可以使学生对课堂内容认识更加深刻。

2.把握渗透层次

在进行渗透的过程中，对于渗透的层次需要进行一定的把握，如在教学过程中，进行一些概念类的内容时，需要与教材相结合，进行深入的讲解;在进行一些与环境保护密切相关的内容时，需要进行一定的扩展与补充;在面对一些与环境保护没有直接关系，但是却存在必然联系的问题时，需要与现实环境相结合，对两者联系进行深层次的分析，使学生对环境的认识进一步加强[4]。新课程标准中，地理教学更加注重与环境的结合，强调了教学需要面向生活，同时也强调了从学生的生活中实现新内容的引入，对学生解决问题的能力也提出了一定的要求。在进行教学过程中，对当地的地理资源进行渗透，可以使课堂效率得到提高，促进了我国教育事业的有效发展，具有一定的发展意义。

【参考文献】

[1]王东.利用地方旅游资源渗透初中地理教学[J].中学教学参考，(19):124-124.

[2]彭联友.在初中地理教学中渗透环境教育[J].课程教材教学研究:中教研究，2016(Z2):49-50.

[3]李纯燕.初中地理课堂如何渗透环境教育[J].考试周刊，2016(61):139-139.

[4]冯均严.初中地理课堂渗透出的新课程理念[J].考试周刊，2016(7):124-124.

篇2：大数据技术在煤矿安全管理的应用论文

大数据是对海量数据的获取、存储、分析、管理、挖掘与运用的创新技术体系。 大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。 大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

作为一种新兴的数据管理模式， 大数据技术不仅解决了传统数据管理方面存在的问题，而且使数据管理趋于智能化，数据间的关联性也更加强大。 基于现代水电企业“无人值班(少人值守)”、“一厂多地”等特有的生产运营模式，深入挖掘大数据技术在流域水电站安全生产管理方面的潜在价值， 可以有力地推进流域水电站安全生产管理水平。

1 大数据技术对安全生产的意义

大数据在安全生产中的应用， 最基本的功能就是从海量的安全生产数据中寻找事故发生的规律、预测未来，以有效遏制事故的发生。 同时，大数据在提升安全监管能力和明确安全责任方面也可发挥重要作用。

1.1 大数据应用可及时准确地发现事故隐患，提升排查治理能力不可否认，通过长时间的摸索，电力企业已经总结出了一套较为完善的安全生产管理理念和手段，然而，当前企业的安全生产隐患排查工作主要靠人力， 通过人的专业知识去发现生产中存在的安全隐患。 这种方式易受到主观因素影响，且很难界定安全与危险状态，可靠性差。 而且与传统的单一电厂不同，流域水电站具有地理位置偏远，环境艰苦，生产场所点多面广，人员配备相对较弱等特点， 靠传统的安全生产管理理念和手段更难实现“全方位、全过程、实时、可控、在控”的要求。 通过应用海量数据库，建立计算机大数据模型，可以对生产过程中的多个参数进行分析比对，从而有效界定事物状态是否构成安全隐患。

1.2 大数据应用有助于落实企业安全生产责任制电力企业中的大数据不仅包括设备实时数据， 也涵盖企业自身管理行为甚至员工个人行为等多样化数据记录。 一方面，基于某种特定模型进行分析， 大数据应用可以对偏离安全生产管理规范要求的企业和个人实时做出事前评估和预警;另一方面，对于安全事故分析而言， 大数据应用还可以提供从设备到管理乃至个人行为更加详细真实的过程记录， 有助于落实和完善安全生产责任制。

篇3：大数据技术在煤矿安全管理的应用论文

隐患的排查与整改是煤矿安全生产管理的重要环节,特别是当前安全检查的力度不断加大,暴露出来的各类煤矿安全隐患的数量也越来越多。据统计,2013年中国仅工矿企业排查出的隐患数据就多达500万[1]。为了应对企业隐患的信息化管理要求,各种隐患管理系统的研发与应用也在不断开展。但是,当前多数隐患管理系统基本上只提供对隐患信息的简单记录与查询统计,缺乏对海量隐患数据的深入分析。发现隐患数据中各因素间的关联关系,减少隐患发生次数,提高生产安全指数,是当前煤矿隐患排查治理和信息化发展过程中亟需解决的重要课题之一。本文将数据挖掘算法应用于煤矿隐患管理系统,针对隐患数据在多个维度上展开关联分析与挖掘,为后续隐患管理提供较为准确、可靠的辅助决策。

1 数据挖掘技术

数据挖掘概念出现于20世纪80年代,是一种多学科综合的产物,其充分利用统计学、数据库、人工智能、模式识别和机器学习等理论与技术,从海量数据中进行自动分析与挖掘,发现潜在的隐含知识,协助用户做出合理决策与准确预测等[2]。目前,数据挖掘相关技术与产品已广泛应用于金融分析、医疗保健、商品销售、行为预测分析等领域。

1.1 数据挖掘过程

对数据挖掘过程的研究有多种,但基本上可归为数据预处理、数据转换、数据挖掘和结果评估与表达4个步骤。

数据预处理是指从数据源中选择要处理的数据对象或数据主题,并对选择的数据进行清理,去掉其中的噪声数据、重复数据,补充不完整或缺失的数据。数据预处理是数据挖掘的重要基础,处理后的数据质量直接决定了整个数据挖掘结果的准确度和可信度。

数据转换是将预处理后的数据根据挖掘需要在数据范围和数据维度上做出一定的计算与选取。往往预处理后的数据在数量级和维度上都比较高,在数据挖掘执行过程中,可能会分批选择不同阶段和不同维度上的数据,并转换为适合数据挖掘算法使用的数据结构。

数据挖掘是在前期处理结果的基础上,利用许多不同方法如决策树方法、神经网络方法、贝叶斯方法、关联分析方法、聚类分析方法等对数据进行挖掘计算,从而发现相应的关联关系和知识模型。

结果评估与表达是数据挖掘过程的最后阶段,其利用适当的可视化技术和知识合理表达数据挖掘的计算结果并呈现给用户,进而评估数据挖掘质量以及知识模型的有效性。

1.2 关联规则算法

所谓关联,就是反映一个事物与其他事物之间的依赖关系。关联规则算法是一种在海量数据中找出这些依赖关系的方法,适用于隐患数据中各因素间关联关系的挖掘与分析。关联规则中的基本概念有项集(Itemset)、支持度(Support)和置信度(Confidence)[3]。

设定存在事务数据库D={t1,t2,…,tn},其中t1,t2,…,tn表示每一个事务;所有项目的集合I={i1,i2,…,im},其中i1,i2,…,im表示每一个项目,每个事务包含的项集都是I的子集。关联规则是支持度和置信度分别满足给定阈值的规则,用形如X⇒Y的蕴涵式来表示(X,Y表示项集),其中支持度表示X⇒Y蕴涵式在事务数据库中出现的频率,即Support(X⇒Y)=P(XUY),置信度表示Y在包含X的事务中出现的频率,即Confidence(X⇒Y)=Support(X⇒Y)/Support(X)=P(Y|X)。

Apriori算法是关联规则挖掘领域中的经典算法,应用非常广泛。Apriori算法的核心是挖掘频繁项集的递推算法,其基本思想是用迭代的方法找出所有的候选集,将这些候选集的支持度与最小支持度比较,如果不小于最小支持度,即为频繁项集。找到频繁项集后,计算规则的置信度,如果所得置信度大于最小置信度,则产生强关联规则[4]。

Apriori算法在搜索频繁项集和挖掘强关联规则时,需要多次扫描事务数据库,同时会产生大量的候选集,算法执行所花费的时间和空间代价都比较大,在挖掘长频繁模式时算法性能较为低下,挖掘的强关联规则也容易产生误导信息。

1.3 支持度-置信度-Kulczynski度量模式

针对Apriori算法存在的缺点,韩家炜提出了FP-Growth(Frequent Pattern Growth,频繁模式增长)算法。FP-Growth算法首先对事务数据库进行分析和处理,生成1-频繁项集,并根据支持度由大到小排序,形成频繁项索引表。然后构建根节点为“null”的FP-Tree(Frequent Pattern Tree,频繁模式树),并对事务数据库中的每个事务进行处理,不断构建FP-Tree分支节点。最后进行FP-Tree挖掘,可采用自底向上的迭代方式,以叶子节点为后缀的项与一起出现的前缀路径组成一个条件模式基[5]。

在生成1-频繁项集时,可以根据支持度大小,限制生成的1-频繁项集的大小,以减少迭代次数,提高挖掘效率。由于FP-Growth算法对事务数据库有效压缩,相比Apriori算法避免了重复扫描事务数据库带来的额外开销;此外,FP-Growth算法还将发现长频繁模式的问题转化为递归模式增长的策略,避免产生大量候选集,大大降低了算法的时间复杂度。

FP-Growth算法采用支持度和置信度表示发现的规则之间的关联性,容易产生误导的关联规则结果,特别是P(X|Y)与P(Y|X)相差较大时,X与Y之间可能具有正相关与负相关2种对立关系。因此增加更有效的Kulczynski度量[6],它仅受条件概率影响,而与事务总数无关,具有零不变性。Kulczynski度量是与X,Y相关的2 个关联规则X⇒Y,Y⇒X的置信度的平均值,即Kulczynski(X,Y)=(P(X|Y)+P(Y|X))/2,利用它来扩展支持度-置信度模式,生成支持度- 置信度-Kulczynski度量模式,有助于挖掘煤矿隐患多个维度之间更有效的关联规则。

2 隐患数据挖掘与应用

针对隐患数据展开的挖掘分析是在煤矿隐患闭环管理系统基础上展开的。 系统基于.NET Framework技术平台实现[7],使用Microsoft SQL Server 2008作为持久层数据库服务器,利用ASP.NET MVC框架[8]并结合Html,CSS,JavaScript,jQuery等前端编程技术与插件实现Web终端报表查询、图表统计、挖掘结果呈现等功能,提供了友好的用户体验。隐患处理流程包含隐患排查、整改、申诉、验收和存档等,系统对存档的数据进行预处理后展开数据挖掘,给出合理的决策建议,如图1所示。

2.1 隐患数据预处理与数据转换

为了提高数据挖掘的准确性和速度,在展开挖掘之前对隐患数据进行相应的处理。在综合考虑数据仓库数据更新速度和数据完整性的情况下,设定隐患数据从源数据库中抽取的周期为7d,抽取过程中去除申诉成功并取消的隐患数据。同时,从隐患自身特点和实际需要出发,决定在隐患责任部门(Department)、隐患种类(Category)、隐患等级(Level)、隐患发生地点(Address)4 个维度上进行挖掘分析。隐患种类包括调度类、通风类、采掘类、机运类、地测防治水类、爆炸品与放炮类和共性类;隐患等级依据严重程度由高到低分为A级、B级、C级和D级。在隐患数据载入数据仓库之前,对数据进行精简,只保留隐患的基本信息和以上几个维度信息,可减少冗余数据,提高挖掘效率。

2.2 挖掘分析过程及结果

本文以某煤矿现场的实际隐患数据展开数据挖掘过程并分析隐患各维度间的关联关系,发现较强的关联规则指导现场生产。以该煤矿1个月284条隐患数据为例,经计算后其频繁项索引表前10项见表1。

从表1可看出,C级、采掘类和B级隐患排名靠前,且掘进二队的隐患数量位居各部门首位,因此以掘进二队为基础,从隐患责任部门、隐患等级和隐患种类3个维度上进行分析,生成相应的FP-Tree如图2所示。

从图2可看出,掘进二队负责整改的相关隐患中,采掘类和C级隐患占了非常高的比例,通过计算可得

Department(掘进二队)Category(采掘类)[Support = 15.49%,Confidence = 81.48%,Kulczynski=52.02%];

Department(掘进二队)Category(采掘类)Level(C级)[Support=13.03%,Confidence=84.09%,Kulczynski=51.40%]。

此外,针对掘进二队的隐患增加隐患发生地点维度的挖掘与分析,其FP-Tree如图3所示,其中4321-38运输巷隐患总数为29条,+1 600m进风斜井隐患总数为18条。通过计算可得

Department(掘进二队)Address(4321-38运输巷)[Support=10.21%,Confidence=53.70%,Kulczynski=75.18%];

Department(掘进二队)Address(+1 600 m进风斜井)[Support= 6.69%,Confidence =33.33%,Kulczynski=64.03%]。

2.3 辅助决策

从掘进二队在陷患种类和隐患等级维度上的挖掘结果可看出,掘进二队与采掘类和C级隐患的关联关系更强。因此,建议掘进二队在处理隐患时,将重点放在采掘类和C级隐患上。

对掘进二队隐患发生地点维度上的数据进行挖掘分析后可看出,掘进二队的主要隐患发生地点集中在4321-38运输巷和+1 600 m进风斜井处,且相比置信度而言,Kulczynski度量值更高,表明该2个地点发生的隐患与掘进二队的关联性更强。因此建议掘进二队着重处理该2个地点的隐患。

通过以上计算和分析,就掘进二队而言,在隐患发生地点、隐患种类和隐患等级上,均给出了有数据支持的辅助决策。在随后1 个月的隐患治理整改中,掘进二队负责整改的隐患占全矿隐患的比例由19.01%下降至13.50%,效果非常明显。

3 结语

数据挖掘技术在煤矿隐患管理中的应用,给隐患治理提供了切实可用的决策建议,使隐患得到了针对性整治,隐患发生率有较大幅度降低,生产安全状况得到明显改善。产生煤矿安全隐患的关联因素较多,其中煤矿人员的专业素质、培训考试信息、年龄结构层次等数据也是潜在的重要关联点,所以在下一步的研究中,计划将以上数据抽取、转换后装载到数据仓库中,建立包含“人”的因素在内的挖掘分析模型,进行更深层次、更广维度的关联分析挖掘,发现“人”的因素对煤矿隐患产生的影响情况,提供更为全面的辅助决策。

摘要：针对目前煤矿隐患管理缺乏对隐患数据深入分析的问题,介绍了适合隐患关联规则发现的数据挖掘算法,提出用支持度-置信度-Kulczynski度量模式表达隐患因素间的关联关系。对隐患数据预处理、转换后构建隐患数据仓库,并在隐患责任部门、隐患种类、隐患等级和隐患发生地点4个维度上进行挖掘分析,发现多维度间存在的较强关联规则,给出针对性的辅助决策。现场实际应用表明,通过使用数据挖掘算法,减少了隐患的发生次数,为煤矿隐患治理提供了可靠支持。

关键词：煤矿隐患,数据挖掘,支持度,置信度,Kulczynski度量,关联规则

参考文献

[1]张大伟.基于OLAM的煤矿企业安全隐患趋势分析[J].煤炭工程,2015,47(5):139-142.

[2]王梦雪.数据挖掘综述[J].软件导刊,2013,12(10):135-137.

[3]芦海燕.数据挖掘中关联规则算法的研究[J].电脑知识与技术,2011,7(26):6324-6325.

[4]黄伟力,李亮.基于Apriori的煤矿安全预警系统设计[J].计算机测量与控制,2013,21(10):2786-2788.

[5]章志刚,吉根林.一种基于FP-Growth的频繁项目集并行挖掘算法[J].计算机工程与应用,2014,50(2):103-106.

[6]曲广龙,杨洪耕.基于梯形云模型的电能质量数据关联性挖掘方法[J].电力系统自动化,2015,39(7):145-150.

[7]李璟.基于.NET的分层架构及抽象工厂模式在Web开发中的应用[J].软件导刊,2015,14(4):105-108.

篇4：大数据技术在煤矿安全管理的应用论文

关键词：数据仓库技术；煤矿；煤炭企业；信息安全；应用

中图分类号：TD65 文献标识码：A 文章编号：1674-7712（2012）20-0013-02

最近几年，在信息技术的作用下，经济社会的各项事业得到有了突飞猛进的进展，在国民经济的15个主要行业中，都已经不同程度的与信息技术展开了合作或者融合，部分行业还直接将信息技术作为其求得发展的必然工具。而随着数据库技术的日渐成熟与数据应用的广泛普及，无论是数据库的数量、单个数据库的容量还是数据类型的复杂程度都今非昔比版的得到了前所未有的增加。在这些庞大的数据库中丰富的信息源蕴含其中，如果能够对这些数据进行分门别类的处理将会得到大量有价值的信息。在这一社会需求的背景下，数据挖掘技术应运而生，并且在多个不同的领域得到了广泛的应用和功能的提升。对现代煤炭企业而言，其安全管理已经是一个广泛的范畴，不但涉及到传统的生产安全和生命安全，在信息化的社会中，为了竞争的需要，信息安全也被提到了企业发展的战略高度，如何在竞争激烈的市场中实施信息管理，如何通过对科学技术的应用加强信息的安全管理，已经成为煤矿生产和发展中的重要问题之一。本文以此为基础，对数据挖掘技术及其在煤矿信息安全管理中的应用问题进行了系统的研究，首先对数据挖掘技术及其分析方法进行了阐述，然后给出了煤矿信息安全管理中数据挖掘系统的结构与数据仓库的设计，最后从多个不同的层面讨论了该技术的应用。希望通过本文的工作，为时下煤矿企业的信息安全管理问题提供一定的可供借鉴的信息，更好的促进该行业的健康高效发展。

一、数据挖掘技术及其分析方法

数据挖掘是一项复杂的计算机技术，它能够在众多纷繁复杂的信息池中进行搜索，将有用的信息挖掘出来，供决策者使用。一般而言，数据挖掘技术的分析方法主要有以下几个方面：

（一）关联分析技术

关联分析指的就是生成所有具有用户指定的最小置信度和最小支持度的关联规则，其工作原理是通过关联规则对数据进行挖掘，在实际操作中有多种不同的关联规则可以进行使用，挖掘算法较多[1]。在数据挖掘中，关联分析的目的在于挖掘出隐藏在数据之间的关系，发现数据库中隐藏的知识。在进行关联分析时，用户需要同时输入两个参数，分别是最小置信度与最小支持度。

（二）序列模式分析技术

与关联分析相似，序列模式分析的目的同样是为了挖掘出数据之间的关系，但后者的侧重点与前者不同，在于分析数据之间的“前后序列关系”。通过序列模式分析技术，能够发现数据库中具有时间序列特征的知识。因此，序列模式分析描述的问题往往是在给定交易序列的数据库中，每个序列都按照交易时间排列成一组交易集，将挖掘序列函数作用在该交易序列数据库之上，并借此返回该数据库的一种高频序列[2]。当然，在进行序列模式分析时，同样要输入最小置信度与最小支持度。

（三）分类分析技术

该技术通过分析示例数据库中的数据，对每个类别做出准确的描述，以此为基础，建立起分析模型或者挖掘出相应的分类规则；然后，利用该规则继续对其它数据库中的数据进行分类，通过这一过程，实现对数据的分门别类，增加数据的归属性。比如，在煤矿的信息管理中，煤炭企业可以通过数据库中保存的客户的记录，对客户的信誉程度进行分类，并对类别标记相应的记录。因此，分类分析技术就是分析数据库中的记录数据，为决策者提供决策的依据。

（四）聚类分析技术

与前几种分析技术不同，聚类分析技术通过分析数据库中的记录数据，根据特定的分类规则，将数据合理的划分为不同的记录集合，以此确定出不同记录的所在类别。聚类分析技术采用的分类规则由聚类分析工具决定，包括系统聚类法、分解法、运筹方法等多种不同的方法[3]。因此，从计算过程看，聚类分析与分类分析两者是互逆的过程。比如，在初始分析中，技术人员要根据原始的经验把需要分析的数据进行标定和再划分类别，然后通过分类分析方法对该数据集合进行分析，挖掘出不同类别的分类规则；然后，再通过这些分类规则对这个集合进行重新划分，以期获得更为理想的分类结果。

二、煤矿信息安全管理中数据挖掘系统的结构与数据仓库的设计

（一）数据挖掘系统的结构

数据挖掘系统一般分为三层结构：第一层为数据源，包括数据库、数据仓库。数据挖掘工作不一定建立在数据库基础之上，但是，将数据挖掘和数据仓库协同在一起，会较大限度的提高数据挖掘的效率和效果；第二层指的是数据挖掘器，通过数据挖方法分析数据库中的数据，其中的方法便包括前文中的关联分析方法、序列模式分析方法、分类分析方法、聚类分析方法等[4]；到第三层便是用户界面，在该层面，系统会把获取到的信息以便于用户理解与观察的方式（比如可视化工具的使用）反馈给用户。

（二）数据仓库的设计与开发

数据仓库能够较好的支持煤矿企业进行决策分析，便于对数据进行实时的处理，加之数据仓库是面向主题的、集成的、相对稳定的、体现历史变化的数据集合[5]，因此，其中的数据能够反映一段时间内的历史状况，便于技术人员进行统计、综合和重组。对煤矿信息管理系统来说，信息安全数据仓库的开发、使用周期一般分为以下阶段：第一阶段要对数据仓库进行规划分析，通过调查、分析的形式，确定数据仓库的内外部环境，完成对数据仓库的开发规划，并在此基础上确定出数据仓库的开发需求。当然此阶段要建立起E-R图、星型模型、元数据模型等[6]，然后依据主题区数据模型开发数据仓库的逻辑模型；第二阶段主要是对数据仓库的设计和实施，此时，要依据数据仓库的逻辑模型对数据仓库的体系结构进行设计，然后通过物理数据库的元数据来填出元数据库，并对数据仓库进行测试；第三阶段要完成对数据仓库的使用和维护，同时要对数据仓库的用户进行培训和指导，并在应用过程中不断的进行改进和维护。

三、数据挖掘技术在煤矿信息安全管理中的应用

（一）数据挖掘技术在选煤信息管理中的应用

将数据挖掘技术应用到选煤信息管理活动中，将有助于提高企业决策中信息利用的深度和广度。目前，很多选煤厂都装配有大量的应用于生产调度、运销、技术检查、物资供应、设备、计划统计、人事、劳资、档案及内部核算等部门科室的系统。这些系统能够辅助企业完成选煤厂相关信息数据的采集和简单的统计查询功能[7]。此时，数据挖掘就可以充分利用这些系统提供的基础数据，为企业在多个方面决策提供支持。此外，通过聚类分析来还能够对企业的生产经营费用进行控制，通过将原始数据标准化，对企业的综合成本控制水平进行直接、准确地比较分析。同时，还能够借用数据挖掘分析的结果，促进企业的决策朝着科学化和规范化的方向发展。

（二）数据挖掘技术在煤炭企业ERP中的应用

目前，许多煤炭企业都采用了ERP系统，但是ERP软件本身的功能尚存在着一定的不足，有的甚至只能提供一些基本的数据用于查询和分析，也有的模块由于缺乏对高层次的数据分析和决策行为的支持，只能部分的发挥作用，需要通过数据挖掘技术在ERP中的应用来改善现有ERP系统。在传统的数据分析和处理方法模式下，根本无法快速、有效地从大量数据中获取所需的数据。而与数据挖掘技术结合在一起，煤炭企业ERP系统就能够最大限度的得到高层次的数据分析与决策支持，除了能够提供一定的数据显示与数据查询功能外，还可以为企业的管理决策者们提供庞大的业务数据，在隐藏的知识中得到决策的支撑信息[8]。

（三）数据挖掘技术在煤矿煤种决策中的应用

在煤矿的煤种决策中，数据挖掘技术的应用能够以实际生产数据为基础，基于数值型模糊关联规则，处理燃煤采购中的核心问题与关键性的技术难题。基于数据挖掘技术的煤种决策是一种方便快捷、成本低廉的最经济煤种决策方法，能够综合考虑燃煤采购决策、生产过程的多个环节和因素。其主要功能使：找到煤质特性和发电企业运营成本之间的关联，确定煤质特性和发电企业的燃煤装卸倒运成本、污染物排放成本、原煤采购成本、脱硫系统运行成本、辅机耗电成本以及设备维护成本之间的关系，为最经济煤种决策提供必要的数据信息。

（四）数据挖掘技术在煤矿电网管理中的应用

随着煤炭开采量的不断增加，煤矿安全形势依然严峻。通过数据挖掘技术实现对电网故障发生的预测、识别、诊断是实施有效预防电网故障的前提和关键。在数据挖掘技术的作用下，传统的只能在局、矿调度室显示的监控数据得以在煤矿企业内部信息网上进行传输，并且在本地服务器上利用数据仓库技术保存有效数据[9]。在引入了数据挖掘技术之后，煤矿电网远程监控运行数据得到了实时的关注，大大的提高了数据分析的效率和深度，解决了许多困扰煤矿生产现场多年的井下供电监控技术难点与安全运行中的重大隐患问题，因此，数据挖掘技术在煤矿电网管理中的应用具有一定的理论价值。

四、结束语

在我国当前情况下，互联网技术、基于互联网的通信技术、基于计算机的复杂计算技术在不同的领域得到了前所未有的发展，这种在个人和群体之间进行迅速普及的态势，将电子消费产品、计算机网络技术以可以预见这一趋势的发展结果。这是因为，无论是在中国还是在世界上的其他国家，在未来几年内对消费类电子产品的需求会节节攀升，该类产品的应用领域会越来越广泛和深入。在这种情况下，数据挖掘技术必将随着这一潮流逐渐渗透到煤矿信息安全管理之中，最大限度的企业对数据存储的愿望和要求。

参考文献：

[1]刘兴安.煤矿信息数据挖掘方法的研究[J].煤炭技术，2007，2：26-28.

[2]冉进财，徐守坤，唐芙蓉.数据挖掘技术及其在选煤厂信息管理中的应用[J].选煤技术，2008，6：52-54.

[3]李治，廖坚.基于数据挖掘技术的煤炭企业ERP应用研究[J].煤炭技术，2012，2：183-185.

[4]马正华.数据挖掘技术及其在煤炭企业中的应用研究[J].煤炭工程，2005，12：80-81.

[5]曹露燕，孟凡荣，蒋晓云.煤矿系统数据挖掘模型的研究与设计[J].计算机工程与设计，2006，23：4547-4550.

[6]王守中.煤炭企业数据挖掘理论与应用研究[J].中州煤炭，2005，6：3-4.

[7]冉鹏，李庚生，张树芳，王松岭.基于数据挖掘的火电厂最经济煤种决策方法[J].动力工程学报，2012，6：494-500.

[8]李德臣，朱羽中.基于数据挖掘的煤矿电网综合管理系统的研究[J].安徽理工大学学报（自然科学版），2009，3：19-25.

篇5：大数据技术在煤矿安全管理的应用论文

摩尼中学 王国红

我们所处的时代是一个信息飞速发展的时代，数据处理量非常繁大，所以又被人们称为大数据时代。在大数据时代，处理海量的数据是绝大多数个人电脑无法完成的。这些海量数据需要有强大的计算机系统来处理。云计算就是这样一种通过互联网来让个人用户实现网络计算的系统。

计算机中的云是网络、互联网的一种比喻说法。所有的类似于个人电脑的计算机终端设备连接到网络上，接入数据中心，按自己的需求进行计算，获得强大的计算功能，然后再将结果返回到个人电脑中。即个人电脑起到的只是输入和输出的作用，而所有计算都由中心计算机来完成，这就是最直观的云计算。由此而出现的以云计算为主导的云存储技术、信息传输技术、云管理平台技术、云应用技术就构成了云技术。云技术在各行业中已经开始得到广泛的应用，主要表现为云物联、云安全、云存储、云游戏和云计算等形式。

随着现代教育技术的飞速发展，社会对教育教学的要求越来越高，传统的教学手段、教学模式越来越不适应现代教育。只有在教学中适度加入一些高科技手段来辅助教学，才能获得更好的教学效果。因此，我们不妨在教学中尝试使用云技术。

一、加强硬件环境建设，营造高速网络环境

1、加强网络传输的硬件建设。实施云技术的重要条件是具备高速网络环境，因此要采用云技术首先就要进行网络宽带建设。在现有条件下，光纤通信非常发达，建设光纤宽带是比较好的选择。一般来讲，要实施云技术至少需要10M宽带的网络，数据传输才能流畅。因此，校园网络达到单个终端设备独享10M带宽网络成为底线。

在一个校园中，使教学真正实现云计算功能，还应该达到“泛在接入”。所谓“泛在接入”，是指在任何时间、任何地点都能方便地接入互联网。也就是说，不论是手持设备，还是电脑终端，都能通过有线或无线的方式随时接入互联网。达到泛在接入，师生都能随时共享云服务器中的资源，并能展示自己成果，进行广泛的讨论和交流，真正实现无界的交互。

2、加强校园云服务器及云服务平台的建设。由于教育教学专业性较强，所 1 涉及的知识面较宽，而且各个学校又有自己特色的教学资源，因此各校应根据自己的实际情况，建设校本特色的云服务器及云服务平台，便于师生随时通过网络获取校本资源。

3、对终端设备进行优化。我们在教学中的终端设备不外乎个人电脑、多媒体设备、电子书包、智能手机等。这些设备要优化为云技术的终端其实很简单，就是让其具备有线或无线的网络接入功能，同时要建立控制设备的操作管理平台。学校、教师、学生要有独享的终端设备，教学场所要有师生共享的终端设备。顺便说一下，电子书包不久将成为云技术服务于教学的主流设备之一。

二、广泛使用云存储，获得便利的存储空间

云存储是将互联网中各种不同类型的海量存储设备通过应用软件集合起来协同工作，共同给用户提供数据存储和业务访问功能的一个系统。简单来说，云存储就是将储存资源放到云上供人存取的一种存取数据的方式。使用者可以在任何时间、任何地方，通过任何网络终端设备连接到云中方便地存取数据。云存储平台比较通俗的可以理解为云计算服务商有很多服务器和存储设备，用信息技术将其整合为一种提供存储服务的平台，这个平台以租赁的方式对外提供服务。对于普通用户来说，你不用买存储设备，只要有网络并给付少量租金（也有免费的）就可以非常方便的享受云存储服务。你再也不用管数据存在什么地方的，也不用管数据是怎么存的，直接使用就行了。

在教学中，由于资源繁多，占用空间大，小容量的存储设备（如U盘、移动硬盘等）也无法完成存储任务了。同时，无论是什么便携式的存储设备，都无法像云存储一样使用方便。因此，我们一定要创造条件广泛地使用云存储。

目前，有很多服务商都提供了云存储服务，而且在一定容量之内是免费使用的。比如，百度云盘可为用户提供2TB的免费使用空间，360云盘可为用户提供高达40TB的免费使用空间。只要在这些云存储服务器上进行了注册，我们就可以方便地使用这些资源了。比如手机拍摄的照片和视频，就可以在WIFI环境下自动传输到云盘中去，也可以随时在云盘中调取。只要牢记自己注册时的密码，所有的教学资源也可以随时存取，非常便利也非常安全。

这些云盘还有一个好处，即在相同的云服务器内部传输数据非常快速。通常在同一个云服务器内共享其它账户的海量数据也只是瞬间就能完成的。

三、积极使用云计算，实现云计算辅助教学

云计算是让我们需要进行的计算由大量分布在不同地方的计算机一起来完成，就像电网供电一样是由若干发电机共同承担负荷。因此，它能让我们在足够带宽的环境下体验到最便捷、最快速的计算。随着云计算的普及和不断发展，云服务器已经具有了相当大的规模。微软、IBM、Google、Yahoo等大型云服务商已经拥有海量的云服务器，一般的企业私有云都拥有几百台以上的云服务器，这些云服务器能给予我们前所未有的计算能力。

云计算辅助教学是指学校和教师在教学中利用云计算服务，构建信息化、个性化的教学环境，提供师生教和学的资源池，达到师生共同进步的目的。在云计算辅助教学中，学校要有自己的云，教学人员要使用Web2.0等软件构建云教学环境，充分使用云计算功能。教师将学生学习中将要用到的资源进行归类，编制导学提纲，引导学生建立属于自己学习园地，构建泛在学习的平台。学生在教师的引导下，利用海量的资源进行主动学习，利用云技术开展讨论和交流，促进自己进步。

在课堂教学中，我们的每一节课都可以把多媒体设备、电子书包、无线网络设备构成一个云平台：教师可以把课堂视频、学生问题、交流反馈等内容用云计算来处理，及时提升教学效果。教师还可以设定一些课堂检测项目，让学生完成后，再通过云计算来完成判定和统计，并及时反馈到课堂上来，对教学的重难点作出及时的调整。

对于教学效果的检测，云计算更能作出比较客观的判断。时下流行的各种网络测试系统就是云计算辅助教学的实例。比如四川省普通高中信息技术学业水平测试系统，就是一个考试云，它运用云计算来对学生进行测试、统计、分析，最后返回结果。

在教学管理中，我们也可以运用云技术来减轻管理的压力。比如现在的学籍管理系统，就是通过学籍云来实现对学生的管理，这个系统使原来的那种学籍混乱的现象一去不复返了。

云技术在教学中的普及和应用，还有很漫长的道路要走，在大家使用云技术的能力得到不断提高后，云技术才能逐渐渗透到日常教学中，从而对大数据时代的教育教学产生深远的影响。参考文献：

①2014年4月（成都）“全国首届国际视野下的信息技术课程建设高峰论坛”会议资料。

②于莉云，计算辅助教学应用案例——“多媒体课件制作”课程网站，《中国教育信息化》（2011.1）。

③贺小华，云计算在教育中的应用——以Google协作平台为例，《软件导刊》（教育技术，2009.9）。

篇6：大数据技术在煤矿安全管理的应用论文

当前，电力企业改革发展面临新的形势和任务，随着电力体制改革的不断升入，尤其是受市场广泛关注的售电公司的出现，电力市场的交易将更加“民主、开放”，交易方式将逐步升级，出现电网+互联网+信用+期货+零售+批发等多种灵活、自主的交易方式，导致电力企业在开拓售电市场、防范经营风险等方面面临的压力与日俱增，同时面临着优质客户减少、市场份额下降及优质人才流失的严峻挑战，尤其对营销服务业务提出了更高的要求和新的挑战。对电力企业来说，利用大数据技术构建营销服务技术支撑平台，对营销客户用电特点及需求进行分析，可以为制定电力营销方案提供数据支持、为电力企业抢占市场及用户提供重要的数据支撑，从而提高企业经济效益，不断提升客户服务水平和服务质量。基于此，此课题的研究具有非常重要的现实意义。

一、大数据概述

“大数据”（big data）是与智能制造、无线网络革命并行的又一次颠覆性的技术变革，“大数据”是指量大、复杂、增长迅速的数据集合，也指在一定时间内无法通过传统的数据库软件工具对其内容进行抓取、管理和处理的数据集合，它涵盖了从生成、采集、存储、加工、转换、计算、分析挖掘、展示到使用整个数据全生命周期管理的过程，以及在这些过程中所用到的各项技术。

大数据技术的重要意义不仅仅在于掌握其中海量的数据信息，而且在于对这些含有重要意义的数据信息进行专业化的加工和处理、对于海量数据进行存储和分析。

二、电力大数据的价值及特征

每一个行业和业务领域都蕴含着大量的数据信息，而且逐渐成为其重要的生产因素。对于电力行业而言，电力大数据综合了电力企业的产、运、销及运营和管理数据，是以行业形势?A判、数据价值的挖掘为目标，利用大数据核心关键技术，实现企业管理模式转变、服务理念的提升，从而完成企业的转型升级，适应新的改革形势和外部环境。

电力大数据的特征主要为：

数据量大。这是电力大数据的一个重要特征。随着电力信息化建设的不断推进，电力数据的增长速度和规模已远超出电力企业的预期。

类型多（Variety），是指电力大数据包含各种各样的数据类型，如结构化、半结构化和非结构化数据。

速度快（Velocity），是指对电力大数据的采集处理和加工分析的速度。

有价值（Value），是指电力数据当中包含有很多有价值的信息。

一方面，随着电力体制改革的不断深入，电力企业将从生产型企业逐步转变为服务型企业，企业的业务流程需要围绕用电客户的需求进行优化和重组，同时，企业内部也需要变革管理模式、进行战略性转型。另一方面，随着“三集五大”体系建设的深入推进，SG186、SG-ERP等系统的建设及推进，已实现了企业级数据资源的初步整合及共享利用，但随着电力数据量的快速增长、数据类型的多样化以及跨专业、跨平台应用的日益深化，电力大数据必将面临着数据的高性能存储及高可扩展性等多项挑战。

因此，通过数据挖掘等技术深入挖掘并分析不同电力客户的需求，把最大限度满足客户的需求同提高企业的经营效益统一起来；站在客户的立场，以客户为中心，及时主动满足用电客户的需求，已成为电力企业的核心竞争点。电力改革环境下，企业必须进行业务流程的变革以适应时代的要求。

三、电力营销面临的机遇和挑战

大数据技术给电力营销带来了新的发展机遇，但也面临着很多挑战。“数据海量，知识匮乏”是大数据时代多数企业的通病。国家电网公司在“十二五”期间提出了“一型五化”的大营销体系（客户导向型、业务集约化、管理专业化、机构扁平化、管控实时化、服务协同化），一方面，随着“大营销”体系的全面建立，各类信息系统数据量多而重复，数据种类繁多，数据量大而冗余，给营销管理和决策者均带来了很大挑战。另一方面，当前营销各类业务的数据信息以业务工单的模式存储在不同的信息单元中，从而形成了多个信息孤岛；且同样的数据信息，不同专业进行统计分析时所采用的信息来源和统计方法都不尽相同，又造成了数据统计口径的不一致，这在很大程度上影响着营销管理服务及决策。

随着智能电网建设的全面开展以及SG186营销业务应用系统的建设完善，海量的业务数据被积累，且当前电力企业的运营方式正在向以电力市场需求和提高客户满意度的方向发展，这就对电力企业的营销服务质量提出了更高的要求，使得电力企业面临了多方面的压力。

一是海量的业务数据分属不同的应用体系，且类型繁杂，不少业务数据也都被分散在各自的系统内，造成了数据孤岛；数据庞大且分散，无法被有效利用与提炼升华；对于同一组数据，由于基于的统计方法、统计背景和数据来源都可能不一致，必定会造成数据统计口径有偏差。

二是售电侧业务放开对公司传统营销模式将带来巨大冲击。新一轮电力体制改革深入推进，公司面临优质客户减少、市场份额下降和优秀人才流失的严峻挑战。电力企业要在市场竞争环境中谋求发展和生存，只有充分了解市场化规则，找准市场定位，变革企业管理机制，才能适应电力体制改革，不被市场所淘汰，稳步向前发展。

三是行业监管和市场竞争给优质服务提出新的挑战。电力改革催生市场主体多元化竞争，不断推动供电服务从“监管+自律”向“监管+竞争”转变，服务风险和舆情预控难度加大。

四是客户提出了更多的服务需求及更高的服务质量。一方面随着市场化经济的不断深入，企业不仅要为用户提供优质的产品，还需要提供越来越优质的服务。另一方面，经济时代逐步向知识经济社会进行过渡，用户对电力企业提供的产品和服务都提出了更高的要求，客户满意度将成为供电企业发展的重要因素，成为供电企业效益的根本源泉。

同时，数据背后隐藏着面对客户越来越个性化、多元化的消费需求，对电力企业的服务内容、服务方式、服务质量、经营管理都提出了更严峻的挑战。

四、大数据的关键技术

电力行业营销系统包含结构化数据，如客户资料、设备记录等，非结构化数据如合同、身份证和其他扫描图片等格式的文件。大数据技术需要加强对电力行业营销类数据存储和分析能力，同时数据挖掘和模式识别技术在客户用电行为分析的应用可以有效支持需求响应。

在电力大数据时代下，大数据已成为电力企业进行决策的基础。只有运用现代化的技术手段，对海量数据进行深度的加工和处理，发现并利用其中蕴含的重要的信息，为电力企业决策者提供数据支撑，才能真正发挥电力大数据的重要作用。

大数据技术分为四层：数据存储层、数据集成层、数据计算层和数据应用层，每一层包含不同的关键技术，其中数据应用层数据挖掘技术需要进行提高及深入应用。数据挖掘是指通过算法发现隐藏于海量数据中信息的过程。数据挖掘需要通过统计、在线分析和处理、机器学习、专家系统（依靠过去的?验法则）、情报检索和模式识别等多种方法来实现目标。

数据挖掘过程的总体目标就是从一组数据中提取信息并将其转换成一个可以理解的结构进行进一步的使用，除了初步的分析，它还包括数据库和数据管理，数据预处理、建模和推理，结构的后期处理，可视化，和在线更新等方面。

数据挖掘使用过去的信息数据来分析一个特定的问题或可能出现的情况的结果。数据挖掘工作分析所有存储在数据仓库中的数据，这个数据可能来自所有的业务，从生产到管理，管理者还可以使用数据挖掘来决定他们产品营销策略，和竞争对手比较。

五、构建统一的数据平台

电力行业每一个业务部门数据相互之间不能相互共享及融合，有些数据形成了信息孤岛，也有些数据存在于多个系统中，且录入、修改的途径有多种，采用不同的采集方式采集相同的数据，得到的结果在一定程度上存在着一些偏差，数据具有广泛的异构。因此需要整合各专业、各平台之间各个环节数据，对数据进行提炼、分析及挖掘，实现跨部门、跨业务、跨平台间数据的共享。如：涉及多专业的电力资产全寿命周期管理、营销、生产等都需要融合不同的来源数据，从而形成以数据为中心的企业信息化管理系统，构建统一的数据管理平台，促进数据资源共享，发挥数据的价值。

基于开展电力营销服务的优势与机遇以及大数据关键技术的研究，提出了利用大数据技术构建营销服务技术支撑平台，依托营销基础数据服务平台、营销业务管理平台建设，整合市场发展、经营活动、客户服务、资产运行等数据信息，研究其多维度分析主题、动态分析评价指标体系，数据的动态采集、合理存储、自动化处理方法，科学分析模型，建立覆盖政策、市场、营业等的营销服务技术支撑平台。平台核心应用应该包括数据采集服务、数据查询服务、数据搜索服务、分布式离线计算服务、分布式实时计算服务、数据挖掘服务、分布式协调服务、分布式队列监控、分布式数据库服务、分布式文档存储服务、数据订阅服务、开发式监控服务及集群管理等核心应用子系统。

六、创新营销服务模式

电力营销要始终把握好“以客户为中心，以市场为向导”的原则，重点做好以下工作：加快转变营销发展方式和服务模式。高度重视市场变化，积极主动，在参与竞争中掌握先机；高度关注客户需求和变化，快速响应，在优质服务中扩大客户群体，切实加强新形势下营销服务体系的建设。

（一）实现电力需求的预测

依托电力大数据技术，整合电力营销各业务系统数据，获取海量的用户数据信息，建立客户的数据关联机制，结合国家政策、经济发展水平、地理环境等因素，对其进行分类、分区域、分行业的数据分析，深入了解不同群体的用电规律和用电行为，实现用户对电力需求的预测，并实现对电力的合理调度以及电力需求的合理管控。

（二）为客户提供差异服务

通过数据分析获得用户的电力消费水平，实现了对用电客户的细分，制定出针对不同客户的行之有效的电力营销策略和服务方案；以客户细分数据为基础，为重要用户提供优质服务，并根据各类客户的特性提供有针对性的、差异化服务。针对重要用户，要主动上门走访，提供技术支撑，并在业务流程、服务机制及服务价格等方面提供高品质的产品和服务，从而满足其对电力企业服务的高需求和高期望。一方面建立业务办理专用“绿色通道”，成立服务工作组，配备专职服务人员为其提供主动式上门服务，另一方面，为这些大客户提供自主式供电时间，提前告知内部消息等服务。同时，供电企业要定期组织开展专业技术及安全知识培训，免费对其各类用电设备进行现场检查，不断提升客户的粘连度、忠诚度和满意度。

（三）降低企业经营风险

根据用户电量电费及缴费习惯等数据进行监测，通过对客户评估与客户行为追踪，预选出一些拒缴、拖欠电费的客户，创建用电客户的信用等级，提高电款回收效率，实现风险的合理规避，有效防止客户风险转嫁，将企业经营风险降为最低；同时需要结合移动互联网技术，深度整合渠道，充分发挥营业厅、95598网站、网上营业厅、掌上电力APP、电e宝、微信等渠道，为用户提供多渠道缴费模式，提高电费回收率，确保经营成果颗粒归仓。

（四）用户服务需求分析

在互联网时代，供电企业的优势更多反映在对用户需求的掌控和生态系统引领上，针对不同类型的用电客户进行创新服务，通过电力企业大数据平台，汇总分析客户需求以及客户投诉等信息，掌握客户关心的中心、投诉集中反映的问题、投诉用户的构成及分布、问题解决效率和追踪，总结、提炼、分析用电客户的聚焦问题。通过建立客户需求导向模型，对用户的需求进行可行性分析，提供一对一的服务，从而提高服务质效；对于用户投诉的共性问题，开展深入的诊断分析，提出有效整改方法，并定时开展供电服务明察暗访及电话回访，收集用户的满意度信息。

（五）建立客户质量评价体系

借助大数据平台，深入分析用户的电费缴费习惯、违约窃电情况以及社会上各行各业的信用评价等信息，建立客户质量评价模型，通过分析和筛选形成优质客户清单，并对其推送个性化信息，提供特殊化服务；同时，对客户信用进行评估，建立用户信用等级，根据其信用等级确定其电费缴纳方式，形成电力企业内部黑名单用户清单，加强此类用户风险防控，提升企业风险控制能力。

（六）支撑营销管理决策

以营销服务技术支撑平台为基础，依托营销基础数据服务平台、营销业务管理平台建设，整合市场发展、经营活动、客户服务、资产运行等数据信息，深度挖掘各类信息数据中的潜在关系，为各类管理和决策者提供多维度、多方位的分析预测性数据，提升工作效率，为企业发展指明正确的方向。

七、总结语

篇7：大数据技术在煤矿安全管理的应用论文

摘要：本文以亚马逊为例，结合大数据技术及电子商务行业的发展现状，分析了大数据技术手段，并通过分析亚马逊在物流集成方面对大数据技术的应用，总结电商物流集成与大数据的关系，对大数据时代电商的未来发展提出可行性建议。大数据及电子商务发展现状 1.1大数据技术及背景

随着信息技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司 IDC 发布的研究报告，预计全球数据量大约每两年翻一番，到 2020 年全球将达到 35ZB 的数据信息量，可能是 2013 年数据规模的 44 倍。由此可见，我们已进入了大数据时代。

大数据有如下定义：“大数据是由于规模、复杂性、实时而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。”大数据的特点可归纳为“4V”：海量（Volume）、多样（Variety）、快速（Velocity）、价值（Value）。如今数据量级别不断加大，数据类型繁多，可分为结构化数据、半结构化数据和非结构化数据，而且数据产生速度快，具有很强的时效性。数据蕴藏着很大的价值，但是其价值密度很低，我们很难从数据的海洋中找到其中有价值的数据，需要技术手段进行数据挖掘。

大数据是继云计算、物联网之后 IT 产业又一次颠覆性的技术变革，对于企业将产生巨大的影响。如今，大数据分析已经成为行业研究的热点，大数据正在以多种方式创造着巨大的价值。市场研究公司Gartner 曾预计：大数据今年将直接或间接拉动全球960 亿美元的 IT 支出，这一数据在 2013 年将达到1200 亿美元，2016 年达到 2320 亿美元，2015 年全球将会新增 440 万个 IT 工作岗位以支持大数据。

1.2大数据背景下电子商务的发展现状

在大数据时代，未来数年数据量将会呈指数爆炸。图灵奖获得者吉姆·格雷（Jim Gray）和 IDC 公司曾预测，全球数据量每 18 个月翻一番。例如，淘宝网每日新增的交易数据达 10TB；eBay 分析平台日处理数据量高达 100PB，超过了美国纳斯达克交易所全天的数据处理量；亚马逊每、秒钟处理 72.9 笔订单。由此可见，电子商务网站的数据正是典型的大数据。

电子商务经历了三个时代：（1）基于用户数的时代，此时电子商务企业通过收取会员费、广告费等方式发展客户来赚取利润；（2）基于销量的时代，电商企业通过投放广告来实现销售量的增长，以此来提升品牌影响力和企业价值；（3）基于数据的时代，电子商务公司通过对消费者的海量数据的收集、分析、整合，挖掘出商业价值，促进个性化和精确化营销的开展。全球迎来大数据时代，数据成为越来越有用的资源，电子商务企业在开发利用大数据的市场上存在着巨大的发展前景。

随着大数据时代的到来，相对于传统的线下销售企业来说，爆炸性增长的数据已成为了电子商务企业非常具有优势和商业价值的资源，大数据将成为企业未来的核心竞争力。电商掌握了几乎最全面的数据信息，其中包括所有注册用户的浏览、购买消费记录，用户对商品的评价、在其平台上商家的买卖记录、产品交易量、库存量以及商家的信用信息等等。

电子商务与大数据的结合，是互联网时代的必然产物，两者间也存在着互惠关系。一方面，电子商务的迅猛发展，为大数据的积累拓展了可观的空间。另一方面，大数据为电子商务的更广泛开展，提供了便利条件。从管理方法到管理思维，大数据给电子商务带来革命性的变化。基于大数据的数据分析系统，将为电子商务的管理者找到更多商机和需求。同时，数据将像普通产品一样被加工和交换。电子商务的经营和管理核心，已经从对商品的管理，转移到对商品背后数据的管理和挖掘层面，而基于大数据的数据分析将为电子商务提供发展的动力。

如今，在大数据的背景下，电子商务的服务业产生了变革。例如电商可以大数据资源给用户提供个性化和精准的商品推荐；还可根据商品的购买和浏览数据进行优质产品信息的汇总；电商可以为消费者提供准确强大的信息检索服务；电商可根据消费人群的不同需求，将营销目标针对某个具体的领域，更加细化服务领域；不少互联网公司提供数据云存储服务以满足为了满足用户对数据处理、存储方面的需求。电子商务物流集成相关技术介绍

电子商务的发展需要一个完善稳定的集成平台，使得各个企业部门能够在这个环境中进行交易，尽可能地消除由于企业内部系统不同而给企业问交易带来的障碍。

2.1基于EDI的电子商务集成

EDI(Electronic Data interchange)是将业务文件按一个公认的标准从一台计算机传输到另一台计算机上去的电子传输方法。从技术上讲，EDI包括硬件与软件两大部分。硬件主要是指计算机网络。90年代之前的大多数EDI都不通过网络，而是通过租用的电脑线在专用网络上实现，这类专用的网络被称为VAN(增值网)。软件包括计算机软件和EDI标准。EDI所需要的软件主要是将用户数据库系统中的信息，翻译成EDI的标准格式以供传输交换。EDI软件主要包括转换软件、翻译软件和通信软件。除此之外还包括EDI标准。

2.2基于Web的电子商务集成

20世纪90年代中期后，网络迅速走向普及，逐步地从大学、科研机构走向企业和百姓家庭。其功能也已从信息共享演变为一种大众化的信息传播工具。从l991年起，商业贸易活动正式进入到互联网这个王国，因此而使电子商务成为互联网应用的最大热点。通过网络进行交易使很多中小企业启动电子商务成为可能。而Internet上的电了商冬集成大致经历了三个阶段：

1）Web Interaction阶段：此阶段企业主要是在网上发布一些产品和企业信息，通过这些信息客户可以对企业的情况包括它们的产品和商业重点等有个大致的了解。2）Web Transaction阶段：在这一阶段，客户可以通过web进行一些交易，比如在Web上购物、结账等。而企业的目标就是激发客户的兴趣，吸引他们的目光到自己的网站上来消费。

3）Web Collaboration阶段：第三阶段特别指的是B2B的电子商务，它的目标是帮助企业的合作伙伴完成商业过程。在这一阶段，比较重要的是企业问的协作，比如企业A可能会共享一些库存数据，或者提供一些网络服务，而这样做的目的就是方便其用户，最终更好的销售自己的产品。

2.3基于XML的电子商务集成

XML是一种格式固定，独立于平台的半结构化语言，用它来做企业的数据交互媒介是一个非常好的选择。利用XML可以准确的描述企业服务、商业流程等，很好地完成交易的自动化，所以，XML为网络提供了统一的数据传输媒介。基于XML的电子商务集成所要解决的问题是统一异构系统直接的数据表达，同时充分发挥XML的可扩展性，定义企业问的事务逻辑，保证系统的稳定，减少由于企业系统不一致而带来的程序上大的改动。在众多的标准中，ebXML和Bizta1k这两个的影响比较大的标准。

ebXML由OASIS、UN/CEFACT、NIST、W3C等组织赞助或者参与制订，旨在取代目前使用的ED l电子商务标准，因为ED I价格昂贵，操作复杂，不利于推广。ebXML是一个规范集，这些规范共同实现了模块化电子商务框架。

Bizta1k框架是微软提出的用于应用集成和电子商务的XML框架，它包括一个设计框架来实现XML大纲(Schema)和一套在应用程序问传递信息用的XML标签。它的目标是推动XML的迅速普及和应用Bizta1k框架大纲以XML形式表达企业的商业文档和消息，并在BizTa1k.Org网站注册和存档，任何个人或组织都能下载框架用以具体实现或者向网站递交XML大纲。亚马逊在物流集成中对大数据技术应用的案例 3.1 公司概况

亚马逊公司（Amazon），是美国最大的一家网络电子商务公司，是网络上最早开始经营电子商务的公司之一，位于华盛顿州的西雅图。亚马逊成立于1995年，一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaInternet、a9、lab126、和互联网电影数据库（Internet Movie Database，IMDB）等子公司。

亚马逊坚持走自建物流方向，将集成物流与大数据紧紧相连。在亚马逊近二十年的历史中，自建物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在营销方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。

亚马逊还将免费“物流免费”作为营销手段，其基础正是在于其对市场的把握和分析。在电子商务经营处于“高天滚滚寒流急”的危难时刻，亚马逊独辟蹊径，三次大胆地将免费送货作为促销手段，并且不断降低免费送货服务的门槛。薄利多销、低价竞争，以物流的代价去占领市场，招揽顾客，扩大市场份额。显然此项策略是正确的，因为抓住了问题的实质。当然这项经营策略也是有风险的。

亚马逊重视物流集成系统的发展。完善的物流系统是决定电子商务生存与发展的命脉。由于亚马逊有完善、优化的物流系统作为保障，它才能将物流作为促销的手段，并有能力严格地控制物流成本和有效地进行物流过程的组织运作。

3.2 公司产品与物流集成服务

亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。公司依托物流集成服务，通过物流中心、桔子机器人、外部卖家和拣货流程等系列服务，提高产品市场率和顾客满意度。

（1）物流中心

2013年，亚马逊花费约46亿美元建设了17个物流中心，并尽其所能地从中节约每一分钱。亚马逊在美国菲尼克斯建有120万平方英尺的仓库，借助手机程序的帮助，这里的员工都可以最大程度地发挥空间利用效率，即使是1英寸的地方。尽管亚马逊去年的收入增长41%，但营业费用的增幅也高达44%，导致利润率下滑2.3个百分点，部分源于这些物流中心的庞大开支。为了扭转局势，亚马逊正在扩大产品和服务范围，以便这些巨大的仓库能够成为利润枢纽。

（2）桔子机器人

桔子机器人可以在货架下穿梭，还能搬运产品，加快订单履行速度。对物流中心的投资成为亚马逊2013年最大的一笔营业费用，在销售额中的占比达到9.5%，这也使得该公司的仓库总数达到69个。为了进一步推动物流业务的自动化进程，亚马逊斥资7.75亿美元收购仓库机器人制造商Kiva Systems。亚马逊旗下拥有Soap.com和Diapers.com两大购物网站的Quidsi已经开始使用这种设备。使用亚马逊仓库和配送服务的第三方商家也推动了该公司的扩张。

（3）外部卖家

通过亚马逊出售商品的外部卖家，给该公司带来了更高的利润率。亚马逊会从第三方商家出售的商品中抽取一定的佣金，通常约10%，这部分佣金全部计入利润。如果合作伙伴选择通过亚马逊的仓库履行订单，还要交纳一定的费用。亚马逊控制了整个体验，确保消费者可以得到始终如一的高速物流服务，而且完全没有库存风险。

（4）拣货流程

要从仓库中取出商品，首先由一组名为“充填工”的工人把商品塞进由塑料隔开的储物格内，经过电脑的计算，这些储物格的空间效率实现了最大化。亚马逊物流配送环节中，将以最高效率往来于货架之间，并将货物依次摆放到传送带上，等待打包和配送。通过先进的仓储服务，亚马逊2013年多实现了1000万美元的销售额。

3.3 亚马逊的大数据技术案例分析

3.3.1亚马逊的大数据业务

亚马逊的业务主要包括了三大方面：电商平台，包括自有产品的电子商务、第三方卖家及对一些成员的特殊服务；KINDLE、数字内容等；云服务。以电子商务起家的亚马逊，由电子书发家，由云服务推动企业更进一步发展，以企业云平台闻名于世。

由于大数据技术的日渐成熟，亚马逊慢慢变为大数据行业的排头兵。亚马逊推出过一系列大数据产品，其中包括基于Hadoop的Elastic MapReduce、DynamoDB大数据数据库以及能够与Amazon Web Services顺利协作的Redshift规模化并行数据仓储方案。3.3.2亚马逊的大数据平台开发

在亚马逊大数据计算开发的参与人员中，包括消费者、其他进驻卖家和亚马逊公司自身三大组成部分。尽管亚马逊属于整合平台的提供商，但亚马逊实际上身兼多职，涵盖了价值链的多个环节，同时担任了服务商和运输者等多个角色。亚马逊在智能物流方面的创举，对其营销能力的增强起到了辅助作用。

亚马逊凭借着对于顾客购买数据的多方位采集和挖掘，能够获得大量关于目标客户的信息。最后，在第三方卖家方面，亚马逊从数据的角度去研究商家需求，并与消费者数据相结合，同物流集成思想相结合，提高平台精准营销的能力。

亚马逊的大数据技术主要分为四个步骤：（1）收集用户行为数据

用户使用亚马逊网站上发生的所有行为都会被亚马逊记录：如搜索、浏览、打分、点评、购买、使用减价券和退货等。亚马逊根据这些数据，不断勾画出每个用户的特征轮廓和需求，并以此为依据进行精准营销。

（2）整合用户行为数据

亚马逊强大之处还在于它可以整合用户行为数据和喜好，并挖掘用户的潜在需求，善于用各种形式的活动去获取用户的喜好和需求，比较典型的活动就是投票。一旦用户投票了，其观点、倾向、或者兴趣爱好就暴露了，这个用户就被亚马逊打上了“标签”。

（3）个性化推荐营销服务

通过对所获行为信息的分析和理解，亚马逊制定对客户的贴心服务及个性化推荐。这不仅可以提高客户购买的意愿，缩短购买的路径和时间，在恰当的时机捕获客户的最佳购买冲动，降低了传统营销方式对客户的无端骚扰。

（4）统计用户行为数据

给目标用户发送邮件后，用户是否打开了邮件、是否点击了邮件中的链接浏览促销产品，这些行为都会被持续跟踪下来。整个促销推广活动而言，这样可以统计活动的效果，为下次评估类似促销的活动提供历史依据。3.3.3对亚马逊大数据技术的应用分析

亚马逊最先把大数据引入电商行业，应用大数据技术改变客户的体验，将大数据技术与智能物流、物流集成相结合。在亚马逊近二十年的历史中，物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在物流集成方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。

首先，亚马逊经由以云计算为依托的电商开放平台，通过客户数据收集、目标客户甄选、营销组合设计和营销信息推送四个步骤来实现精准营销。整个过程的核心在于对目标客户的准确定位，从而在分析客户偏好的基础上有针对性地发布营销信息。其次，有了数据分析系统的支撑，智能物流也得以发展。对于亚马逊这样一家秉承“客户至上”的企业来说，其智能物流方面的创新是其他电商企业难以企及的——物流的精准实现了更高层次的消费者体验满足。

亚马逊依靠大数据技术及大型的系统运输能力作为支撑，在物流集成方面有以下创新之处。

（1）智能化预估系统。

亚马逊的预估体系，在整个物流集成管理上起到了非常关键的作用。应用云计算的设备以及管理系统，亚马逊创建了智能化预估系统，对每个物流中心进行非常特别的管理方式，对仓储空间和配送路径进行相当精细的计算。亚马逊物流中心内的存货，不单单是同品种存放在一起，它们是乱七八糟的摆在一起，货物码放乱，但是乱中有序。亚马逊依据技术投入的大数据可推知客户在买一样货物时有哪些可能同时购买的关联货物，由此，他们在供货、上架、储存的时候，会按照数据的分配相互交叉的储存，使空间得到最好的利用，同时在拿货的时候，取用最短距离。这使得亚马逊的上架效率极高，空间的利用率极高。

亚马逊的下单，每一个对季节性产品的下单都会左右其数据如何支配，以及在库存里面的各个物流中心的储备，实时的调节库存，才可能实现库房或者我们叫做物流中心，每一个空间得到最好的使用。

（2）智能化运输调拨系统。

应用大数据技术，亚马逊实行全天侯全程时时监控运输网络。通过调拨和干线运输和最后一公里运输进行智能化管理实现“还未下单货在途”。购买亚马逊的产品，可以在网上看到一个配送时间的估算，这个估算实际上是用大数据跟物流体系进行的连接，这个连接能够让亚马逊知道，根据消费者的要求在什么时间送到，这个数据是在即时的情况下，消费者下单的时候会做出核算。亚马逊在美国、加拿大商品是跨境配送的，在中国实行的是全国配送。亚马逊配备了几大物流系统，像调拨线路；亚马逊采取智能调拨系统，在库房之间进行调拨，还有干线运输、第三方合作运输等多种方式。

（3）大数据、大系统出货能力。

出货时，亚马逊也采用大数据技术、大系统的能力。通过系统进行动态订单的处理，信息化智能控制来更多拣货的路径，提高拣货效率。目前这个信息系统可以达到百分之百的送货率，而库存的准确率可以达到99%以上。

应用大数据技术，亚马逊在物流集成方面的拥有以下三点创新之处。第一，通过智能物流系统，亚马逊可根据线上的销售情况，实时记录当前库存，并以客户的偏好为依据，预测下一期的销售目标，从而使库存始终保持在一个较低的水平。

第二，除了对自身的物流管理，亚马逊大数据分析也与物流体系进行对接，将仓储物流服务与产品配送结合起来，定时或定点为消费者提供新鲜的产品和及时服务。借助终端GPS设备，送货员能够确定最优送货路线，在节省时间和财力的同时也为顾客提供了更优质的服务。

第三，亚马逊物流中心预估和调拨的体系涵盖了云计算设备和管理系统。通过大数据的分析，各类存货按照数据分配进行相互交叉的储存，对空间实现最优利用；而根据季节不同，库存系统会自动转移产品，合理利用库房。换句话来说，数据分析相关的设施建设和信息挖掘是亚马逊精准营销的前提，而物流配送方面的创新则是精准营销的效果巩固，最大层面上增强了客户体验。大数据时代电子商务的机遇与挑战 4.1大数据时代电子商务的机遇

企业可以分析和使用的数据在爆炸式增长，通过对大数据的收集、整合、分析，企业可以发现新的商机，创造新的价值，带来大市场、大利润和大发展，大数据时代蕴藏着巨大的商机。

（1）大数据有利于市场营销。

大数据技术能够帮助电商获得更多的生意，销售人员预计实施大数据战略将对销售有显著的影响。大数据时代的社会化营销重点是理解消费者背后的海量数据，挖掘用户需求，并最终提供个性化的跨平台的营销解决方案。如果电商拥有了基于大数据的技术，在寻找潜在客户上、销售时间以及预测交易成功的几率上将会得到明显改善。

（2）大数据有利于个性化和精准的商品推荐。

大数据为个性化商业应用提供了充足的养分和可持续发展的沃土。顾客的结构、流量、点击率、购买的周期以及兴趣，都会在电子商务平台上产生大量的数据，通过对大数据的收集、整合和分析，电商可以对消费者的品位和消费意愿进行准确识别，主动为其提供个性化和精准的销售产品和服务，提高销售额和利润率。

4.2大数据时代电子商务的挑战

电子商务企业在大数据时代将会迎来重大的机遇和契机，同时也面临着大数据处理能力和隐私保护等方面的挑战。

（1）拥有大数据的挑战。在大数据时代下，电子商务的竞争已经成为基于数据的竞争。当今极速爆炸的信息量远远超越了大部分企业 IT 架构和基础设施的承载能力，其实时性要求也大大超越了现有的计算能力。有大数据是利用大数据的前提条件，若不具备整合大数据收集和使用的能力，企业就很难在广告和多个营销渠道中提供真正个性化和精确的产品和服务推荐，而拥有大数据的企业则能在竞争中脱颖而出，不战而胜。

（2）处理大数据能力的挑战。据统计，82％的公司正受到处理海量信息的挑战，而且他们花很多时间对其进行研究，89％的公司因超负荷处理数据而失去销售机会。仅仅坐拥大数据并不够，对大数据的分析和挖掘能力已成为企业的核心竞争力。

（3）对隐私保护的挑战。大数据时代，网络用户在互联网的评论、图片、视频、个人信息、兴趣爱好、交易信息、访问的网站等等均被企业记录在案。如在淘宝网上交易时的真实姓名、家庭住址以及银行账号等重要的真实信息，逐渐引起了我们对个人隐私的担忧。

在大数据时代，呈爆发式增长的信息资源给电子商务企业既带来了机遇也带来了挑战，通过对数据的分析运用将带来更多服务模式的革新，可以给消费者带来更多更好的服务体验，但是如何运用技术手段挖掘出有价值的信息和如何利用好这些信息还需要不断思考和论证。参考文献：

[1]赵林度．电子商务理论与实务．人民邮电出版社.[2]柴岩兵，贾素彤．电子商务一走进数字化商务时代．产权出版社.[3]朱爱群．客户关系管理与数据挖掘．中国财政经济出版社.[4]李靖，易建湘．电予商务在中田．中国经济出版社.[5]安徽，梁春晓．电子商务应用．电子行业出版社.[6]李辉．如何响应即将到来的大数据时代．J.科技导报.2013.[7]黄浩．亚马逊：创新者的机会．J.中国信息化.2012.5.[8]刘琪．亚马逊：APP背后的秘密武器．J.IT经理时代．2012．10． [9]艾瑞斯．大数据思维与决策．2014．

篇8：大数据技术在煤矿安全管理的应用论文

现在出现了解决这一问题的新思路:数据仓库技术。数据仓库之父W·H·Inmon对数据仓库的定义是:数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中的决策制定过程。煤炭企业可将各分立的业务数据库及所需要的其它外部数据源以特定主题的形式加以集成,建立起企业的数据仓库,并在此基础上利用数据挖掘等多种技术为企业经营管理工作提供决策支持,这对于提高决策质量、提升管理水平和管理效率,杜绝安全事故,确保安全生产意义重大[1]。

1 煤炭企业数据仓库的体系结构[2]

煤炭企业的数据仓库系统有后端数据获取软件、中间层的数据仓库和前端客户软件三个层次,其主要组成部分是数据源、OLAP服务器和前端工具、数据存储与管理,如图1所示。

1.1 数据源

数据源作为数据仓库系统的基础,是整个系统的数据源泉,包括外部信息源和煤炭企业内部操作数据。外部信息包括国家的政策、市场信息、竞争对手的信息、法律法规以及各类外部统计数据及各类文档等。内部操作数据含企业操作型数据库中(通常存放于关系型数据库管理系统中)的各种业务数据和办公自动化(OA)系统包含的各类文档数据,包括矿山地质数据、采掘进度计划数据、财务信息、劳动与人事信息、设备信息、原材料消耗信息等。以煤矿安全数据源为例,瓦斯、煤尘、矿压与顶板、水、火等自然灾害因素是影响煤矿安全生产的最难以控制、最主要的因素,因此,把这些主要灾害因素作为切入点,分析对其有影响的各种数据来源,为建立煤矿安全管理数据仓库提供了数据保证。如安全事故的记录、分析报告、统计数据;矿压测量数据;煤矿环境监测系统数据;电子监测系统数据;安全监察人员数据等。

1.2 数据的存储与管理

数据的存储与管理是整个数据仓库系统的核心。在现有各业务系统的基础上,对数据进行抽取、清理,并有效集成,按照主题进行重新组织,最终确定数据仓库的物理存储结构,同时组织存储数据仓库元数据,包括数据仓库的数据字典、数据转换规则、数据加载频率、记录系统定义以及业务规则等信息。煤矿企业可以建立企业级数据仓库,也可以建立部门级数据仓库,即数据集市。还可以从建立数据集市开始,逐渐发展到企业级数据仓库。在数据的存储与管理中,最基本的工作是原始数据的收集,有时甚至十分繁琐,特别是当煤矿企业的基础数据来源多、数据信息不完整、存储格式各异时进一步增大了工作的难度。原始数据的收集是否及时、完整和真实在很大程度上决定了信息的质量优劣。

1.3 OLAP服务器

OLAP服务器对分析需要的数据按照多维数据模型进行再次重组,以支持用户多角度、多层次的分析,发现数据趋势。其具体实现可以分为:ROLAP、HOLAP和MOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;HOLAP是ROLAP与MOLAP的综合,基本数据存放于RDBMS之中,聚合数据存放于多维数据库中;而MOLAP基本数据和聚合数据均存放于多维数据库中。

1.4 前端工具

前端工具是直接服务于数据用户的,主要包括各种数据分析工具、数据挖掘工具、报表工具、查询工具以及各种基于数据仓库或数据集市开发的应用。煤矿企业的数据用户包括三类:基层操作人员,数据的收集、录入工作是他们的主要负责;

业务部门中层管理人员,通过访问数据仓库获得日常管理决策的支持信息;

煤矿企业的最高决策层,利用煤矿数据仓库的多维分析功能,从多视角对生产经营数据进行分析,为生产经营策略的制定与调整和企业战略决策提供信息支持。从数据的操作属性来看,基层用户是属于联机事务处理,高层用户属于在线分析处理,而介于二者之间的则是中层用户。

2 煤炭企业数据仓库的开发

在开发传统的事务处理信息系统时软件开发生命周期法(SDLC)很有效,但它并不适合于开发数据仓库系统。开发数据仓库系统最好的方法是进化设计,或称为快速应用设计。在此方法中,基于最初的用户需求,开发一个原型系统,经过不同用户运行测试和反馈信息,改进原型系统,再进行测试,反复进行这个过程,直到满足用户需求,然后将原型扩展为完整的系统。

具体实施数据仓库有两种基本的方法,自顶向底的方法和由底到顶的方法。自顶向底的方法要求先建造一个完整的企业级的数据仓库,它包含了企业业务的所有特性,而为特定业务应用的数据集市构成数据仓库的一个子集。需要复杂的和消耗时间的企业建模是这种方法的缺陷,而且这将导致实施时间的延长和费用的提高。由底到顶的方法是一种增加的方法,渐进式地建造数据仓库,显著地节省实施费用和时间是其具有的优点。在这种方法中,单一标准数据集市安排给个体的商业单元被处理或开发然后集成为一个企业级的数据仓库。

为充分利用两种方法的优点,可采取两种方法相结合的方式,在规划阶段采用自顶向底的方法,而实施时则采用由底到顶的方法。这种集成方法具有两个主要优点,一是数据集市可以很快地加以实施,这对那些不能等待实施完整的企业级数据仓库的终端用户非常有利,它允许快速依赖决策支持应用于特定的需要立即关注的商业单元中。二是这种方法允许数据集市活动与数据仓库活动有一定程度的独立性。同样,为整个企业级数据仓库的实施提供宝贵经验的正是数据集市项目经验。综合法还解决了集成问题,因为所有的数据集市共享企业的元数据仓库强制一致性数据定义和共同的商业规则、语义。

数据描述是对数据源内容、结构和质量的系统检查,包括识别组织内外的数据源,检查数据格式、句法和单位,识别感兴趣的或有用的数据。

装载管理器用于将目标数据装入数据集市相应的事实表和维表中,主要执行两种操作,一是在目标数据与事实表和维表之间建立映射关系;二是依据选择的粒度级合并事实表和维表数据。数据仓库管理器的功能是存储和管理数据和相应的数据集市中元数据,存取和净化旧有数据,产生数据汇总。查询管理器执行所有与查询管理过程相关的操作,也为决策支持服务。

3 基于数据仓库的数据挖掘技术在煤矿安全管理中的应用

建立数据仓库的目的是为煤矿生产经营和安全管理服务,在应用上可以利用数据仓库进行数据分析,产生数据报表,辅助管理决策。但在数据仓库中存储着“海量”数据,在这些数据中隐含着许多深层次的信息,对煤矿生产和经营活动更具有指导意义,数据挖掘是实现这一目的的有利工具。数据挖掘是从大量的、随机的、不完全的、有噪声的、模糊的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘建立在数据仓库之上,可以简化源数据的预处理过程,数据仓库中的海量数据又恰好满足了数据挖掘对数据的巨量需求。数据挖掘的方法有许多,如人工神经网络方法、决策树方法、遗传算法、粗集方法等。在煤矿安全管理领域,有学者探讨用数据挖掘方法进行煤与瓦斯突出预测[3],有学者将数据挖掘方法应用于顶煤冒放性评价[4],还有的学者用人工智能方法进行煤与瓦斯突出预测[5,6]。这些研究工作都对数据挖掘技术在矿山安全管理中的成功应用奠定了基础。数据仓库可以扩展到企业级,数据挖掘的应用领域同样也可扩展到煤矿企业生产经营管理的各个方面,对全面提升企业管理水平和经营绩效意义重大。对数据挖掘进行研究的重点是选择合适的挖掘算法,建立起矿井自然灾害隐患识别决策支持系统,来实现矿井自然灾害隐患识别、预警与决策分析,减少自然灾害发生率,从总体上提高煤矿安全管理水平。

结束语

从我国煤矿信息化建设现状的出发,在对煤矿安全生产数据源进行分析的基础上,提出了煤矿安全管理数据仓库系统的总体框架,介绍了数据仓库的开发过程和开发方法,并简述了基于数据仓库的数据挖掘技术,希望能对煤矿企业的信息化建设和安全管理工作起到借鉴作用。需要指出的是,数据仓库的实施并非易事,需要企业各个部门的通力协作以及计算机专家与技术人员和煤矿生产经营管理人员的充分沟通,更需要企业领导层的支持和直接推动。因此,煤矿企业建设数据仓库既是技术问题,也是意识问题。其实,许多煤矿都已经积累了足够的、真实的历史数据,利用数据仓库和相关的技术对积累的数据进行统计分析,可以研究过去的经营管理状况,发现和挖掘可以改进的地方,制定计划,为确定发展规划提供依据,为管理决策提供可靠的信息和知识支持。

参考文献

[1]李学锋.矿山企业数据仓库的应用研究[D].昆明:昆明理工大学硕士学位论文,2005.

[2]石丽,李坚.数据仓库与决策支持[M].北京:国防工业出版社,2003.

[3]徐慧.数据挖掘技术在煤与瓦斯突出预测中的应用研究[J].煤矿设计,2000(3).

[4]孟祥瑞,蓝航,何祥.基于数据挖掘技术的顶煤冒放性评价算法[J].安徽理工大学学报(自然科学版),2004(1).

[5]郝吉生.BP算法及其在煤与瓦斯突出预测中的应用[J].辽宁工程技术大学学报,2004(1).