大数据分析关键技术

大数据分析关键技术（通用6篇）

篇1：大数据分析关键技术

大数据关键技术

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

二、大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

从挖掘任务和挖掘方法的角度，着重突破：1.可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。5.数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

篇2：大数据分析关键技术

大数据及其关键技术的教育应用实证分析

胡水星

【论文摘要】大数据作为信息技术发展的新趋势，已经渗透到各行各业，成为重要的生成因素。在数据分析驱动教育，变革教学的大数据时代，教育领域同样蕴藏着具有广泛应用价值的海量数据，在对教育数据挖掘和学习分析技术等教育大数据关键技术分析的基础上，结合共词分析和教育博客等社会化网络教育数据，构建教育领域的相关学习分析和数据挖掘模型，探索教育变量之间的相关关系，实践大数据的教育应用，为教育教学提供有效的决策支持服务，促进教育教学的变革与创新。

【论文关键词】大数据；学习分析；数据挖掘；共词分析；社会网络分析

大数据作为信息技术发展的新趋势，已经渗透到各行各业，成为重要的驱动因素，并掀起行业变革的巨浪。随着我国教育信息化水平的不断提升，越来越多的学习管理系统在教育领域中被应用，数据化的学习信息和学生信息逐渐增多，教育数据的海量增长，导致在教育管理、教育服务、教学研究、教育评价等领域也面临大数据问题，教育大数据时代已经悄然来临。“教育信息量的爆炸式增长以及相关数据处理技术的创新发展成为人们新的视野焦点，如何利用与分析这些数据信息，不仅影响着信息交流、知识传递和学习效果，更在一定程度上影响着教学决策制定和学习模式优化，已经成为目前教育工作者和学习者一致关注的方面。”[1]

在数据分析驱动教育，变革教学的大数据时代，教育领域同样蕴藏着具有广泛应用价值的海量数据，利用教育数据挖掘和学习分析技术，构建教育领域的相关模型，探索教育变量之间的相关关系，为教育教学决策提供有效的支持将成为未来教育的发展趋势。

一、大数据及教育大数据关键技术

计算机技术、移动通信技术、互联网技术，再到大数据技术的登台亮相，不中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

仅体现着信息技术的深入与发展，更体现着大数据时代的到来；大数据技术在教育领域的广泛应用引起了教育变革，推动了教育发展，学习分析实现了教育的探索性分析，数据挖掘实现了教育管理与决策的制定。学习分析和数据挖掘这两大大数据关键技术在教育领域的深入应用，为教育教学带来了新的机遇。

(一)大数据 2012年，联

合国发布

了

大

数据白

皮

书“BigforDevelopment:Challenges&OpportunUies”，明确提出大数据时代已经到来。[2]大数据作为信息技术发展的新趋势，具有海量的数据规模(Volume)、快速的数据流转(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value)4V特性。[3]大数据是一种价值观、方法论……是一场思维的大变革，已经渗透到各行各业，成为重要的一种生成因素，并掀起了变革的浪潮。[4]通过对海量数据的分析挖掘，以一种前所未有的方式获得巨大的产品服务、深刻的真知灼见，为我们理解生活以及认识世界提供了一种全新的思维方式，实现思维的三大转变：一是不再依赖于小样本数据，而是与现象相关的所有数据；二是不再热衷于追求微观层面的精确，而是宏观层面的洞察力；三是从传统的因果关系追求中解脱出来，关注相关关系的发现和应用。[5]

大数据借助无所不在的传感设备和计算能力，对现实世界、虚拟世界以及虚实融合世界的复杂网络数据进行解析和挖掘，实现行为判断和决策。随着教育领域各种学习管理系统、课程管理系统、网络互动平台的应用，各种学习行为、学习状态等教育数据将海量增长，教育大数据时代已经悄然来临。大数据使得教育信息成为可捕捉、可量化、可传递的数字存在，大数据使得教育过程性考察成为可能，更能透过真实的数据发现教与学的关系，教育正悄悄地发生着一场革命。[6]

(2)教育大数据关键技术

近年来，随着大数据的推进与发展，教育大数据处理与分析已经成为推动教育改革与发展的驱动力，引起了各国政府和教育行政部门的高度重视。2012年10月美国教育部发布了《通过教育数据挖掘和学习分析促进教与学》中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

(EnhancingTeachingandLearningthroughEducationalDataMiningandLearningAnalytics)报告。[7]力图通过教育大数据分析挖掘，促进“大数据”教育应用，从而为教育发展抢得先机。

大数据为海量教育数据的存取提供了技术基础，但原始的教育数据只是教育大数据的基础，只有通过对采集到的各种数据进行教育数据挖掘，构建学习分析模型，发现教育变量之间的关系，并实现赋予数据相关意义，才能使数据转变为信息；信息进_步经过分析和综合，形成知识；最后通过实践运用，知识才上升到智慧层次。[8]因此，教育数据挖掘和学习分析技术是教育大数据的关键技术。

1.教育数据挖掘

教育数据挖掘（EducationDataMining)是综合运用数理统计、人工智能与机器学习和数据挖掘等技术与方法，对教育原始数据进行分析处理，通过构建数据模型，对学习者的学习结果与学习内容、学习资源和教学行为等变量进行相关关系分析，从而有效地预测学习者未来的学习趋势。[9]并为教育工作者、学习者、学生家长、教育教学研究者以及教学软件开发者提供支持，实现教育系统中教育资源的良性互动，最终实现改进学习的目的。教育数据挖掘流程具体如图2所示。

2.学习分析

学习分析（LearningAnalytics)的研究对象是学生及其学习环境，目的是通过对教育海量数据的分析和建模，发现潜在问题，优化和理解学习，预测学习者在学习中的进步和表现。学习分析具体过程如图3所示。显而易见，学习分析技术就是围绕学习者在学习过程中产生的各种信息数据，利用各种数学建模方法和数据处理技术来解释这些数据，并根据结果数据与分析信息，对学习过程与情境进行探究，并进一步发现学习的规律，为优化和完善教学提供相应的反馈，持续地促进学习者的学习。学习分析技术利用数据挖掘、数据解释与数据建模的优势，对学习的平台中积累的大量数据信息进行采集、存储、分析和表示，并运用分析测量结果对学习者学习行为进行评估、预测和干预，为个别学生量身定制更有效的教育，进而改善和提升教与学的质量与效能，实现改善教学和促进学习的目的。中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

除了学习分析和数据挖掘这两大教育大数据关键技术，近年来慕课、微课、翻转课堂、社会网络软件、云计算、Moodle等网络学习开源平台、WEB2.0技术都可以纳入教育大数据的技术范畴。

二、大数据促进教育变革随着教育领域各种大数据技术的应用，我们已经进入一个数据驱动教学、分析变革教育的大数据时代。虽然技术还没有给教育带来如1987年AlfredBork所预言那样的变革[12]，但技术具有拓展、增强或者变革人类学习的潜力，科技进步不可避免地带来了教育的革新，并且对教育发展带来了深远的影响。如，大规模数据分布式处理技术实现了结构化与非结构化数据存储；云计算技术实现了教育资源的共建共享；社会性交互软件促进了学习型社会的构建；MOOCs与翻转课堂实现了个性化学习构建；开源学习管理系统实现了学习过程管理。大数据技术在教学领域的应用革新了教育思维方式、重构了教学评价方式、颠覆了传统教学模式、实现了个性化教育，教育大数据背景下教学的规训与教化在撤退，支持和服务在推进。[13]

(一）数据挖掘与学习分析有助于教学决策和评务价

教育大数据记录了教学的过程，发现了新的知识，创造了更大的教育价值，促进和优化了教学策略和评价。移动互联网时代，知识的获取变得以学生为中心，因为，每个学生的智力特点和吸收水平都是不一样的，移动互联网支持了以学生为中心的学习，突破传统不再是所有人在统一的课堂上在规定的四十五分钟内听相同的教学内容。新兴的教育技术与资源使得教育更加以学习者为中心，使教育从批量到个性的实现成为一种可能；教师的教育思维也从宏观的群体教育向微观的个体教育方式转变，促进了以学习者为中心的个性化教育的实施，进一步使得因材施教成为一种可能。

从技术层面上说，学习者在互联网等媒体上留下的任何数据痕迹，都可以进行分析，可以发现数据背后隐藏的学习者相关学习特征、兴趣爱好、行为倾向，与教育教学相关的状态信息都将一览无余。从这个意义上来说，未来的教育发展方向就是应用学习分析和数据挖掘等大数据技术去实现精准的个性化教育。将大数据对教育教学中海量数据的整合分析，结合态度、行为和行为背景等因素，就中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

可以发现学生思想、行为和心态的变化，分析出每个学生的特点，再结合总体学生的表现和其他因素的分布就可以准确对某位学生实施正确的评价，最终使得对每个学生的教学都可以建立在对过去行为数据的分析基础上。[14]从而真正打破传统技术背景下“不得不承认，对于学生，我们知道的太少”那样的窘境。[15]

大数据技术有利于对教师课堂教学计划、课堂教学评价、课堂视频资源中的各种数据进行提取和分析，从而为预测、处理教学行为、学习心理提供了重要依据，为教学评价提供了较为全面和完整的信息，克服了评估主观性强的缺憾，教学评价不再是经验式的，而是在大数据基础上的“归纳”，更具说服力和公信力，实现了教学评价的客观公正与科学正确，教学决策的针对性与时效性。

(二）微课与翻转课堂教学有利于个性化学习模式重构

未来教育在大数据技术的支持下变得越来越个性化，慕课、微课与翻转课堂的教学应用有利于个性化学习环境的构建，数字化课程资源的标准化定制实现了学习内容的学生自组织学习，在线学习使得学校教育和教师更多地转向学生个体，关注学习者的个性化培养，教师实现了从教学者到助学者角色的转变，更多地是承担学习的支持服务和协作交流。[16]个性化学习模式更多地关注师生之间、生生之间、学生与教育媒体之间的交往互动、个性化服务和灵活的教学范式。微课实现了知识从固化到碎片，移动互联网则使我们可以充分利用碎片化的时间。不仅如此，我们每一次对碎片化时间的利用都还可以是非常高效的，因为，学习系统了解你的学习情况，知道怎么让你更高效地学习。

传统教育是大家在一个封闭的客厅里，规定每节课45分钟，而现在移动互联网可以让学生和全世界各个地方的学习者交流，做到线下进行知识学习，线上进行知识传递，完全颠倒传统的教学结构，使强调知识传递、以教定学的知识传授模式逐步让位于强调问题中心、以学为主的整合探究模式，构建了新的教学范式。

中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

教师可以利用微课和翻转课堂进行基于技术的课堂教学案例欣赏，积极开展分析、讨论和教学反思活动，在学习活动中实现对技术、学科和教学法之间的深层次理解。[17]在这种模式下，一方面，充分调动了学生的积极主动性，学习者在课堂上进行深入交互和思想碰撞，而不再是存在了几个世纪的那种被动的教学模式接受者；另一方面可以进一步加深对整合技术的学科教学知识的理解，培养教师将技术和学科教学知识整合地根植于自身课堂中的能力，实现将知识的传授迁移到了课外。

(三）在线视频与大规模开放课程有利于教学知识呈现

开放存取已经成为帮助所有人进行学习的关键因素之_，“技术支持了信息的开放存取，实现了知识共享的无处不在”，[18]这也是21世纪由新的学习技术所带来的张力和机会：学科内容的音频、视频等多媒体融入呈现，营造了更为丰富的交流互动和学生体验参与，促进了学习者情感领域的认知与发展，并进一步帮助我们所有人学习；现有的视频动画、网络多媒体、甚至3D的教学内容，生动逼真地呈现在学习者面前，使学习突破了传统的学校围墙的限制，未来的师生关系应该是从传道授业变成解惑的角色，传道授业由互联网上高质量的视频资源来替代；在线视频分享为每一位学习者打开了一扇从其他机构那里学习的大门，学习和培训从单中心到多中心，各种大规模开放在线课程让学习方式越来越丰富。通过向学习者提供观看、参与和反思的教学视频资源，实现了跨界学习交互和教学应用示范。这种交互和示范不仅能够展示如何理解技术、学科内容知识和学科教学知识之间的关系，更能够展示如何为学科内容领域的教学制定与技术有关的有效决策，[19]从而促进学习者自主建构知识体系，实现教学知识的呈现与内化。

(四）学习管理系统和web2.0技术有助于教学管理和情境参与

利用web2.0技术，用户可以在其中创建视频群组，订阅特定频道和成员的视频，上传视频，给视频贴标签。在世界范围内分享视频、创建播放列表、与拥有共同兴趣的人保持联系等。这些工具赋予了学习者在教育过程中的话语权，支持参与式学习。?大数据促进教育发展的第三大宏观趋势是建构_种协同、协商和中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

共享这些知识和信息的文化创造；一种参与式学习文化。[21]正如约翰.赛利.布朗所指出的那样，在这种新型的参与式教育环境中，学习者开始参与到一种建构、改进、学习、分享的文化中。各种免费的教育资源随处可见、各种支持学习者参与的社会性工具软件层出不穷，资源和工具的结合能使学习者自由添加、实时评论和独立创建全新资源，这时我们需要重新审视和界定学习究竟是什么一学习不再是消费和吸收，而变成了生成和参与。由于有了Moodle、Sakai、Blackboard等学习管理系统和web2.0技术对学习参与的支持，实现了以学习需求和学习者为中心的转变，动态的教与学关系，通过挖掘知识、寻求联系、总结规律，每个教师和学习者都能发挥自己最大教育潜能。

三、大数据关键技术教育应用实证分析

大数据所带来的教育的未来，不单是表述_个理念和社会直觉，更是一种教育变革和社会行动。在大数据技术的支持下，教育不再是单_的理念交流与经验传承的社会科学，而确确实实变成依托教育行为数据的实证科学。在教育大数据时代，由于教学实验的布置，教育时空的设计、学习场景的构建、教育环境的创设、教育数据的采集和教育管理的决策，这些过去只能依靠理念灵感加经验的东西，可以实实在在地以数据形式进行记录、跟踪，真正变成一种数据支撑的行为科学。[22]

大数据技术在教育教学实践中的广泛应用，积累了大量的学习状态数据，如何让数据说话，揭示教育数据背后的教育现象本质，为教育决策和政策制定提供建设性解决方案，我们将通过数据挖掘和学习分析这两大大数据关键技术在教学领域的应用案例进行实证分析，以期为数据挖掘和学习分析等大数据技术的教育应用提供借鉴与启发。

(一)基于教育数据挖掘的共词分析

教育大数据技术促进了教师专业发展，两者具有一定的相关性，国内许多文献对两者进行了深入研究，我们抽取10年以来在CNKI、EBSCO、Springerlink等国内外期刊上出现的教师专业发展和教育大数据相关的关键词频次，利用内容分析，文本分析等方法对关键词出现的共篇关系构建共词分析矩阵，并通过中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

Ochiia相似性系数法对数据进行分析计算，从而将共词矩阵转换为相关矩阵，在相关矩阵的基础上，进_步构建相异矩阵，并采用多维度尺度分析法进行分析，形成教育大数据背景下教师专业发展的知识体系谱系图，从而对教育大数据教师应用提供良好的决策指导。

期刊论文一般都有几个关键词，用以说明本篇论文的主要研究领域和重点方向等，如果多个关键从上面的“教育大数据与教师专业发展高频关键词多维尺度图”中可以发现象限_、象限三和象限四是几块相对集中的研究领域。其中第一象限属于大数据范畴，主要关注“大数据”、“学习分析”和“数据挖掘”；第三象限主要属于教师专业发展范畴，主要包括“教师信息素养”、“教师Tpack”、“教师专业发展”；第四个象限属于个性化学习技术范畴，关注“慕课”、“翻转课堂”和“个性化学习”；相对这几个关键词集中象限，第二象限只有教学绩效评估，这说明教学绩效评估和其他几个范畴共同联系相对少些。关键词的图中分布也比较符合我们对相关文本内容的分析，对教师教育专业化发展具有很好的决策指导作用，如，在进行大数据学习应用时应该重视学习分析和数据挖掘的学习；在进行教师专业化培训时应该重视教师Tpack能力和教师信息素养的培养；在进行个性化学习支持服务的时候应积极利用翻转课堂和慕课进行学习环境构建、学习模式创设。

通过教育数据挖掘共词分析，很好地展现了教育大数据背景下教师专业发展的知识体系谱系图，更加明确地解释出教育大数据对教师专业发展的影响及两者之间的相关性，从而为教育大数据背景下的教师专业发展提供确实有效的指导与建议。

(二）基于社会网络分析的教育博客学习分析

社会网络分析可以对网络群体中的个体学习行为与学习行动者之间的关联和群体影响进行分析，通过相关的社会网络分析软件，利用距离、密度和中心度、社群图等概念对网络属性进行评价，是社会结构关系研究可视化的、说服力强的一种方法手段。教育大数据视野下，学习分析技术越来越被重视，社会网络分析作为一种学习分析方法，可以对网络学习的平台、课程管理平台、网络日志等记录的大量过程化数据进行深入挖掘，发现网络学习中学习者的学习中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

行为和社会交互特征，从而为网络学习提供决策引导和服务支持。

为了运用社会网络分析进行教育数据学习分析，我们选择一个浙江省中小学教师专业发展培训班作为样本数据，依托湖州师范学院精品课程《教育技术学基础》为网络平台，具体如图5所示。通过对培训教师在该课程网站上的教育博客群参与活动分析，选择培训班20名教师的教育博客交流情况，进行网络日志数据的收集。并规定博客的发帖、链接、回复和推荐都记为一次网络交流。

数据的处理分析主要采用社会网络分析软件UCINET6.0,数据挖掘以前，先根据教育博客上的网络曰志进行数据获取，然后对参与博客交流的教师进行T1-T20的编码，培训教师用TEC编码标示。关系矩阵的建立，具体如表4所示。

行列交叉单元格中的数据表示第i行的教师对第j列的教师进行教育博客互动的次数，0表示没有互动，每个教师相对于本人，博客互动都定为1。经过Netdraw导入关系矩阵，经过UCINET6.0教师教育博客互动交流社群图分析，具体如图6所示。

从社群图中可以看出，TEC在网络博客群中处于中心地位，而且没有孤立的点，这说明教师专业化^培训中培训教师处于主导地位，和受培训教师积极进行网络博客交流与互动，帮助受训教师解决问题；同时受训教师也积极相互进行合作交流，进行教育技术课程学习。

进一步通过networks-centrality-degree进行中心度分析，得到如表5所示。

从表5中可以看出，TEC的入度和出度都是最高的，这进一步说明了教师在培训中的地位，起到了协作、引导和帮助的作用；同时T15出度比较多，说明该教师在培训中能够通过积极发帖引导其他教师进行培训交流;T20的入度比较多，说明其他参与培训的老师比较喜欢和该教师进行互动交流，同时也表明该教师在教育博客中的声望较好，比较受广大培训教师的欢迎。

为进一步了解各培训教师在网络中的交互特征和作用，我们进一步通过networks-centrality-freemanbetweenness-nodebetweenness进行中间中心度中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

分析，得到表6所示。

从表6中可以发现TEC、T6和T1的中间中心度比较高，这说明教师和这两位培训学员在博客讨论区中扮演了领导者的角色，对教学培训资源具有一定的控制作用；同时这两位受训教师也起到了培训的桥梁沟通作用，对教师培训交流的信息起到了很好地沟通传递作用。

四、结语

大数据作为信息技术发展的新趋势，已经渗透到各种领域，成为变革的一种重要生成因素。在数据分析驱动教育，变革教学的大数据时代，教育领域同样蕴藏着具有广泛应用价值的海量数据。多元的教育“数据”已是教育行业及其相关领域必须考虑的因素。如何高效分析和挖掘这类数据信息已经成为提高教育质量，推动教育发展的新浪潮。大数据关键技术正是从技术层面实现了各种学习行为数据的量化与显现，使学习者的体验感受得以实现，通过记录、分类、挖掘和运用学生学习过程中产生的大量非结构化数据，能够揭示出学生的学习模式；通过监测、跟踪、分析和应用学生在整个学习过程中形成的数据档案，能够帮助理解学生为了掌握学习内容而进行学习的全过程。[23]

学习分析和数据挖掘这两大大数据关键技术已经成为教育研究的热点和趋势，通过数据挖掘可以对教育数据进行从微观到宏观的统计、分析、综合和推理，指导教育教学实际问题的解决,发现教育现象之间的相互关联和规则，从而可以更好地做出教育预测和实施教育决策;通过学习分析既能为学生提供高质量、个性化的学习体验，又能改进教育工作者的教学方式，完善和优化教学过程，真正使教学实践活动转向关注微观个体，实现真正意义上的个性化学习和教育个性化支持服务，从而有利于促进教育公平。

总之，学习分析和数据挖掘等大数据关键技术的教育应用实践，不仅探索了教育教学数据背后隐藏的相关关系，更为教育教学决策的科学制定提供了有效的服务支持，促进了教育教学的变革与创新，引领了教育教学发展的新方向。

【参考文献】中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

[1]周馨.大数据时代教育数据价值挖掘[J].信息与电脑(理论版)，2013,(8).[2][3][7][9]徐鹏,王以宁,刘艳华，张海.大数据视角分析学习变革--美

国《通过教育数据挖掘和学习分析促进教与学》报告解读及启示[J].远程教育杂志，2013，（6).[4]张杰夫.大数据-大视野-大教育[J].中小学信息技术教育，2013，（10).[5]维克托迈尔.舍恩伯格，肯尼思.库克耶著.盛杨燕,周涛译.大数据时代[M].杭州：浙江人民出版社，2013，（1).[6]魏忠.教育正悄悄发生一场革命[M].华东师范大学出版社，2014,(11).[8]马婧,韩锡斌，周潜,程建钢.基于学习分析的高校师生在线教学群体行为的实证研究[J].电化教育研究，2014，(2).[10]魏顺平.教育数据的挖掘、分析、应用[J].中小学信息技术教育，2013，（10).[11]杨庆安,赵伟男，张海.大数据在教育领域应用的学习分析框架构建[J].软件导刊.教育技术，2013，（5).[12]Bork,A.Learningwithpersonalcomputers[M].NewYork:Harper&Row，1987.[13]魏忠.教育正悄悄发生一场革命[M].上海：华东师范大学出版社，2014，（11).[14]喻长志.大数据时代教育的可能转向[J].江淮论坛，2013，（7).[15]张燕南，赵中建.大数据时代思维方式对教育的启示[J].教育发展研究，2013，(21):3-4.[16]魏忠.大数据时代的教育革命[EB/OL].[2014-07-29].http:〃中国论文榜--中国权威论文发表平台，我们为您提供专业的论文发表咨询和论文发表辅导！

篇3：大数据分析关键技术

可视分析是大数据分析的重要方法, 它作为科学与信息可视化的自然延伸, 将数据挖掘、计算机图形学与人机交互相结合。在大数据分析技术中, 显示了非常突出的优势, 非常有效地填补了计算机在自动化挖掘与分析方法中的缺点与不足。

1 大数据的定义与特征

大数据是指所涉及的数据规模巨大到无法通过目前主流的软件工具在合理时间内撷取、管理、处理、挖掘这些数据, 并整理成为企业经营决策有用的信息。

大数据的4V特征, 得到了业界的广泛认可。第一, 数量 (Volume) , 即数据巨大, 从TB级别跃升到PB级别;第二, 多样性 (Variety) , 即数据类型繁多, 不仅包括传统的格式化数据, 还包含来自互联网的大量视频、图片、位置和日志等;第三, 速度 (Velocity) , 即处理速度快;第四, 价值性 (Veracity) , 即追求高质量的数据。大数据具有4V特征, 给人们带来了新的机遇与挑战。

2 大数据可视分析的概念

大数据可视分析是一个跨学科领域, 在大数据自动分析挖掘方法的同时, 利用可视化界面和人机交互技术来辅助用户对大规模复杂数据集进行分析推理。非常有效的结合计算机的计算能力和人的认知能力, 获得大规模复杂数据的理解。

目前所面临的最大挑战是数据爆炸, 即所谓的大数据。大数据可视分析是建立在数据基础上的, 要想从海量数据中获取有用的知识, 还必须借助于近年取得进步的机器学习和数据挖掘的方法以及自然语言处理技术。同时, 用户界面对于大数据可视分析技术的成功应用起着关键作用。

3 大数据可视分析的意义

如何分析体量巨大、类型繁多、价值密度低、处理速度迅速的数据呢?最好需要具有像眼睛一样直接和反应灵敏的可视化条件。大数据可视分析技术的主要特点是:交互性、多维性和可视性。

大数据可视分析不一定是必需的, 但是可极大地提高效率, 有些领域的可视化是必不可少的。这些成功的可视化方法都非常简单易懂。可视分析是一种非常重要的大数据分析方法, 能非常有效地填补计算机自动挖掘与分析方法存在的缺点与不足。

4 大数据可视分析的关键技术

大数据可视分析技术涉及传统的科学可视分析和信息可视分析。大数据可视分析的关键技术包括:文本可视分析、网络可视分析、时空数据可视分析和多维数据可视分析。

(1) 文本可视分析。大数据时代, 文本信息海量化、多样化和即时化。文本数据是互联网和物联网产生的主要数据类型, 也是非结构化数据类型的典型代表。工作和生活中大多数的电子文档也都是以文本形式存在的。文本可视分析技术涉及文本数据挖掘, 计算机图形图像以及人机交互等方面的知识和技术, 是一个跨学科的领域。可帮助用户以可视分析的手段交互地分析海量的文本数据内容。文本可视分析的关键在于, 能将文本中隐含的价值直观地展示出来。如何帮助用户快速、准确、全面的找到所需要的文本信息成为文本可视分析需要研究的内容。

(2) 网络可视分析。传统的文字和表格形式已经无法满足日益庞大的网络数据分析和网络数据管理的需求, 网络可视分析技术是一种非常重要的数据可视技术, 充分利用人类感知系统, 帮助用户理解网络数据结构, 将网络数据以直观图形的方式展现出来, 并从中挖掘更深层的价值。

网络关联关系是大数据中最常见的关系。大规模网络都具有大量节点和边, 在大数据时代, 如何在有限的屏幕空间中进行可视展示, 将是今后大数据可视分析技术面临的难点和重点。大数据网络一般都具有动态演化特征, 所以对动态网络的特征进行可视分析, 也是非常重要的研究内容。

(3) 时空数据可视分析。时空数据就是带有位置标签和时间标签的数据。时空数据分析有区别于其它数据分析, 不同的时空数据具有不同的可视分析方法。时空数据可视分析与地理制图学结合, 对时间维度、空间维度和相关的对象属性建立可视化, 展示与时间、空间密切相关的模式和规律。时空数据的关系十分复杂, 并不是时间与空间的简单相加。现在的时空数据模型还不能非常好的解决时空数据在空间、非空间与时态上存在不确定性问题。大数据环境下, 时空数据的实时性、高维性也是时空数据可视分析的研究重点。

(4) 多维数据可视分析。多维数据是指具有多个维度属性的数据。在各研究领域, 三维以上的多维数据都广泛存在, 由于它超过了人类的空间想象能力, 人们发展了多种方法来可视化多维数据, 例如维度压缩的方法等。多维数据可视分析技术主要应用于大数据挖掘领域中作为表达工具, 让用户直观地理解数据。

近年来, 在大数据背景下, 基于几何图形的多维可视分析技术是主要的研究方向。数据规模增加为可视分析带来挑战, 高维所引起的问题也是研究的重点。

5 结语

无论是电子政务、钢铁行业、石油加工等传统行业, 或新兴的社会网络、大规模电子商务、智能交通、网络通信等, 无一不是大数据来源。因此, 展开大数据可视分析研究, 从大量低质量、低可靠性、碎片化数据中提取知识, 挖掘有价值商业信息, 对于促进经济建设和社会发展, 推动企业进步, 占领科研制高点, 都将产生深远影响。大数据可视分析的概念近几年才被提出, 有很多工作可以开展, 此领域的研究现状还需要梳理。

参考文献

[1]任磊, 杜一, 马帅, 等.大数据可视分析综述[J].软件学报, 2014, 25 (09) :1909-1936.

[2]程学旗, 靳小龙, 王元卓, 等.大数据系统和分析技术综述[J].软件学报, 2014, 25 (09) :1889-1908.

篇4：大截面导线关键施工技术分析

【关键词】大截面导线；施工技术；分析

1.前言

随着我国特高压电网的迅速发展，输电线路走廊日趋困难，因此，新建的输电线路不仅采用多回路共塔来增大输送能力，而且使用大截面导线增大输送容量。大截面导线不仅能节约线路走廊，还能够降低线损，改善电晕和电磁环境，降低工程造价和运行成本，提高能源的输送效率，符合建设资源节约型和环境友好型电网的要求。

我国前几年输电线路导线的最大截面是720 mm2，近几年先研制出900 mm2截面的导线，用于特高压±800kV锦苏线上，接着又研制出1250 mm2截面的导线，用于±800kV灵绍线上，导线型号为6×JL1/G2A-1250/100，我们公司施工的陕1标段2015年12月底已完成放线施工。

JL1/G2A-1250/100型大截面导线是四层铝股结构，导线外径47.85mm，我国在此之前的输电线路使用的导线外径都不大于40mm，所以，原来展放导线使用的1500mm导线轮径的大型张力机和800mm槽底直径的导线放线滑车都不适用，需要使用与1250 mm2大截面的导线配套的放线机具。国家电网公司组织中国电科院等单位通过研究试验，编制了《1250 mm2大截面的导线张力放线施工机具技术条件》用于指导线路架线施工。JL1/G2A-1250/100导线技术参数如下：

2. JL1/G2A-1250/100大截面导线张力放线机具

JL1/G2A-1250/100大截面导线张力放线机具选型前，先进行选型计算，根据计算结果初步选择张力机和牵引机的型号。在设计图纸到达后，进行施工现场调查，并划分张力架线区段，按架线区段进行放线施工的张力和牵引力计算，取其最大值，来校核张力机和牵引机初选的型号是否合适，如果不合适，还可根据自身机具状况进行适当调整，充分利用现有施工资源。

2.1张力机受力计算

2.1.1张力机的选型计算

根据计算结果，应使用导线轮槽底直径不小于1850 mm、单线额定张力不小于60kN的张力机。

我们公司购置2台SA-ZY-2×80型液压张力机，能同时展放2根导线，其主要技术参数：张力轮槽底直径≥φ1850mm，最大持续张力2×80kN，最大持续速度5km/h，能满足JL1/G2A-1250/100导线张力放线的技术要求。

2.1.2张力机的施工受力计算

张力机出口张力计算前，首先应在放线区段的各个档距中，确定控制档内的危险点作为控制点，控制点对导线放线弧垂的安全距离应符合规程要求，以此计算出控制点上方的导线弧垂，由它计算出控制档的水平张力，控制档的水平张力一般可作为张力机出口张力。

控制档的放线张力以下图1为例进行计算。图中的A塔到B塔是某放线区段的控制档，档内跨越的电线杆顶点N是控制档的控制点，导线对N点的安全距离是。

系数的取值与该线路沿线的地形、跨越物等环境情况有关，如果分别取0.2、0.25、0.30三种数值，则主牵引机的额定牵引力分别为180.9 kN、226.2 kN、271.4 kN。

（2）牵引机的卷筒槽底直径计算：牵引机的卷筒槽底直径不应小于牵引绳直径的25倍，若采用Φ30的牵引绳。

对一般地形条件，线路上导线悬挂点高差不大时，可近似地将当作牵引机牵引力，如果放线区段是高山大岭，导线悬挂点高差比较大，可选区段中最高点铁塔再计算一次牵引力，两者比较，取最大值为该区段的最大牵引力。

各放线区段中牵引力的最大值，必须小于牵引机的额定牵引力，用它来校核初选牵引机型号是否合适。如果不合适应作调整。

2.3 导线线盘

通常每盘导线长度2500米，JL1/G2A-1250/100导线的单位长度质量是4.252㎏/km，每盘导线的质量将近11吨。原来钢木结构的线盘已不适用，必须使用专为1250 mm2大截面导线设计的全钢组合式瓦楞结构线盘，该线盘放线过程中导线尾头不外窜，运输、装卸不易变形。

2.4导线放线滑车

根据DL/T371—2010《架空输电线路放线滑车》标准，按照1250mm2大截面导线放线工艺要求，要使用槽底直径1000mm，额定荷载120kN的导线放线滑车。

2.4 导线卡线器、笼套连接器

2.4.1导线卡线器：JL1/G2A-1250/100导线使用SKL100卡线器，额定载荷100kN，开口尺寸≥51mm，夹嘴长度300>L≤355mm。

2.4.2笼套连接器

牵引导线时使用SLW-120型网套连接器，额定荷载120 kN，张力场更换线盘时使用SLKX-80抗弯旋转连接器。

3 .JL1/G2A-1250/100大截面导线压接技术条件

±800kV灵绍线使用的JL1/G2A-1250/100大截面导线，其压接工艺与之前的导线不同。比如直线接续管的铝管压接采取顺压，耐张铝管压接采取倒压，如果采用原来压接工艺，会造成管口导线鼓包超标。

3.1液压机具

3.1.1液压机：根据压接管的外形尺寸，选择与之相匹配的液压机型号及钢模。本工程选用输出压力3000kN的液压机，接续管及耐张线夹均为圆形，压后为正六边型。

3.1.2钢模：配置相应钢模，压模为合金工具钢，淬火后表面硬度HRC不低于55，钢模使用前必须检查是否与导地线匹配，钢模对角线误差最大允许值为：+0.2mm、-0.05mm。

3.2导线压接管施工质量检查

各种液接管压接后，对边距尺寸S的最大允许值为：

S=0.86D（0.993D）+0.2mm，

式中：D —压接管外径，mm。

检查三个对边距，只允许有一个达到最大值，超过此规定就截断重压。压接管压接后对边距的最大允许值见下表。

4.结束语

篇5：大数据分析关键技术

建立统一的数据标准、实现对数据的质量控制与格式转换,是成功建立地理信息系统的关键.结合南京市规划局大比例尺矢量地形图数据建库项目,建立了基于操作的二维编码体系,探讨了矢量数据入库前的处理步骤,提出了AutoCAD数据向GIS空间数据的无缝转换方法,并对数据转换的`质量控制进行了深入研究.实例分析表明,该方法具有较强的实用性.

作者：汪洋李明峰王芙蓉 WANG Yang LI Ming-feng WANG Fu-rong 作者单位：汪洋,李明峰,WANG Yang,LI Ming-feng(南京工业大学,土木工程学院,江苏,南京,210009)

王芙蓉,WANG Fu-rong(南京市城市规划编制研究中心,江苏,南京,210029)

刊名：南京工业大学学报（自然科学版） ISTIC PKU英文刊名：JOURNAL OF NANJING UNIVERSITY OF TECHNOLOGY(NATURAL SCIENCE EDITION) 年，卷(期)： 29(5) 分类号：P208 关键词：AutoCAD ArcGIS 数据标准质量控制格式转换

篇6：大数据分析关键技术

“十一五”国家科技支撑计划重点项目

《大遗址保护关键技术研究与开发》

课题申请指南

国家文物局博物馆司二○○六年十月

“大遗址保护关键技术研究”

课题申请指南

大遗址保护关键技术研究与开发项目，针对大遗址保护中存在的管理技术落后问题，通过空间信息技术（包括遥感技术、全球定位技术、地理信息系统、虚拟现实技术等）在大遗址保护中的应用研究，制定现代勘察测量技术用于大遗址现状调查的技术标准，研究多源、多分辨率、多种格式海量空间、非空间数据传输与存储的关键技术，建设大遗址保护数据库和虚拟现实可视化系统，建立“大遗址保护地理信息系统”数据库和系统平台架构，及建设“大遗址保护规划辅助支持系统”；针对大遗址中土遗址存在的风化、酥解等问题，通过运用地质学、岩土学、环境学、材料学、建筑学、历史学等相关学科的理论与方法，对我国土遗址的类型及特征、建筑形制及布局、建造工艺及技术、赋存环境和病害类型及分布规律进行科学调查，根据土遗址病害的不同成因，筛选土遗址防风化加固的材料和关键技术，建立我国土遗址保护数据库，形成土遗址保护技术标准，建立我国土遗址保护国家文物局重点科研基地；针对我国壁画普遍存在的盐害问题，探索和试验运用壁画盐害分析检测技术，根据盐害壁画的发生和发展规律，形成盐害壁画的脱盐技术及有关技术标准，研发1—2系列的壁画脱盐吸附材料；针对大遗址的考古调查技术装备率低及现场文物保护的问题，通过现代调查工具的适用性研究，提高大遗址考古现场的信息提取技术，开展出土文物的应急处理技术研究，完成具备现场勘测、测绘、记录、环境快速分析、现场信息实时传输以及对出土脆弱文物的现场保护等功能的技术集成，制定文物出土现场的技术标准，完成移动实验室的设计，为制定考古发掘预案、应急突发事件的文物保护、环境恶劣地区以及条件落后博物馆的文物保护提供一个便捷快速的工具。

一、指南说明

本项目设置4个课题方向：

课题

一、空间信息技术在大遗址保护中的应用研究（以京杭大运河为例）

课题

二、土遗址保护关键技术研究课题

三、古代壁画脱盐关键技术研究课题

四、文物出土现场保护移动实验室研发项目实施年限：2006年6月～2008年12月。

二、课题内容

课题

一、空间信息技术在大遗址保护中的应用研究（以京杭大运河为例）

（一）主要研究内容

针对大遗址保护中存在的管理技术落后问题，通过空间信息技术（包括遥感技术、全球定位技术、地理信息系统、虚拟现实技术等）在大遗址保护中的应用研究，制定现代勘察测量技术用于大遗址现状调查的技术标准，研究多源、多分辨率、多种格式海量空间、非空间数据传输与存储的关键技术，建设大遗址保护数据库和虚拟现实可视化系统，建立“大遗址保护地理信息系统”数据库和系统平台架构，及建设“大遗址保护规划辅助支持系统”。

（二）主要考核指标

1、建立“大遗址保护空间信息技术应用”技术框架和标准体系；

2、开发“大遗址保护地理信息系统”和“大遗址保护规划辅助支持系统”软件产品；

3、研究并制定“大遗址保护空间信息技术应用”技术标准体系，主要包括大遗址地理特征分类编码、大遗址综合信息数据采集标准、大遗址保护元数据标准等；

4、设计并建设南水北调东线工程京杭大运河文物抢救保护辅助支持子系统。

（三）课题经费国拨经费1600万元。

（四）课题申请条件及要求课题申报单位应在过去5年内承担省部级以上（含）文化遗产保护领域相关研究项目（课题）的经历，在文化遗产保护领域和遥感领域具有5年以上研究与开发经验，具备课题研究所必需的硬件基础（包括：环境、设施、大型仪器等）。

课题

二、土遗址保护关键技术研究

（一）主要研究内容

针对大遗址中土遗址存在的风化、酥解等问题，系统研究我国干旱/潮湿地区土遗址的类型及典型病害特征、建筑形制及布局、建造工艺及技术、赋存环境和病害类型及分布规律，研究各种土遗址病害的不同成因，开展土遗址防风化加固的材料和关键技术研究，建立我国土遗址保护数据库的框架。

（二）主要考核指标