数据信号处理

数据信号处理（精选十篇）

数据信号处理篇1

一、多传感器信息融合分析

多传感器组网系统现在已经被广泛的应用到智能机器人、智能车辆系统、安全检测、医学成像与诊断等多个领域。系统在运行时会产生大量的数据信息, 并且数据在不断更新, 系统通信链路数据传输率要求十分高。并且各种平台上多类传感器会采集到大量的信息数据, 内容丰富多样, 彼此可以进行有效补充, 对于单一传感节点来说, 大部分数据准确度均在95%以内。对于传感器来说, 相互间信号数据类型差异较大, 结构不同、尺度不同, 并且具有各式矛盾、内容残缺、重复冗余等特点。想要从海量的数据信息中, 提取出有用、实时、精确的信息, 来对目标进行属性和特征的判定, 必须要对多种信号源数据进行信息融合, 是大数据背景下提高信号处理的关键途径。通过信息融合方法, 来对多样化信息进行协调使用, 对时空上互补与冗余的信息进行优化处理后, 准确判断检测对象属性与本质, 并可进一步提高整个系统性能[1]。常用的数据方法有非线性滤波法、卡尔波滤波法、模糊推理法、证据理论法等。

二、大数据背景下信号处理分析

2.1高速数字信号处理

传感器性能不断提升, 且应用环境复杂度更高, 要求数字信号处理系统必须要对性能进行更新, 在建立更高信号处理与I/O带宽基础上, 还要实现低功耗以及升级扩展快特点。在大数据背景下, 数据信号量持续增加, 高速数据传输与处理要面临更大的挑战, 其中高速模拟数字转换 (A/D) 技术与传感器性能的提升, 可以实现在更高频率提取来有效提取更宽频信号, 具有更高的分辨率, 对于信号处理来说, 需要有效处理更大带宽、更多通道和更高数据率的原始数据。以提高信号处理效率为目的, 需要进一步研究多核信号处理器与高速多处理器互联技术。

2.2高速数字信号处理芯片

2.2.1多核DSP芯片

(1) 片上多核结构DSP

片上多核技术即利用总线将多个DSP有效集成起来, 采用资源复制的方式, 来提高信号处理能力。现在TI, Freescale多款高端DSP芯片便是采用的此种结构形似, 例如TI的C665x、C667x系列等[2]。

(2) 可重构阵列结构DSP

可重构阵列结构DSP基于SIMD设计理念, 将输入长数据分解成多个短数据, 然后采用单指令来完成操作, 可以进一步提高处理数据密集运算的能力。例如TILE64处理器以及XETAL-II处理器。

(3) 流体系结构DSP

主要采用数据驱动机制, 架构主要包括指令存储器、路径网络、处理部件以及输出部件等几部分组成。此种结构在实际应用中, 可以实现高度并行操作, 并且可以与现代VLSI技术具有较高的适应度。

2.2.2高性能FPGA芯片

FPGA现在已经实现了成本、性能、功耗等多个方面的更新, 并且大幅度的提升了芯片并行处理能力, 对大数据背景下信号处理来说具有重要意义。因此基于90nm集成电路工艺, FPGA已经实现面向DSP应用优化高端FPGA平台的设计, 有效提高了DSP功能及其互联性能。

2.2.3专用ASIC芯片

ASIC集成电路具有一定的设计目的, 可以有效实现对特定高速信号的处理, 与常规集成电路相比, 芯片具有功耗低、体积小、性能高、可靠性高以及保密性强等特点, 且有效降低了生产成本。例如Hardcopy系列芯片, 集合了FPGA设计优势, 以及ASIC量产优势, 能够在更短的时间内实现已经通过FPGA向ASIC的转化, 并且在实际应用中所需功耗更低, 能够更好的满足信息处理需求。

三、结束语

大数据背景下, 信号处理将要面临更大的挑战, 想要有效处理海量数据, 需要重点研究并实现信息融合, 对复杂多源的信息进行有效处理, 并利用智能传感网技术, 搭配高速信号处理技术, 应用高速信号处理芯片, 来提高信号处理质量和效率。

摘要：就发展现状来看, 高维信号、宽带信号、高分辨信号等技术不断更新, 促使信号处理进入到大数据时代, 信号采集数据增长率已经远远超高数据存储增率和信号处理速度增长率, 逐渐暴露出各种问题。面对此种情况, 必须要采取有效的措施, 应用专业技术, 来提高信号处理效果。本文对大数据背景下信号处理要点进行了简要分析。

关键词：大数据,信号处理,信息融合

参考文献

[1]谢维信, 陈曾平, 裴继红, 黄建军, 冯纪强.大数据背景下的信号处理[J].中国科学:信息科学, 2013, 12:1525-1546.

数据库数据处理故事多篇2

这两天别人总在问我，你们基础出了什么问题，为什么总在导数据。数据没问题，为了做足准备，我们需要将8期版的最全的数据整理到10期数据库中。

背景介绍：问题在于从8期版基础系统到10期版基础系统在数据库设计方面有了很大的变化，例如10期学生表中存放着班级外键，而8期表中是用第三张表来维护关系的。10期的‘上课班’ 中需要课程和老师的关系，而再8期表中需要多个表才能将其关联起来。 20来张表，各种外键关联，最多的一个表存50多万条数据，怎么做，怎么做快是摆在我们面前一个迫切需要解决的问题。

故事一：

由于8期表间都是通过第三张表联系起来的。而像1：n的关系10期表基本都是外键之间关联的。

例如，我想在10期表添加学生信息(包括学号，姓名，班级外键等)。我需要先从8期学生表中导出学生信息(不含班级外键)再从班级和学生的第三张表中导出学生和班级的关系，然后一一对比将两个表整合到一张表上去。

这样做是我们最初最天然的想法，当然效率低而且人工核对出错率极高。于是我们改用PlanB。在数据库中建立学生和第三张表的视图，然后将视图导出到excel。

故事二：

建立视图的时候，我们又遇到另一个问题。将两个表联合起来，发现学生总共为22052行，而视图总数为22191 行。如果数据没问题的话，这是不应该出现的。因为按道理来说，学生和班级两个表的n:1关系，而且表数据无冗余。应该无论做链接还是右链接数据都是一样的。

于是我们用了一个查询语句 select ClassID from BasicClassEntities where ClassID not in(select ClassID from BasicStudentEntities)先原谅我用了这样一条效率低的查询语句。我们查出来有正好139个班级里面没有学生。后来再研究发现原来这里面有100多虚拟行政班( 是为考试留的)，也真的有三个班是由于人为失误没有加上关联，

利用表和表之间的关系查询，是真的可以检查错误的，此处就不一一列举了。

故事三：

我想到了之前的一道面试题。于是自己建表实践了一下。如题是：A表有5条数据，B表有8条数据。如果两个表有3条公共数据，那么分别用交叉连接，左右连接能得到多少条数据。vcD4KPHA+yrXR6dK7o7rI5828PC9wPgo8cD5zdHVkZW50ILHtwO+1xMr9vt2hoyAgICAgICAgICAgICAgICAgCiAgICAgICB0ZWFjaGVyse3A77XEyv2+3TwvcD4KCjxwPjxpbWcgc3JjPQ==”www.2cto.com/uploadfile/Collfiles/0601/2015060110063584.png“ width=”260“ height=”132“ alt=”">

通过学生表和教师表分别进行右左连接，如图所示。

实验二：如图在此基础上，将3条公共数据改为不是一一对应，现在是有两个ID一样都和学生同一ID一致。

显示结果如下。

看!显示内容如下

故事四：

第一次将整理好的数据excel 复制到数据库中的时候，我们采取的方法是将excel字段和数据库字段设置成一致的然后之间 ctrl+c 再ctrl +v 。结果2万多学生需要10多分钟才能导入进去。于是我们利用数据库自带的导入excel功能，发现即便是50万数据也能瞬间搞定。只是导入后会新生成这样一个表。

然后从表数据到另一个表上使用语句 insert into BasicStudentEntities select * from BasicStudentEntities$ 也是秒秒钟的事。

财务数据发出警示信号篇3

对投资者来说，财务报表是其了解上市公司的指南针。透过财报了解上市公司的盈利状况、偿债能力、成长能力、资本结构和现金流等情况，是投资者选择投资标的、做出投资决策的重要环节。然而，近日，商务部研究院信用评级与认证中心发布的《中国非金融类上市公司财务安全评估报告》（以下简称《报告》）预测，2016年，中国非金融类上市公司财务安全总指数（FSI）将10年来首次跌破5000点，且下降速度达到近5年最大。

上市公司财务安全10年最差

报告显示，有807家上市公司出现财务风险或重大财务风险，有964家上市公司存在不同程度的财务报表粉饰嫌疑，有414家上市公司同时存在财务风险和财务报表粉饰嫌疑，财务安全达到优秀的上市公司比例不足5%。

该《报告》还指出：从2007年到2016年FSI总指数呈现先升后降态势，2011年达到最高值；2012年开始，连续5年持续下降；2016年预计为4970.82点，较上年度下降335个基点，降幅为6.31%。值得注意的是，自2012年以来，该指数年同比涨跌幅分别为-3.49%、0.67%、-3.19%和-6.31%。

“我们认为，今年企业财务状况是2007年以来最差的一年，降幅也达到近五年来最大。”商务部研究院人士介绍。

分市场看，三大市场FSI指数均出现集体下滑。根据预测，2016年，FSI主板指数为4857.97，较去年下降4.43%；中小板指数为5301.36，较去年下降6.96%；创业板指数为4778.17，较去年下降10.77%。

创业板投资趋势“负”

同时，《报告》强调，尽管FSI中小板指数在三个板块中表现最好，但自2012年至2016年，其已经累计下降13.78%，今年6.96%的下滑速度更是较大，“持续快速的下降说明中小板企业财务安全状况仍在恶化”。

在对创业板FSI指数的分析中，《报告》认为，2012年至2014年，创业板上市公司的总体财务安全状况波动趋势在三个板块中最为明显。近两年，创业板上市公司的财务安全状况不断迅速恶化，2016年降幅明显大于主板和中小板。无论从指数绝对值，还是降幅，均劣于主板和中小板，且与中小板存在较大差距。

鉴于此，在投资价值上，《报告》给出的建议为：2016年市场总体投融资风险偏大，主板相对稳定，中小板投资价值正在降低、融资风险上升，创业板整体财务安全状况大幅下滑，投融资趋势为负面。

根据《报告》，2016年，在25个一类行业中，仅有通信、国防军工、食品饮料3个行业总体财务安全状况上升，其余行业均出现不同程度下降，下降行业占比88%。这一下降比例为近5年最高。

从统计结果看，采掘业财务安全状况下降最快，降幅达到25%。房地产行业整体安全性在25个行业中表现最差，行业FSI指数值为1885.5，同比下降271点，降幅为12.60%。这一得分也是该行业近五年最低分。

对此，《报告》解释，2016年，各类宽松政策利好的密集推行营造出房地产市场良好的发展环境，但行业分化格局在继续加深，行业整体仍面临盈利能力下滑的挑战。房地产行业上市公司是所有行业中财务安全两极分化最严重的行业，少数优秀房地产公司财务安全状况平稳有升，但大多数中小房地产公司财务安全逐年下降，财务风险极大。

Wind数据显示，2013年、2014年、2015年房地产行业的主营业务利润率分别为26%、25%和23%。房地产行业的主营业务利润率在所有一类行业处于中等水平，

但在风险预测上，《报告》仍较为悲观：2016年，房地产行业投融资趋势为负面。在分支行业中，园区开发行业和房地产开发行业的投融资趋势为负面。

优秀公司不足5%

在对上市公司进行评估后，上述《报告》还划分出中国上市公司财务安全等级，并根据等级评分列出中国上市公司财务安全排行榜。

其中，最优秀上市公司（AAA级）有7家，占比0.27%，包括沃华医药、恩华药业、克明面业、中天科技、桃李面包、爱尔眼科、鼎龙股份；较优秀上市公司（AA级以上）114家，占比4.45%。

在财务安全100强公司中，化工行业占据数量最多，达到17家，但仅有鼎龙股份一家财务安全得分在90分以上（91分）；医药生物行业在100强榜单中占据16席，100强公司拥有量排名第二。且2016年财务安全评级得分最高的前两家企业沃华医药、恩华药业均属于此；有色金属有6家公司进入财务安全百强名单，位列第三。其他上榜数量较多的行业还包括：轻工制造和食品饮料行业，均有6家公司。

另外，家用电器、国防军工、采掘、建筑装饰和房地产五个行业没有企业挤进百强榜单。

在该排行榜中，已出现财务风险或重大财务风险的上市公司（CCC级以下）比例为31.53%，总数为807家，比2015年增加179家。在财务安全最差100家上市公司中，万方发展、东华实业、南国置业等房地产行业企业数量最多，达到36家；雪人股份、蓝英装备、太原重工等机械设备行业有10家公司，永安林业、天山生物、福建金森等农林牧渔业有7家公司。同时，还有88家公司财务安全得分在0分及以下，存在较为重大的财务安全隐患。这之中，*ST川化、凯瑞德、*ST舜船分别得分-32、-32、-33，位列倒数三位。

需要强调的是，该《报告》特别指出，有964家上市公司存在不同程度的财务报表粉饰嫌疑，占全部样本上市公司的37.66%。从行业情况看，在131家房地产上市公司中，有78家存在不同程度的财务报表粉饰嫌疑，行业占比59.54%；在43家综合行业上市公司中，有24家存在不同程度的财务报表粉饰嫌疑，行业占比55.81%；在86家商业贸易行业上市公司中，有45家存在不同程度的财务报表粉饰嫌疑，占比52.33%。除此之外，存在财务报表粉饰嫌疑、同时又存在财务风险的上市公司数量达到414家，占所有存在财务风险上市公司总数的42.95%。

对上市公司财务安全等级大幅变化，《报告》亦做了分析预警。2016年，非金融上市公司中财务安全等级大幅上升的共计208家，占比近8%。其中，机械设备行业有21家上市公司，占比19%，排名第一；化工行业有18家上市公司，占比16%，排名第二；房地产行业有17家上市公司，占比16%排名第三。非金融上市公司中财务安全等级大幅下降的共计374家，占比近15%。机械设备行业上市公司财务安全状况大幅下降达到48家，行业占比24%，排名第一；医药生物行业财务安全状况大幅下降公司为38家，行业占比21%，排名第二；化工行业财务安全状况大幅下降公司为35家，行业占比20%。

“当上市公司财务安全等级、得分大幅变化时，说明该公司在一个经营周期出现了财务和经营的巨大变动，并揭示了该公司未来一个经营年度的经营趋势。”业内人士分析。

海洋地质数据库数据处理流程篇4

海洋地质数据库是国家级基础数据库[1], 其建立的最终目的是实现数据的共享与重利用, 为推动我国海洋地质事业的发展而服务。从上世纪80年代, 我国关于海洋地质数据库的建设进入起步阶段。近10余年, 随着国家专项的支持, 海洋地质数据库建设进入快速发展阶段。其中数据库标准规范、元数据标准建设、数据库模式设计、服务系统设计与实现等方面已取得一定的成果, 但是海洋地质数据库数据处理这一基础环节, 工作繁杂、琐碎, 鲜有人问津。本文结合实际工作经验, 介绍海洋地质数据库数据处理过程, 以期望对相关工作人员有一定的参考价值。

海洋地质数据库数据处理主要是指充分利用各数据处理软件、数据库技术进行数据处理和管理, 完成我国海域海洋地质的调查数据、分析数据、成果报告、成果图件以及元数据的整理、编辑、存储。数据处理过程主要分为四部分:一是根据项目需求, 进行数据收集;二是对这些数据进行分组;三是对数据进行分类加工, 主要包括属性数据、空间数据、元数据的加工处理;四是必须严格遵守质量控制体系, 进行数据质量检查。

1 海洋地质数据库的数据实体

海洋地质数据主要包括调查数据、分析数据、成果报告、成果图件和元数据等, 如图1所示。

调查数据是指外业获取的原始调查数据;分析数据是指外业调查数据经室内分析获取的原始分析数据;成果报告为处理原始数据生成的综合研究文字报告和报告附图及报告附表;成果图件是经过专业软件处理得到最终成果图。

其中, 调查数据中的地质取样数据包括表层取样、柱状取样、水体取样、大气取样数据;地质钻探包括地质浅钻 (钻孔) 、钻井、录井、测井数据;地球物理分为:单波束测深、多波束测深、侧扫声纳、浅地层剖面、单道地震、多道地震、重力、磁力等数据;岸滩地质调查是指岸滩地质踏勘、岸滩剖面监测、岸滩地质取样等;沉积动力测量数据包括走航海流、定点海流、温盐深、浊度、现场粒度、悬浮体取样的数据。

地质和钻孔、录井样品分析数据包括岩性描述与送样、粒度分析、碎屑矿物鉴定、粘土矿物分析、全岩矿物分析等;资料解析是指重力、磁力资料处理结果解释、浅地层剖面、侧扫声纳剖面、地震剖面、测井等的解释数据。

文字报告、报告附图和附表是每个年度调查数据、分析数据和成果图件等在处理数据前后及过程中编织的报告、附图和附表, 是项目进行中年度成果的体现之一。

成果图件是海洋地质数据库的重要数据之一, 它直观地展示出海洋地质数据, 主要包括:沉积类型图[2]、地形图、地貌图、断面图、构造图、地质类型图、沉积厚度图、水文地质图、重力异常图、磁力异常图、天然气水合物资源系列图、古环境图、灾害系列图、沉积成因图、盆地分布图、矿产资源系列图、油气资源系列图、环境系列图、卫星遥感合成图、海岸带变化图等。

2 海洋地质数据库的数据处理

本文主要针对从数据收集到数据入库这之间的过程展开介绍。数据处理过程是指各种数据的处理和加工, 需要熟练掌握数据库技术、Arc GIS技术和各类处理软件的综合应用。常用的软件除了oracle和Arc GIS外, 还有excel、access、Map Info、PRJMDPPSEC.exe (平面绘制软件) 、Map GIS、Photoshop等。海洋地质数据库的数据处理过程如图2所示。

2.1 资料收集与分组

海洋地质数据库的数据按照不同的实体类型展开数据的收集并以数据集为单位进行分组。依据调查类型, 分配数据集名称及编号, 以数据集为单位进行数据的整理。将原始数据分解成以数据集为单元的子包, 每年度的每一类调查为一个数据集, 每一类分析为一个数据集, 每个年度成果报告为一个数据集, 每一幅成果图件为一个数据集。

2.1.1 调查与分析数据集内容

调查与分析数据集是调查与分析原始数据的分类集合, 应收集资料如下:

(1) 野外调查或样品实验分析过程中产出的原始报表及文档资料, 如原始记录、施工报告、资料处理报告、样品鉴定报告、实验分析报告等;

(2) 调查数据集的站位、测线或覆盖区的空间信息数据表;

(3) 调查或分析原始记录数据表;

(4) 多波束、侧扫声纳、浅地层剖面、海流等原始数字记录大对象如果不提交, 应在数据表中说明数字记录介质的现存馆所及索引信息。

2.1.2 成果图件数据集内容

成果图件数据集是专题研究的成果图件, 应收集资料如下:

(1) 成果图件的位图;

(2) 矢量格式的图件提交成果图件的矢量图, 格式为Arc GIS格式的规范化分类矢量图数据;

(3) 成果图件说明书文档。

2.1.3 成果报告数据集内容

成果报告数据集是项目的综合评价成果报告, 应收集资料为:成果报告文档, 要求word格式, 可以是多个word文档的组合。

2.2 分类加工

整理后数据集主要包括的内容有:excel表 (.xls) 、access库 (.mdb) 、元数据文件 (.xml) 、空间数据 (.shp图) 、图像文件 (.jpg) 等。从数据实体类型上看, 海洋地质数据库的数据类型基本分为三大类:属性数据、空间数据和元数据。一般地, 属性数据以excel表和access库来存储;空间数据以.shp图的形式存储, 其中站位信息和成果图件都属于空间数据;元数据以.xml文件为载体进行存储和发布。

2.2.1 属性数据的获取和加工

属性数据的数据格式通常为.xls/xls, 或.mdb, 其获取方式主要通过三个途径:直接收集获得 (原始资料中已存在) ;依据纸质资料按格式要求填写完成 (纸质资料生成电子资料) ;通过批量处理得到 (仅提取所需资料并直接生成属性数据表) 。

部分调查数据是船载仪器自动生成的数据, 例如原始导航数据, 其数据量庞大, 但只需要提取经纬度、时间、水深等信息并结合部分处理数据, 形成完全符合数据库要求的数据形式。因此通过数据的批量读取能够高效地完成数据加工, 其流程图如图3。

2.2.2 空间数据的处理加工

空间数据[3]是指点、线、面、体等图形数据和对应的属性数据的统称。空间数据入库时格式为.shp, 对于有站位信息的数据 (如走航测线、站位信息、覆盖区等) , 因不存在.shp文件, 需创建空间数据文件;对于成果图件, 如不符合入库标准, 需进行格式转换、数据分层、图面检查编辑、属性赋值、MXD编辑等处理。

2.2.2. 1 站位信息的处理加工

点、线、区的shp图创建在实际应用中存在多种方法, 下面只分别介绍其中一种。

(1) 点空间数据的过程:

1) 将excel文件 (.xls) 中的经度列、纬度列 (以度分秒表示) 转换成十进制度表示形式 (此过程可以通过批量处理来实现) ;

2) 打开window菜单下的Arc Toolbox, 点击Data management Tools→Layer and Table Views, 双击Make XY Event Layer, 选择坐标文件, X、Y Field, 并赋予空间参考系;

3) 在新生成的图层上右击, 选data→expot data, 导出成.shp文件。

(2) 线空间数据的过程:

1) 将走航测线的数据存储在.txt文件下, 利用项目组开发的小软件“平剖面绘制 (PRJMDPPSEC.exe) ”进行检查和画线, 生成“航迹线”, 最后“DXF输出”;

2) 如无错误, 则打开Map Info工具/通用转换器, 将.dxf文件转换成.tab, 然后继续用通用转换器将.tab转换成.shp;

3) 将转换后.shp文件加载到Arc Map中, 补充测线的属性信息。

(3) 区 (面) 空间数据的过程:

1) 在将区空间数据中边角的经纬度填写在.txt文件中, 按a, b, c......代表序号, 格式为如图4所示。

2) 打开Arc Map工具箱, 通过samples→data management→create feature from text file命令来创建新区图层;

3) 导出.shp文件的区空间数据。

2.2.2. 2 成果图件的处理加工

收集的成果图件格式为.wt/.wl/.wp、.mif、.jpg等, 矢量要素存在拓扑问题, 由于数据入库有一定差距, 因此需对图件进行加工处理, 统一为.shp格式的图件。

依据《海洋地质数据库空间数据结构》、《中国地质调查局数据库建设技术标准》、《海洋区域地质调查数据库数据处理与质量控制规程》等相关标准和规程, 制定合理的处理方案后对成果图件进行一系列处理, 其处理流程图如图5所示。

(1) 格式转换。

海洋地质数据库需要的空间数据格式为Arc GIS的.shp文件, 针对不同格式数据制定不同的转换方式。

1) 对于Map Info格式的原始图件, 在Map Info中定义投影、坐标系, 通过通用转换器, 将.mif数据转换为Arc GIS的.shp文件;

2) 对于.jpg格式的原始图件, 先在Catalog建立新的点线面图层.shp, 然后在Arc Map中定义投影、坐标系并进行配准, 其次对点线面要素进行绘制;

3) 对于Map GIS格式数据, 先转换为Map Info数据, 之后转换为.shp文件。

(2) 要素分层整理。

对于Map GIS、Map Info格式的图件直接转换得到的.shp格式图件, 图件已经分层, 只是分层与数据标准中的要素分层规定不尽一致, 因此分别提取各类型要素, 调整要素所在图层, 确保各要素对应的图层文件的正确性。

(3) 图面检查编辑。

此环节是在Catalog中根据相应的拓扑规则对图面的线数据进行拓扑检查, 保证线数据不存在悬挂、未封闭、重叠等情况。在图面检查修改完成后, 对图形中的面域填充做拓扑重建, 建立图形的拓扑关系, 通过拓扑错误检查无误后, 使其符合入库标准。

(4) 属性赋值。

对不同专题的数据图层, 依据《海洋地质数据库数据模型》的要求, 建立不同的数据属性结构并依次对要素赋属性, 同时需注意数据集编号依据空间数据结构中的编码规则编写。采集属性数据, 根据上述规范, 对所有图件进行属性赋值操作。

(5) MXD编辑。

由于转换格式而来的.shp文件并未保存原图形的符号、样式, 因此, 需要对转换后的.shp格式矢量文件进行图形图式还原。主要是对所有图幅要素的区、线、点、注记进行符号、颜色、大小等样式的定义。以海洋地质数据库空间数据标准中对图元显示规定的属性结构, 作为图件图式还原选取属性结构的依据。数据标准中未有规定的要素, 用Arc GIS符号库中的符号还原图形。

2.3 元数据的处理过程

元数据 (Metadata) 是描述数据的数据[4], 用于描述海洋地质信息的内容、结构、项目信息和访问方式等, 在一定程度上能够消除数据资源之间的语义独立性和异构性。元数据的处理流程图如图6所示。

首先制作元数据信息采集表;依据收集的内容, 利用“元数据编辑器”, 参照元数据编写要求, 编写相关元数据信息, 并输出.xml文件。除建立.xml文件外, 还要补充建立相应的内容解释文件 (.html) 、位置图片文件或仪器设备照片 (.gif或.jpg) 。其中, 图片加工可以利用Photoshop对图片进行处理, 调节图像大小适合显示或添加文字等。

3 数据质量控制

质量检查方式包括自查[5]、互查、核查和审查, 自查与互查是作业组内部的全面检查;核查是作业组负责人对作业组数据产品的全面检查;审查是项目组质检负责人对核查后数据产品的抽样检查。每级检查发现的问题要求进行全面修改, 并经复检后方可提交下一级检查。质量检查可以通过机助或人工判别方法进行, 其中基于拓扑规则的拓扑检查和导入地图模板的图形显示检查是最直观的质量检查手段。

质量控制以数据质量元素基本单元来实现数据的检查。数据质量元素包括数据完整性、逻辑一致性、定位准确性及专题正确性。数据完整性指数据包、数据集、数据实体和数据属性的存在或缺失程度;逻辑一致性指与数据结构及定义的符合程度;定位准确性指野外定位数据的准确程度;专题正确性指数据内容在专业领域的合理程度。表1显示了海洋地质数据库数据质量检查项和检查方法。

4 结论

本文的主旨是介绍海洋地质数据库数据处理过程, 主要内容如下: (1) 指出了海洋地质数据库的数据实体, 主要分为5大类:元数据、调查数据、分析数据、成果报告、成果图件。 (2) 给出了海洋地质数据库数据处理的详细过程, 主要分为4大过程:数据收集、数据分组、数据分类加工、数据质量检查;并展示了属性数据、空间数据、元数据的处理加工过程。 (3) 质量控制对数据的完整性、可靠性及可重利用性起着举足轻重的作用, 论文展示了海洋地质数据库数据质量控制的方式和质量元数据的检查项、检查内容及方法。

摘要：本文的主要内容是介绍海洋地质数据库数据处理过程, 其目的是对数据库建设的基础环节有更一步的认识, 以期对相关工作人员有一定的参考意义。文章先介绍海洋地质数据库的数据实体;然后通过数据分组和分类加工、属性数据的批处理、空间数据处理和元数据处理等方面详细阐述了数据处理过程;最后指出数据质量控制是数据处理过程中的重要环节, 是数据完整性、可靠性和可重复利用的根本保障。

关键词：海洋地质数据库,数据处理,空间数据,成果图件,数据质量控制

参考文献

[1]苏国辉, 魏合龙, 戴勤奋, 等.海洋地质数据库建设现状及经验[J].海洋地质前沿, 2012, 28 (12) :10-16.

[2]魏合龙, 戴勤奋, 林峰, 等.区域海洋地质数据库建设纲要[J].海洋地质与第四地质, 2004, 24 (1) :139-142.

[3]罗云启, 曾琨, 罗毅, 等.数字化地理信息系统建设与MapInfo高级应用[M].北京:清华大学出版社, 2003:132-140.

[4]Martin Fowler.Using Metadata[J].IEEES of software, 2002, 19 (6) :13-17.

mtt数据处理篇5

一、目的与要求

1、学习急性毒性试验的方法，掌握LD50的测定方法。

2、观察马钱子的毒性反应。

二、实验原理

急性毒性试验是指受试动物在一次大剂量给药后所产生的毒性反应和死亡情况。药物毒性的大小，常用动物的致死量来表示，因为动物生与死的生理指标较其他指标明显、客观、容易掌握。致死量的测定也较准确。在测定致死量的同时，还应仔细观察动物是否出现耸毛、倦卧、耳壳苍白或充血、突眼、步履蹒跚、肌肉瘫痪、呼吸困难、昏迷、惊厥、大小便失禁等不良反应。

致死量的测定常以半数致死量为标准。半数致死量是指能够引起试验动物一半死亡的剂量，妈药物致死量对数值，用符号LD50表示。由于LD50的测定较简便、可靠，而且稳定，现已成为标志动物急性中毒程度的重要常数。LD50测定的方法有多种，如Bliss法、改进寇氏法、简化机率单位法、累积插值法、机率单位-加权直线加归法等等。以上方法虽各有特点，但都有共同的要求：

（1）动物：均选用体重17～22克健康小鼠（同次试验体重相差不得超过4克），或选用体重120～150克（同次试验体重相差不得超过10克）健康大鼠作实验动物。性别相同或雌雄各半。

（2）给药途径：要求采用两种给药途径，其中必须有一种与临床所采用的相同。溶于水的药物沿须测定静脉注射的LD50。值得提出的是，临床上虽然不用腹腔注射，但动物实验因腹腔注射给药方便，吸收迅速，颇为常用。若供试药物在腹腔内不引起强烈刺激或局部变化（如纤维性病变等），那么啮齿类动物腹腔注射的LD50，参数很接近于静脉给药的LD50。口服制剂无法通过注射给药途径时，可只用胃肠给药。

(3)试验周期和观察指标：给药后至少观察7天。观察期间应逐日记录动物的毒性反应情况和死亡动物的分布。

（4）正式试验前，均须先用少量动物进行预试试验，大致测出受试药物引起0%和100%死亡率的致死量范围，然后安排正式试验。正式试验组数不得少于三个剂量组，一般选用4～5个剂量组，每组动物数为10～20只。

（5）报告LD50时需注明实验动物的种属及品系、性别、体重范围、给药途径及每个剂量组动物数等，还需注明受试药物的配制方法、给药剂量、各组剂量间的比值（一般以0.65～0.85为宜）、给药容积、观察时间及计算方法。还须标出LD50的95%可信限。

三、实验材料和试剂

动物：小鼠药品：马钱子水煎液

器材：注射器、灌胃针头、鼠笼

四、操作方法

1、预试实验：预试实验目的是为了找出引起动物0%（Dn）和100%（Dm）死亡的剂量，以便安排正式实验。预试实验一般采用少量动物（6～9只小鼠）进行，将动物随机分为3组，组间剂量比值一般以1：0.5或1：0.7为宜。灌服或腹腔注射量以0.2ml/10g体重为度。预试实验应进行到找出Dn和Dm后方可安排正式实验。

2、正式实验：在预试实验测得Dn和Dm的剂量范围内设4～6个剂量组，最多10组。最理想的结果是使LD50的上下各有2～3组。组数愈少，准确性愈差。各剂量组的动物要求相等，至少10只动物（分组时应注意分层随机均匀化的原则）。本实验要求最大反应率为100%，最小反应率为0%，或至少反应率接近100%或0%。组间剂量比值（1：K），常用1：0.8或1：0.75。如实验中出现相邻剂量有重复的100%和0%反应率时，应将靠边的组弃去不计，使大剂量组只有一个100%的反应率，小剂量组也只有一个0%的反应率。

分组完毕和各组剂量算出后，分组灌服或注射不同剂量的受试药物。为能得到理想的结果，实验最好从中间剂量开始，以便从最初几个剂量组动物接受药物后的反应来判断两端剂量是否合适，便于调整剂量和组数。为了提高实验的精确度和节省药物，受试药物可按“低比稀释法”配置。即使每只动物的用药体积相等（0.2ml/10g），而溶质不等。给药后逐日观察并记录中毒反应、死亡率和死亡情况。

五、实验结果记录与计算

马钱子水煎液对小鼠死亡率的影响

组别

剂量g/kg(d)2 3 4

Logd(X)

死亡数死亡率（P）

P-P2

公式1:（logLD50）X50=Xm-i(ΣP-0.5)

则LD50=log-1 X50

公式2：Sx50=i*(pp2)/(n1)公式3：LD50的95%可信限=lg-1（X50±1.96S X50）LD50的平均可信限= LD50±（LD50高限-LD50低限）/2 Xm：最大剂量组剂量的对数值

图形、数学与数据处理篇6

一、以图形信息为载体的应用问题

【背景材料】由函数作出其图象可直观反映数据变化规律，这是数学中的基本问题，从已知图形分析建立数学模型所需的信息是逆向问题，这是数形结合思想的两个方面。对图形的认识和理解是数学的基本能力。新课标强调用数学知识解决生活中的问题，对学生而言，一节课的听课效果隐藏着什么样的科学规律？

【命题分析】推而广之，我们还可探索如何根据生物钟规律合理安排自己的学习生活。

【例1】某校学生社团心理学研究小组在对学生上课注意力集中情况的调查研究中，发现注意力指数p与听课时间t（分钟）之间的关系满足如图所示的曲线.当t∈（0，14]时，曲线是二次函数图象的一部分，当t∈[14，40]时，曲线是函数y=loga（x-5）+83（a>0且a≠1）图象的一部分.根据专家研究，当注意力指数p大于80时听课效果最佳.

（1）试求p=f（t）的函数关系式；

（2）老师在什么时段内安排核心内容能使得学生听课效果最佳？请说明理由.

（2）t∈（0，14]时由-14（t-12）2+82≥80得t∈[12-22，14].t∈[14，40]时由log13（t-5）+83≥80得5 点拨类似问题考查”待定系数法”与解不等式的知识，与2012江苏高考17题对照，会提升我们对图形背景问题的领悟，拓宽分析和解决问题的思路。

二、以数表信息为载体的应用问题

【背景材料】苏格兰杂货商人格兰特于1662年对伦敦的死亡记录进行整理和分析写成了《关于死亡公报的自然和政治观察》一书，揭示了人类一切疾病和事故在全部死亡原因中占有稳定的百分比。

【命题分析】人类的婚姻、死亡、犯罪等诸多方面存在数学常数，这是统计学的重大成就之一，由此推动了统计学的诞生与发展。而今数据统计与处理的应用已经渗透到社会、科学、生活的各个方面，了解管理决策与数学科学密切相关，有助于我们成长为一个有素质的公民。

【例2】某县中规定家到学校的路程在10里以内的学生可以走读，因交通便利，所以走读生人数很多.该校学生会先后5次对走读生的午休情况作了统计，得到如下资料：

①若把家到学校的距离分为五个区间：[0，2），[2，4），[4，6），[6，8），[8，10]，则调查数据表明午休的走读生分布在各个区间内的频率相对稳定，得到了如右图所示的频率分布直方图；②走读生是否午休与下午开始上课的时间有着密切的关系. 下表是根据5次调查数据得到的下午开始上课时间与平均每天午休的走读生人数的统计表.

（1）若随机调查一位午休的走读生，其家到学校的路程（单位：里）在[2，6）内的概率是多少？（2）如果把下午开始上课时间1：30作为横坐标0，然后上课时间每推迟10分钟，横坐标x增加1，并以平均每天午休人数作为纵坐标y，试根据表中的数据求平均每天午休人数与上课时间x之间最佳拟合关系（线性回归方程）；（3）当下午上课时间推迟到2：20时，预测家距学校路程在6里以上的走读生中约有多少人午休？

（3）下午上课时间推迟到2：20时，x=5，=890，890×（0.05+0.025）×2=133.5，

故家距学校的路程在6里路以上的走读生约有134人.

点拨本题来源于我们最熟悉的生活背景，着重考查阅读理解与数据处理能力，考查精确计算与估算，解答过程对分析能力的要求逐步提高。

三、拓展应用

【背景材料】随着生活水平的提高，私家车大量增加引发的交通事故也每日发生。

【命题分析】数学知识为交通事故的侦查取证提供怎样的帮助呢？

【例3】一次交通事故只能确认肇事逃逸的是本市出租车，该市有红色出租车和蓝色出租车两家公司，蓝色出租车公司和红色出租车公司分别占整个城市出租车的85%和15%。据现场目击证人说，该出租车是红色，警察对证人的辨别能力作了测试，测得他辨认的正确率为80%，警察认为红色出租车具有较大的肇事嫌疑，请问这对红色出租车公平吗？说明理由.

从表中可以看出，证人说出租车是红色且它确实是红色的概率为120290≈0.41，是蓝色的概率为170290≈0.59. 由此以证人的证词作为推断的依据对红色出租车显然是不公平的.

点拨如何对繁乱的数据科学化处理需要较强的数学应用能力，教材涉及的表格化处理是基本方法之一，在函数与曲线、概率与统计等内容中多有体现，其优点是便于发现相关数据的内在规律。

牛刀小试

1. 甲、乙两人对某县的养鸡场连续六年的规模进行调查，得到如下两个不同的信息图：

A图表明该县从第1年平均每个养鸡场出产1万只鸡，第6年平均每个养鸡场出产2万只鸡；B图表明该县由第1年养鸡场个数30个减少到第6年的10个.据此解答：

（1）第二年养鸡场的个数及全县出产鸡的总只数各是多少？

（2）哪一年的规模最大？

2. 某校从高一年级期末考试的学生中抽出60名统计了他们的物理成绩（成绩均为整数且满分为100分），把其中不低于50分的分成五段[50，60），[60，70）…[90，100]后画出如下部分频率分布直方图.观察图形的信息，解答下列问题：

（1）求物理成绩低于50分的学生人数；

（2）估计这次考试物理学科及格率（60分及以上为及格）；

（3）从不及格的学生中任选两人，求他们成绩至少有一个不低于50分的概率.

雷达信号数据处理模块设计与仿真篇7

关键词：雷达信号,处理系统,模块

0 引言

现阶段的部分雷达相应数字信号处理机的实际特点为输入数据相对比较多, 具有工作形式复杂与信息处理规模较大等缺点。然而传统形式的雷达信号数据处理系统对应的设计思想是以任务为基础的, 根据架构将其对应的模块进行相应的电路设计, 这类方法存在着一定程度的限制性。伴随着大规模形式集成化电路电子技术、快速串行数据处理与各种形式先进算法的高速发展, 使用快速DSP与FPGA技术相结合的系统架构体系是能够充分解决以上各种实际问题的有效方式。

1 雷达信号数据处理模块设计方案

雷达信号数据处理系统的各种具体功能模块, 除了包括数据信号处理所需要的脉冲信号压缩模块、数据信息重排模块、有限长单位冲激响应滤波器组模块、求模模块、恒虚警处理模块与显示数据信息存储模块以外, 还应当包含雷达同步信号与内部处理同步产生模块、自检数据产生模块与各种不同测试点测试数据信号采样存储模块。系统重要的实际功能模块需要的具体功能分别有以下几个方面。

(1) 正交采样属于数据信号处理开始的第一步, 其具体任务是负责为后续处理过程提供高质量形式的数据信息, 中频接收机相应的输出信号首先经过模数转换器实现采样目的, 然后实现正交解调过程, 以便可以得到中频信号相应的基带信号中包含的I与Q两路形式的正交数据信号, 采样相对应的速度与精度作为必须考虑的重要问题, 数据采样系统产生的失真现象应当被限制在后续数据信号处理任务中所要求的具体误差范围以内。

(2) 脉冲信号压缩模块是作用于发射峰值功率处在受限状况时, 应用匹配滤波器把接收到的相应宽脉冲信号变为窄脉冲, 同时能够维持能量不变的条件, 以便可以得到更高精度的距离分辨力与探测距离。

(3) MTD模块经过各种功能的滤波器, 可以过滤出具有杂波而取出相应运动目标的回波信号, 进而在很大程度上改善了处于杂波背景下检测相应运动目标的实际能力, 同时能够提升雷达实际的抗干扰能力。

(4) 应用恒虚警模块可以根据实际观测目标相应的背景杂波大小状况, 实现自适应控制门限替换固定门限的目的, 以避免杂波干扰出现增大情况时相应的虚警概率出现过高的现象, 进而能够确保当杂波功率或者其它参数出现改变时, 信号数据输出端相应的虚警概率能够维持恒定的状态。

2 系统的硬件设计

雷达信号数据处理模块相应的硬件结构模型如图1所示, 重要的硬件资源主要有1块由Xilinx公司生产的Virtex-4系列相应型号为XC4VSX55的处理芯片, 这一系列的元器件能够充分整合达到20万个具体的逻辑单元, 相应的系统时钟能够达到500MHz, 而且具有高密度与低功耗的实际使用特点;1块由TI公司生产相应型号为TMS320C6416的处理芯片, 对应的系统时钟能够达到600MHz~1GHz, 其实际的运算处理速度能够达到4800MIPS, 操作用户能够依据操作速度的实际需要, 合适地选取各种不同的工作主频;12块由ADI公司生产的相应型号为AD9765的数模转换器。这数据信号处理的具体实现流程大概分成三个阶段, (1) 预处理环节, 根据雷达数据信号接收机接收到的相应信号通过放大器, 进行滤波处理之后经过模数转换器实行采样功能; (2) 数据信号处理环节, 具体的信号处理系统依据实际工作方式, 能够完成相参积累、MTD检测与CFAR等各种实际的操作目的。 (3) 执行处理相应完成结果之后的汇总、噪声分析统计与各种形式抗干扰等有关方面的实际处理, 该过程的实质主要是通过DSP芯片组实现处理功能, 而且能够达到转存结果与显示的目的。相应的通信接口使用RS-232形式的串行数据接口连接器相对应的9针式DB9, 在实际使用过程中仅仅使用了其中的RXD、TXD与信号地这三条通信线路。 (4) 因为RS-232形式的串行数据接口连接器有相应的电气标准规定, 所以在相对应的电路实际连接过程时, 应当运用专门形式的具体电平转换芯片。

3 系统的软件设计

3.1 FPGA内部功能的模块设计

FPGA内部功能的相应模块设计是整个信号处理系统的关键所在, 重要的实际功能是雷达回波数据信号的相应处理与DSP数据接口以及其它形式的对外数据接口有关的逻辑设计。雷达回波数据信号的处理在信号处理系统中处于核心位置, 应当包含数字正交解调、脉冲压缩处理、MTD与恒虚警处理等各种相对应处理算法的硬件具体化实现。动态目标检测是使用了八点形式的FFT处理来实现, 恒虚警使用了两边距离单元相对应的平均算法, 其相应的保护单元为二, 平均单元是八。通过进行FFT处理之后八个通道进行取模与恒虚警门限处理的仿真波形, 相应的恒虚警系数是1, 可如图2所示。

3.2 DSP具体控制程序设计

DSP在整个信号处理系统中发挥着调控的功能作用, DSP和FPGA相互之间经过EMIF连接可以有效地实现相应的数据交换功能。系统相应的DSP软件设计应当包含数据接收程序与串口程序两个主要部分。数据接收程序可以实现从FPGA中读取相应的目标处理结果功能, 实现数据接收功能, 而后存储在对应的RAM内部当中。串口程序在执行完处理功能后将数据信号传送到数据信号处理系统中执行相应的发送任务。

4 结束语

雷达信号数据处理对于雷达系统来说属于一个非常重要的构成部分, 现阶段雷达技术的实际发展愈来愈需要依赖于数据信号处理。本文以FPGA可编程系统为基础, 对雷达的信号数据处理模块硬件和软件进行设计, 从而达到具备设计灵活、集成度高、功耗低、开发期限短与价格成本低的实质性目的, 能够实现一个具有通用形式的雷达信号数据处理系统。

参考文献

[1]孟庆海, 张洲.VHDL基础及经典实例开发[M].西安:西安交通大学出版社, 2008.

[2]吴顺军, 梅晓春.雷达信号处理和数据处理技术[M].北京:电子工业出版社, 2008.

数据信号处理篇8

安装在飞机或台架上的航空发动机, 是一个无限多自由度的振动系统, 发动机的整机振动就是这一系统在各种激振里作用下的响应[1]。整机振动是影响发动机寿命和飞行安全的决定性因素[2], 对发动机整机振动进行监控, 可以为发动机正常且安全使用提供有力保障。

通常对振动信号处理的方法有:时域分析法、频域分析法及时频分析法。时域分析是采用相关分析法和特征值分析法, 根据信号随时间变化的波形来分析信号, 从而得出信号的特征量和组成。频域分析法是采用频谱分析法和倒谱分析法, 将信号从时域转换到频域, 分析频谱的组成, 得到信号的本质特性, 频域分析法虽能反映信号的本质, 但不能体现出信号频率局部瞬间的变化, 具有局限性。时频分析法通过短时傅里叶变换、小波变换等方法, 是针对非线性非平稳信号提出的处理方法。

傅里叶变换是时域转换到频域的基本工具, 是目前频谱分析的主要方法, 而快速傅里叶变换 (FFT) 则是巧妙利用W因子的周期性和对称性推导得到的一个高效的离散傅里叶变换的快速算法[3], 在振动信号处理中被普遍使用。本文对振动信号从时域转换到频域使用的FFT运算, 给出了该运算所需的数据量和时间估计方法, 对系统使用的运算量进行了精确估计, 为选择处理器或者硬件设计提供了依据。

2 振动信号的快速傅里叶变换原理

有限长离散信号x (n) (n=1, 2, …, N-1) 的离散傅里叶变换定义为:

可以看出, 离散傅里叶变换需要计算大约N2次乘法和N2次加法。利用的WN对称性和周期性, 将点离散傅里叶变换分解为两个N/2点离散傅里叶变换, 总的计算量只是原来的一半, 即 (N/2) 2+ (N/2) 2=N2/2, 这样可以继续分解下去, 将N/2再分解为N/4点的离散傅里叶变换等。对于N=2m (n为自然数) 点的离散傅里叶变换都可以分解为2点的离散傅里叶变换, 这样计算量可以减少为N/210g2N次乘法和次加法。

将x (n) 分解为偶数和奇数的两个序列之和, 即x (n) -x1 (n) +x2 (n) 。x1 (n) 和x2 (n) 的长度都是N/2, x1 (n) 是偶数序列, x2 (n) 是奇数序列, 则

其中X1 (k) 和X2 (k) 分别为x1 (n) 和x2 (n) 的N/2点的离散傅里叶变换。由于X1 (k) 和X2 (k) 均以N/2为周期, 且，所以X (k) 又可被表示为:

上式的运算可以用图1 表示, 根据其形状称之为蝶形运算。依次类推, 经过m-1 次分解, 最后N将点离散傅里叶变换分解为N/2 个两点的离散傅里叶变换。

快速傅里叶变换的原理就是通过许多小的更加容易进行的变换去实现大规模的变换, 降低了运算要求, 提高了运算速度。

3振动信号处理的软硬件实现

3.1硬件结构

本系统的硬件平台主要由Power PC处理器、DSP处理器、FPGA, 以及相关的外围电路组成, 系统原理参见图2。

本系统完成的主要功能是, FPGA控制AD转换器对振动信号进行采集, 数据在其内RAM中缓存后被发送至DSP, DSP对振动信号进行傅里叶变换处理, 获取频域信息, 并对信号特征 (加速度、速度及位移) 进行提取, 之后将振动信号的频谱数据和信号特征送给FGPA, FPGA通过双口RAM再将相关数据实时传送给上位机, 供用户使用。

3.2 信号处理流程

本系统中的DSP软件完成的功能如下:

a.从FPGA的FIFO中获取振动信号数据, 存储在片外RAM中;

b.产生傅里叶变换所需要的系数, 存储在内存中;

c. 从片外RAM中提取16384 个数据, 进行快速傅里叶变换;

d.将快速傅里叶变换的结果, 通过DPRAM传送出去。

振动信号处理流程参见图3。

4信号处理中的运算量分析

4.1理论运算量分析

根据图3 的处理流程可知, 第2、3 和4 个步骤构成单路数据快速傅里叶变换。根据流程分析, 可从Cache使能的影响、傅里叶变换所需执行时间、读写片外SRAM需要的时间及结果位翻转的时间等几个方面, 对所需要理论时间进行估计。

4.1.1 Cache使能的影响

DSP6713 内部有两级的程序和数据存储器, L1P为一级高速程序缓冲存储器、L1D为一级高速数据缓冲存储器。L2 为二级存储器, 二级的程序和数据存储器可共用。

对于数据的访问策略:

当CPU访问的数据未命中时, L1D会将请求的数据替换一个新的行, 若L1D未命中但命中了L2 SRAM或L2, 高速缓存器会给CPU带来4 个周期的延迟 (假设没有其他的L2 访问延迟L1D的数据访问) ;若L1D未命中并且没有命中L2 时, 会从外部存储器中读取数据, 一旦这些数据读回, 它将被存储在L2 中并传输到L1D, 外部访问未命中带来的不利因素根据外存宽度的不同和其他系统负载的不同而不同。

对于程序的访问策略:

命中L1P的程序取指, 在一个周期内完成, 不会给CPU带来延迟。在没有其他存储器操作对L2 访问产生延迟的情况下, 不管相关代码是否并行, L1P未命中而L2 命中会给CPU带来5个周期延迟。在L1P和L2 都未命中的情况下, 产生的延迟会持续到L2 从外部存储器读回程序并传送到L1P。产生的延迟依赖于外部程序存储器的不同和系统负载的不同而不同。

Cache使能的状态下, 当CPU发出访存请求后, 存储器地址先被送到Cache控制器以确定所需数据是否已在Cache中, 若命中则直接对Cache进行访问。

本课题Cache设置为:

*CCFG=0x07;

*MAR0=0x01;

CCFG被配置为0x07, 即使能64K大小的L2Cache, MAR0被配置成0x1, 即相应的存储器范围可Cache。

4.1.2 傅里叶变换所需执行时间

快速傅里叶变换所需的时间为复数乘法和复数加法所耗费时间之和, 根据第二章的分析可知, 对于N个点的傅里叶变换所需的复数乘法数为 (N/2) log2N, 复数加法数为Nlog2N。

对于N=16384, 傅里叶变换完全在内存中进行, 根据计算可知, 需要复数乘法运算114688 次, 复数加法运算229376 次。

在《DSP算法与体系结构实现技术》书中提到, 为实现流水线的正常工作, 乘法累加运算往往需要在一个时钟周期内完成, 一次复数乘法需要4 次乘累加, 故针对N为16384 个点的傅里叶变换, 所需要的时间T的计算公式如下:

T=乘累加次数*执行时间=Mc*4*1fs (7)

式中:Mc为复数乘法数, fs为采样频率。

由公式 (7) 可得到, 若内存足够大, 16384 个点的傅里叶变换需要耗时2.29376ms。

4.1.3 读写片外SRAM需要的时间

对于DSP6713, 片外SRAM的访问, 是通过外部的存储器接口 (EMIF) 完成, 因此EMIF的速率决定了, 片外SRAM的访问速率。因此, 首先要配置锁相环PLL, 来产生供EMIF使用的时钟;其次, 配置EMIF, 设定读写SRAM的时间;最后根据程序的调用, 计算读写SRAM的时间。

a.设置PLL控制器

本课题PLL设置为:

st_Pll.pllm=0xa;

st_Pll.plldiv0=0x8001;

st_Pll.plldiv3=0x8003;

st_Pll.pllcsr=0x0;

系统输入频率为40MHz, 通过PLL设置后, 产生过程如下:首先, 经过D0 分频器, 分频系数为2, 分成20MHz;其次, 经过PLLM倍频器, 倍频系数为0xa, 倍频为200MHz;最后, 经过D3分频器, 分频系数为4, 分成50MHz, 供EMIF使用。

b.配置EMIF

在本课题中, EMIF的配置如下:

* (int*) EMIF_GCTL=0x00003078;

* (int*) EMIF_CE0=0x0081C521;

* (int*) EMIF_CE1=0x1151c511;

* (int*) EMIF_CE2=0x10914611;

* (int*) EMIF_CE3=0x10914521;

* (int *) EMIF_SDRAMCTL = 0x5748F000;

* (int*) EMIF_SDRAMTIMING=0x005DC5DC;

* (int*) EMIF_SDRAMEXT=0x0017DF3F;

根据以上的配置可得到:写建立宽度为1 个时钟周期;片外SRAM为32 位宽的异步接口;选择32 位宽的异步接口;读选通宽度为5 个时钟周期;最小转换时间为3 个时钟周期;读建立宽度为1 个时钟周期;写保持宽度为0 个时钟周期;写选通宽度为2 个时钟周期;写建立宽度为0 个时钟周期。

c.计算读写SRAM的时间

如图4 所示, 调用DSPF_sp_cfftr2_dit函数执行快速傅里叶变换过程需执行循环14 次, 将16384*2 个点原始点 (实部为原始点, 虚部为0) 和对应的系数16384*2 (复数) , 送入DSPF_sp_cfftr2_dit函数进行运算, 并将计算的结果16384*2 (实部+ 虚部) 存入片外SRAM中。读选通需要5 个EMIF时钟, 写选通需要2 个EMIF时钟, 因此需要时间如下:

原始点读入时间:

16384*2*14*5/50MHz=45.8752m s

旋转因子读入时间:

16384*2*14*5/50MHz=45.8752m s

FFT结果读出时间:

16384*2*14*2/50MHz = 18.3501m s

4.1.4 结果位翻转需要的时间

图5 为位翻转函数, 在整个快速傅里叶变换过程中, 需要包含两次位翻转:

a.在产生了系数之后, 按照蝶形运算, 需要将系数进行位翻转;

b.在调用库函数, 完成FFT变换之后, 需要将逆序的结果变为正序。

本函数需要循环16384 次, 读选通需要5 个EMIF时钟, 写选通需要2 个EMIF时钟, 系数位翻转及FFT结果位翻转均需要从外部将16384*2 (包括实部和虚部) 个系数或结果, 从外部SRAM中搬移到Cache及内存中处理, 处理完成后再写入外部SRAM中, 因此需要的时间如下:

系数位翻转时间:

16384*2*5/50MHz+16384*2*2/50MHz=4.5875m s

结果位翻转时间:

16384*2*5/50MHz+16384*2*2/50MHz=4.5875m s

4.15计算过程

FFT运算需要时间= FFT理论执行时间+ 原始点读入时间+ 旋转因子读入时间+ FFT结果读出时间+ 系数位翻转时间+结果位翻转时间= 2.29376 + 45.8752 + 45.8752 + 18.3501 + 4.5875 + 4.5875= 121.5693ms

4.2 实际运算量分析

按照图3 的方法设计软件代码, 在图2 的硬件环境中运行, 使用示波器测量, 可得到:单路数据进行快速傅里叶变换, 包括调用库函数, 系数产生及翻转, 总共需要128ms, 基本与估计值一致。

5 结论

本文所描述的振动信号处理过程的数据量估计方法, 基本可估计出整个过程中, 数据量和资源的使用情况, 可作为选择处理器或者硬件设计的基础。

除此之外, 若想将运算速度提高, 可从以下几个方面着手改进:

1.从软件角度, 将EMIF的速度从50MHz提升到100MHz, 可以提高约50%的速度;

2.可以将变换系数在初始化阶段生成, 并作为固定数据表格放入内存中, 约占128KB, 使用时, 查表获取即可。

3.可以采用速度更高或内存更大的DSP作为CPU, 进行大数据量的FFT变换的处理器。

摘要：采用硬件板卡在对振动信号进行实时处理时, 需要对信号处理过程的运算量进行估计, 进而作为选择处理器和相关硬件配置的依据。本文从Cache使能、傅里叶变换、位翻转和读写片外SRAM等四个方面, 精确估计了一种振动信号进行FFT运算时的数据量和时间。该方法的估计结果与实测数据一致, 可作为相关算法运算量估计的参考。

关键词：振动信号,数据量估计,快速傅里叶变换

参考文献

[1]《航空发动机设计手册》编委会.转子动力学及整机振动[K].北京:航空工业出版社, 2000.

[2]李宝凤, 王德友.某型航空发动机300h持久试车中的整机振动分析[J].航空发动机, 2004.19-21.

[3]Cooley J W, Tukey J W.An Algorithm for the Machine Calculation of Complex Fourier Series[J].Mathematics of Computation, 1956, 19 (90) :297-301.

数据挖掘中数据预处理的分析篇9

1数据预处理的应用

数据预处理是指在主要的处理以前对数据进行的一些处理, 能够按照用户实际操作的标准进行数据调控。对大部分地球物理面积性观测数据在进行转换或增强处理之前, 首先将不规则分布的测网经过插值转换为规则网的处理, 以利于计算机的运算。另外, 对于一些剖面测量数据, 如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等, 这些都是数据预处理的表现。

2 实施预处理的功能价值

随着计算机网络技术的普及推广, 数据库在企业办公自动化中发挥了重要作用。但是, 受到网络办公技术条件的限制, 数据库内许多潜在的隐性资源没有被挖掘利用, 限制了数据资源利用价值的提升。数据挖掘技术是数据库管理操作的常用手段, 其能够对隐性数据资源实施必要的挖掘处理, 从而提炼出潜在的有价值信息。因面对的挖掘对象十分复杂, 涉及到企业各种信息资源, 必须要在数据挖掘前进行预处理操作。预处理可以简化数据挖掘的流程步骤, 将先进的数据处理方法应用于数据资源调配, 推动了数据资源的功能价值的发挥。

3 数据挖掘中数据预处理的常用方法

为了提高数据挖掘的质量产生了数据预处理技术, 这是一种十分实用且有效的数据操作方法。数据预处理有多种方法:数据清理、数据集成、数据变换、数据归约等。这些数据处理技术在数据挖掘之前使用, 大大提高了数据挖掘模式的质量, 降低实际挖掘所需要的时间。

3.1 数据清理

并非所有的数据信息都是有价值的, 若这些无价值信息带入到数据挖掘流程里, 将会增加用户处理数据时的操作难度。预处理中对数据事先进行清理, 可降低挖掘处理的难度。如:办公人员初步检查数据库, 把一些垃圾信息清理干净, 减小了数据挖掘的运行荷载。提高了挖掘的效率。

3.2 数据集成

根据数据挖掘制定的对象与目标, 预处理中应对部分数据进行集成处理, 如图2, 通过缩小数据处理范围而提高资源的利用率。如:针对公司业务数据的挖掘, 办公人员可先收集相关的业务数据, 如:客户信息、市场价格、营销预测等, 把这些信息集中起来, 为数据挖掘提供了详细的操作范围。

3.3 数据变换

计算机语言与自然语言在组合方式上存在明显的差异, 预处理中要将两种语言进行必要地转换, 使信息转换流程变得更加顺利。一般情况下, 办公人员可通过数据转换软件操作, 让数字、文字、图像、声音、视频等数据灵活地运转。遇到高难度的数据资源应先分析数据规律, 再实施必要的处理决策。

3.4 数据归约

大型企业数据库要进行归约处理, 结合办公使用要求重新筛选数据。为了提高数据挖掘的质量, 必要时应丢弃部分处理完的数据。结束预处理操作应进行有效存储, 通常将预处理结果存储起来以备用。办公人员在数据归约时要重新检查是否有错误, 以免错误数据误导了办公操作。

4 结论

总之, 数据预处理是数据挖掘的必经步骤, 可以在操作前期对数据事先处理, 简化数据结构及资源内容而降低了后续操作的难度。企业办公人员要参照数据处理流程, 详细地规划预处理操作的步骤, 保证数据挖掘实现其处理目标。

参考文献

[1]周爱武, 肖云, 封军.Web日志挖掘数据预处理优化[J].计算机技术与发展, 2011.

[2]许艳丹.Web日志挖掘数据预处理中的会话识别技术[J].中国西部科技, 2011.

[3]陈艺卓.Web日志挖掘中数据预处理的研究[J].信息与电脑 (理论版) , 2011.

[4]何波, 涂飞, 程勇军.Web日志挖掘数据预处理研究[J].微电子学与计算机, 2011.

[5]康耀龙.Web日志挖掘中数据预处理的研究[J].科技信息, 2010.

SHP数据与EDB数据的转换处理篇10

数据标准化处理是测绘信息化建设的基础性工作，为切实提升信息服务质量，满足日益增长的城乡规划、建设、管理等领域的信息需求，我队在清华山维EPS2008地理信息工作站上开发了多尺度地形图自动缩编系统，并通过ArcSDE空间数据引擎实现数据动态更新。现有1∶2000地形图为2008年全市航摄获取，并建立了基于ArcGIS平台下的数据管理系统，由于此系统并未实现缩编和更新功能，而目前1∶500地形图数据是基于EPS平台生产和管理的，因此，如需实现1∶500到1∶2000地形图的自动缩编及1∶2000地形图数据动态更新管理，迫切需要建立一套多尺度地形图统一的数据管理平台。

在建立1∶2000新数据库的同时，需要按照一定的对照关系和数据处理原则将原有ArcGIS数据库内的图形数据和属性信息无损地转换到EPS数据库中，最后实现动态入库及持续更新。参照新制定的《增城市地理空间数据入库标准》，完成编写EPS编绘模块中的代码及符号，本文就基于ArcGIS的SHP数据与EPS的EDB数据之间的转换方法和处理方式进行了探讨。

1 数据的转换流程

原ArcGIS数据已完成了入库前的初步检查，基本做到了层码标准合法性，点线矛盾，线面边界一致性，接边整理统一性等检查。但也存在部分空间要素与属性关联不一致，各类注记不够规范，空间对象缺乏整体性，对象间的拓扑关系错乱等现象。因此，原数据库导出SHP格式的图幅数据在转换EPS平台的EDB数据后，需要做进一步的处理和检查，再利用空间数据引擎ArcSDE，重入Oracle数据库。根据现有数据的特点分析结合新数据入库需求确定一套数据处理的技术流程，如图1所示。

2 数据转换基本要求

按照数据标准以及EPS系统的要求，根据其要素代码及实体类型，表达方式需要进行转换，图形要素也需要做相应的编辑整理，确保入库数据检查前各要素编码正确，各类文字注记正确，分类分层无误，具体分为以下几类。

2.1 数据转换要求

地物符号映射表及转换程序的编写要严格按照数据标准要求来写，充分结合原有数据和转换后数据的结构特点、绘图方式和检查入库要求来考虑。数据转换后所有地物的编码确保为正确的6位码，图中存在有其它的如编码为0的点、编码为1的线、编码为2的面，或其它编码位数大于或小于6位的地物都为不合法的数据。

2.2 点状要素处理

主要指控制点和高程点的处理。EPS提供了脚本将控制点注记、高程注记与控制点、高程点链接成为一个整体对象。在数据转换进入EPS系统时已经自动进行了脚本匹配，但也有个别注记缺失或者距离太远导致未能匹配成功，此时需要人工干预处理，使之形成一个整体。

2.3 线状要素处理

对于有特殊符号表示的线状要素，需要对其进行整理、合并、调整编辑，以保持其一致性与完整性。在EPS系统中，需要将一根电力线对象完整表示，因此需要对现有线状数据进行合并以及节点的调整，还有符号的显示设置等。对于带方向的线型要素，例如铁路、陡坎等，要注意保持其方向的一致性。

2.4 面状要素处理

在EPS系统中表现为面状元素。通过对面状要素的整理、合并、调整编辑，以保持地物对象的一致性与完整性。

2.5 属性处理

控制点、高程点的属性可通过注记转入，大部分已通过脚本转入，个别点还需检查。房屋属性是挂在房屋面上的，需要先生成房屋面，再通过“提取房屋属性”脚本将楼层、结构信息写入房屋面属性。

2.6 注记处理

将道路名、水系名、地名等散列注记要素合并为一个整体。在转成EPS格式过程中，绝大部分散列注记已经合并，还需要对个别合并出错或未能合并的注记要素人工操作处理进行合并。有方向的文字注记转换时一定要读取角度值及注记中心坐标位置，以免错位。原数据字体或字大分类不正确，以致于对照转换时的注记字体错误，只能通过人工逐个纠正，如水系、山名、单位名。位于图幅边界处有多个结构注记的房屋，应保留所有的结构注记，并将其中一个结构注记分类设为“298100”，其余的设为“298200”，满足出图需要。对于跨图幅的水塘等其它地物，同样需要保留相应的注记。

2.7 接边处理

对于图幅之间的接边处理，应遵循对象的一致性与完整性原则，保持线状要素、面状要素、注记要素等的完整性和一致性。

3 数据转换关键技术

3.1 数据转换

编写EPS平台下的VBScript脚本二次开发语言调入原有ArcGIS导出SHP数据，通过编码符号映射模板，尽量做到数据转换的完整性和逻辑一致性。EPS地形要素分类代码由六位数字码组成，地形要素分类共为九大类。对照表采取关系数据表多对一的方式实现，如图2所示。

3.2 数据处理

转换后的EDB数据，通过VBScript脚本语言做数据批处理，如重复对象处理、单点变两点处理、删除多余数据、结点取舍处理、删除面内点等。

(1)重复对象。处理原数据本身重复的对象以及转换、接边处理过程中作业员误操作引起的重复对象。

(2)单点变两点。处理的对象为把原SHP数据的点状地物加角度值转换为EPS平台下的线状地物，如水流方向、不依比例的涵洞、对称门墩等。

(3)删除多余数据。删除EPS平台中不需要入库的原SHP数据，如图廓数据。

(4)结点取舍。主要用于程序自动取舍小距离棚房短线，取舍图幅接边处及铁塔内、建筑物内的电线杆符号。

(5)删除面内点。由于EPS平台下的部分闭合的面状地物会自动生成内部填充符号，构成一个整体，因此需要把转换后的面内原有点状地物删除，处理对象主要有烟囱、水塔、露天设备、亭子、庙宇、植被等地物。主要代码如下: