数据质量评价指标和评价方法浅析

随着信息技术和网络应用的不断发展,信息资源的不断积累,数据质量问题日益突出,而数据质量的优劣直接决定着决策的成败,为衡量数据质量好坏需构建数据质量评价指标体系,并采取合适的评价方法与策略来确定数据质量。本文阐述了数据质量内涵,从定量和定性角度给出了数据质量评价指标,并分析探讨几种评价方法。     

加权数据融合算法及其应用举例

建立了一种基于格罗贝斯(Grubbs)准则和聚类分析的加权数据融合算法，即先用格罗贝斯准则剔除所测数据中的疏失误差数据，再用聚类分析的方法对剔除疏失误差数据后的测量数据进行聚类，并由此确定各类别的权数(加权因子)，最后利用所得权数进行加权融合得出被测对象的融合估计值。实验证明，该算法简单有效，且适合计算机编程。     

同类多传感器自适应加权估计的数据级融合算法研究

针对同类多传感器测量中含有的噪声,提出了多传感器数据自适应加权融合估计算法,该算法不要求知道传感器测量数据的任何先验知识,依据估计的各传感器的方差的变化,及时调整参与融合的各传感器的权系数,使融合系统的均方误差始终最小,并在理论上证明了该估计算法的线性无偏最小方差性.仿真结果表明了本算法的有效性,其融合结果在精度、容错性方面均优于传统的平均值估计算法.     

一种局部属性加权朴素贝叶斯分类算法

朴素贝叶斯模型具有的简单性和有效性,使其在诸多问题领域表现出优良的性能,但其属性条件独立性假设在实际应用中难以成立.而属性加权是降低属性条件独立性假设对分类器性能影响的主要途径.传统建立在整个数据集上的单一全局模型忽略了每个测试实例所具有的特点,同时从整个训练集上学习到的属性权重并不能准确反映每个属性对待分类实例的影响.为此提出一种基于数据驱动的懒惰式局部属性加权方法,它在每个测试实例的近邻集合上学习属性权重,并通过最优化方法建立相应的局部属性加权朴素贝叶斯模型.实验结果表明:和当前常见的准朴素贝叶斯模型相比,本文模型具有较高的分类准确率.     

基于整体加权的多源数据融合研究

针对无线传感器网络中数据融合问题,分析了基于融合算法下数据压缩和节能的关系,在归纳和研究现行的融合算法后,对独立于应用的数据融合,提出了先单个传感器加权再整体加全权的融合算法,通过两次加权,使算法性能达到最优。通过软件层面设置加权参数实现数据压缩和传输,有效地提高决策准确性和节约能量。同时,根据无线传感器的数据冗余方式,结合路由传输机制,可以实现在传输层的数据整合,减少数据无效发送,延长无线传感器网络的周期。     

课堂教学质量评价数据缺失的修复

课堂教学评估是当前各高校教学质量监督的主要手段之一,科学、客观、公正地评价教师的教学质量对于提高教师教学积极性,对促进教学质量的提高,确保教学目标的实现具有积极的推动作用。本文利用统计学上缺失数据的插补方法对课堂教学质量评价缺失数据进行修复,以期促进课堂教学质量评价的公平性,更好的发挥其在教学质量监督和管理中的积极意义。     

多传感器多组加权融合算法研究

将多传感器对某一状态的测量结果分组，针对每组测量变量的算术平均值，依据极大似然原理，提出了多传感器分组加权融合算法。通过对各组传感器测量值的方差进行估计，从而对每组传感器测量平均值的权值进行合理的分配，解决了在传感器和环境干扰未知情况下，加权融合算法中权系数如何确定的问题。     

对称加权算法对数据矩阵补全的优化研究

数据分析中存在数据集矩阵缺失,可用数据矩阵补全缺失数据元素,高效的补全数据矩阵算法可从算法精度等方面优化提升.为此提出对称加权(SW)算法,首先,根据通用的矩阵补全模型,用正则化方法进行低秩矩阵分解补全;其次,对分解后的矩阵因子用共同的对称矩阵加权,得到新的矩阵补全模型和正则化加权函数;最后,结合块坐标下降和交替最小二乘法优化算法,迭代得到目标函数最优解,获得数据补全的最优补全矩阵.仿真结果表明,与APALM,IRSVF和IRNN算法相比,对称加权算法在数据矩阵补全的精度和算法收敛速度方面均有较好提升.     

基于加权数据勘探技术构建图书馆阅读统计与评价体系研究

以读者和图书为勘探目标,利用数据勘探技术挖掘了图书被借阅的内涵规律,通过加权关联规则（The weighted association rules）算法,设计了一个图书馆阅读统计与评价体系,对读者图书借阅进行针对性推荐,提高了读者阅读效率。     

改进加权矩阵的双图像可逆数据隐藏算法

针对插值灰度图像嵌入容量有限和视觉质量较差的问题,提出了改进加权矩阵的双图像可逆数据隐藏算法,通过仅增加或减少载体图像的插值像素来嵌入多个机密数据位,进一步提高图像嵌入容量和视觉质量。该算法通过插值放大原始图像的大小生成载体图像,使用具有相同大小的共享预定义加权矩阵对原始像素块进行逐项相乘模和,将机密信息根据块的数量交替地嵌入2幅图像中,在每次迭代前,使用共享密钥修改加权矩阵以保护隐藏信息,加权矩阵有助于在较小失真的情况下嵌入更多的数据位,有效实现了安全性和嵌入容量。实验结果表明,该算法可以抵抗剪切、噪声、不透明修改等隐写攻击。相对于其他方法,该算法在嵌入容量和PSNR方面都有明显的提高。     

基于约束的数据质量评估算法研究

随着信息技术快速的发展与信息系统应用的加深,企业积累了大量的历史数据,支撑企业正常运营与决策。为了使决策更加正确、有效,需要对历史数据进行有效的数据质量评估,并基于评估结果进行数据清洗。重点研究了基于数据维度下数据质量约束的数据质量评估方法,确定数据质量评估维度,并定义了各维度下的数据质量约束,并基于约束给出数据质量评估算法。方法在大庆油田生产数据库数据质量评估项目与河北汉光重工有限责任公司财务系统数据库数据质量评估项目中得到了应用。     

水质评价中的指标权重与隶属度转换算法

分析现有评价方法中最优权、超标权及专家权用于水质评价的缺陷,从目标分类角度出发,提取指标对样本分类所作贡献的量化值,定义指标区分权,给出指标隶属度到样本隶属度的转换算法,由此建立基于区分权的水质评价方法.用案例说明方法的实用性.     

基于音素的发音质量评价算法

面对广大的外语学习者,计算机辅助语言学习系统已经成为一种最佳的口语学习方式。该文提出了一种新的应用于计算机辅助语言学习系统的面向英语学习人群的发音质量评价算法,名为PASS(phone-basedautomaticscoreforl2speechquality)。PASS算法以基于隐含Markov模型的语音识别和口音自适应技术为基础,考察了音素发音的准确性和流利性信息,定义了音素级的发音质量分数,从而可以综合得到整句的评分结果。在实验室自行采集和精细标注的非母语语音库上与其他评分算法进行比较实验,PASS与专家评分的句子级相关性达到了0.66,优于其他算法。目前PASS算法已经被成功地应用于清华大学出版社的互动式语言学习系统中。     

普通话发音质量评价算法改进研究

隐马尔科夫模型的对数后验概率算法是计算机辅助语言学习系统中用来衡量考生发音质量的重要指标。但在普通话智能测试系统中,传统的后验概率算法与专家评分之间存在比较明显的差距。文章从普通话语音评价的主观标准出发,将普通话发音的语言学知识引入后验概率算法,重构算法的语音识别网络,同时从音素评分模型角度对现有的发音质量评价算法进行改进。     

基于亮度加权网络空间扩展的图像质量评价方法

采用CCIR颁布的亮度加权网络时域频率标准,基于电视学基本原理和数字图像处理方法,将亮度加权网络由时域频率扩展到空间频率,由此建立一个实验平台考察图像空间尺寸对视觉感受的影响.该方法实验结果与视觉感知的图像质量评价结果吻合,其有效性取决于时域亮度加权网络主观实验结果.由于避开了主观评价实验的标准化苛刻要求,因此降低了多通道分解图像质量度量方法的复杂度,有利于图像空间尺寸的质量评价.     

基于模糊物元分析原理的区域生态环境评价

基于生态环境质量概念的模糊性和评价指标的不相容性,在模糊物元分析的基础上,结合模糊集理论和欧氏贴近度概念,建立了区域生态环境评价的模糊物元模型。实例研究中,待评样本与评价等级看作是物元的事物,以各评价指标及其相应的模糊量值构造复合模糊物元,通过计算与标准模糊物元之间的欧氏贴近度值,实现待评样本生态环境质量状况的识别和排序。研究结果表明,运用模糊物元模型评价区域生态环境质量状况,其方法是可行的,结论是可靠的,从而为区域(或流域)生态环境评价提供了一种新方法。     

无参考JP EG压缩图像质量评价改进算法

针对传统JPEG压缩图像质量评价算法存在高计算复杂度的问题,通过改进经典的JPEG压缩图像质量评价算法,以无参考为基础,提出一种快速有效的质量评价算法。该算法将人眼视觉系统特性引入到图像质量评价体系中,利用局部方差选取人眼感兴趣图像块代替整体图像,并只针对感兴趣图像块做特征提取处理,计算得出3个图像的特征值,最后将所有特征值整合为一个评价值,获取原始整体图像的客观质量评价参数。仿真测试结果表明,与传统整体图像JPEG压缩图像评价算法相比,该算法皮尔逊相关系数提高0．01,与主观评价结果更为一致;运算速度提高一倍,降低了运算复杂度。     

加权序数偏好下多属性群决策的TOPSIS法

对考虑每个属性下各决策者权重的决策问题,提出序数偏好下的群体理想解概念,用TOPSIS法求解.先对决策者加权,用TOPSIS法将每个属性下各备选方案的个体偏好序集结为群体排序;再对属性加权,用TOPSIS法将每个属性下的群体排序综合为备选方案的最终排序结果.以供应商选择算例说明方法的可用性,与现有方法的求解结果比较表明了方法的合理性;该方法将TOPSIS法扩展到处理具有序数偏好的多属性群决策问题,避免了逆序的产生.     

基于数据世系的数据质量评估系统框架设计

为了从源头解决数据质量问题,实现数据的可溯源,设计一个基于数据世系的数据质量评估系统框架。该系统框架可以动态添加各种不同的评估方法,通过数据世系技术分析出数据的原始演化过程进而识别出其维度,再选择系统中合适的评估方法实现数据质量评估。