年轻科研人员如何走向成功(14)——科学批评

在前三文中[1-3]我谈到了"做好实验数据记录"扣"数据的表述与分析",字里行间都表明你的研究总归是在往前走.科学研究究竟能走多快和多远是本文要讲的内容.     

基于数据挖掘的网页个性化推荐系统设计与实现

介绍了网页个性化推荐系统的实验过程,讨论了网页个性化推荐系统的实验条件,分析了实验数据,得到了个性化的分析结果,综合性分析和评价了网页个性化推荐模拟系统.     

全向视觉中数据噪声对参数估计的影响

针对全向视觉中特有的数据特性,对图像中不同区域的数据噪声提出了不同假设,并在此假设下分析了数据噪声对线性参数估计的影响,研究表明,尽管远离图像中心区域的数据误差较大,但这些数据对参数估计的影响是非常大的.此外,还提出了一种分步选择数据点的方法,首先选择较高精度的数据得到初始参数估计值,然后逐步选择更多的数据点以保证得到尽可能多的数据点,而且所选择的数据点尽可能覆盖图像的边缘区域.实验结果表明,文章提出的方法可以得到更精确和更稳定的参数估计.     

双层结构的流数据聚类算法

提出一种双层体系结构用于流数据上的聚类分析. 快速计算层采用快速但粗糙的方法得到中间结果; 精确分析层采用更加复杂的方法对中间结果进行深入分析, 用于发现复杂的聚类. 实验结果显示, 这种结构在满足流数据快速分析要求的基础上能够得到更好的聚类结果.     

基于微分方程的散乱数据拟合方法在海水密度问题中的应用

首先提出了一种基于微分方程形式解来拟合数据的方法,其主要思想是通过实验采集的数据点近似地求出这些数据蕴含的目标函数应该满足的微分方程,将它作为目标问题满足的物理模型,然后设法求其形式解来得到基函数,以此为基础拟合散乱数据.接着,利用该方法对国际通用海水密度公式做了一个新的逼近.由实验结果可看出逼近函数不仅在形式上比原公式大大简化,而且还保证了相当的精度(平均误差数量级在10-4kg/m3左右),从而也证明了该方法确实有一定的应用价值.     

数据增强基础上使用卷积神经网络进行闻诊

声学分析具有客观、非侵入、成本低等优点,在临床嗓音分析方面有着很大的应用潜力.闻诊是传统的中医四诊之一.我们尝试使用分析声学信号的方式将受试者的症状判别为体实或体虚,也就是较为初级的闻诊,因此提出了一种在数据增强基础上使用卷积神经网络(DACNN)进行闻诊的方法.该方法的思想是使用数据增强的方式缓解闻诊数据中常出现的数据不平衡的问题,以及借助卷积神经网络从输入音频上"自动"提取一些能区分体质的抽象特征.实验数据集包含959个发声片段(346个男声片段与613个女声片段),由两名经验丰富的中医进行虚实标记.实验结果证明了数据增强的有效性.此外,我们还将提出的模型与传统方法做了对比,使用DACNN,女性和男性受试者分别达到了97.25%和95.12%的体质判别准确率,这个结果相对于传统方法,有1%～10%的提升.实验结果表明,DACNN对于客观化闻诊是有帮助的.     

Web使用挖掘中数据预处理算法的设计与实现

指出了数据预处理在Web使用挖掘中的重要性,详细分析了Web使用挖掘数据预处理过程,在每个数据预处理的每个阶段给出了一些规则并针对这些规则设计和实现了相应的预处理算法.实验结果证明这些算法是有效的.     

局地分析预报系统LAPS对多种探测资料融合研究及评估

 以武汉暴雨研究所引进的美国局地分析预报系统（LAPS）为基础,利用"973"项目实验收集的华南、长江流域2008年至2010年间的地面、探空的常规、加密观测和多部新一代多普勒雷达数据,通过设计、运行多种LAPS数据融合方案,开展LAPS的本地化试验.分析评估表明,LAPS系统以NCEP再分析数据为背景场的多种观测数据融合,可以改善NCEP再分析场,获得的分析场更接近实况观测.多种观测数据融合的分析场优于单种观测数据融合的分析场.基于多雷达反射率因子拼图,比较LAPS融合多种观测数据得到的分析风场和NCEP再分析风场,结果表明,LAPS分析风场与多雷达反射因子回波拼图的配置更为合理.     

股票交易数据文件的抽取算法研究

目前市场上有很多股票交易软件,这些软件会根据股票交易的实际情况定期产生股票交易信息数据,并将这些信息数据写入二进制格式的文件中,如DAY文件等.由于这些文件不是文本文件,无法直接使用常规的文件读写进行数据的抽取,而必须设计一种数据抽取算法完成相应操作.对DAY文件进行了分析和研究,在此基础上设计了一种数据抽取算法,并利用JAVA语言实现了数据抽取算法程序,利用该程序完成了从DAY文件中抽取数据并写入数据库的实验.实验结果表明,该程序能够正确地从DAY文件中抽取数据,为后期的股票信息处理和数据挖掘提供了重要的基础.     

CLIQUE聚类算法的分析研究

CLIQUE算法是基于密度和网格的一种聚类分析算法,对于大型高维空间数据的聚类分析具有很高的效率,能得到优质的聚类结果.通过分析CLIQUE算法的特点、聚类过程中的关键问题及算法步骤,运用实验数据对算法进行了测试,对聚类结果进行分析讨论,发现算法的不足,说明了改进的思路,为以后研究工作指明了方向.     

基于不完整数据的EM算法初值选取

不完整数据是实际中经常遇到的问题.在对这种数据进行分类或统计时,由于缺乏一些数据,结果则往往不尽人意.对缺失数据给定一个初值,通过实验发现,在给定初值的情况下,会得到比较满意的结果.     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.     

电网历史数据缺失及补录研究

电网历史数据是智能电网信息化发展的基础,确保历史数据的完整非常必要。在分析电网数据采集与传输过程中产生数据缺失原因的基础上,对缺失数据进行了类型划分,并给出了发现和判定数据缺失的方法。根据数据缺失类型,采用缺失数据清洁法和缺失数据补录法处理规律缺失数据和不规律缺失数据,使用SPSS验证上述方法,结果表明补录准确度高达90%;运用随机森林算法处理不完全规律缺失数据,以均方根误差和填补准确度为评判指标,实验结果证明了该方法的准确性和有效性。用这些方法处理电网的数据缺失问题,能有效地提高电网历史数据的质量,使现有的数据得到最大程度的利用。     

基于混合效应模型的纵向数据建模方法研究

为研究医学纵向数据建模方法,结合纵向数据的特点及统计分析理论、提出基于混合效应模型的动态建模方法.针对多维医学纵向数据的非平衡性,当结果变量个数不多时,采用共同混合效应模型进行分析.当结果变量较多时,协方差矩阵的估计会变得困难,这时采用随机结伴方法对所得到的若干个二元模型分别拟合,通过求均值得到固定效应及协方差矩阵的估计,实验证明这种动态建模分析方法是有效可行的.     

科学研究大数据挑战

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.     

基于修正Sigmoid核的成分数据缺失值填补法

大多数统计分析方法基于完整的数据集,这些方法不能直接用于包括缺失值的数据集.此外,由于成分数据的特殊属性,传统的缺失值插补方法直接用于这种类型的数据可能得到不良的结果.因此,对成分数据而言,缺失值的填补具有十分重要的意义.为了解决这个问题,根据核函数的性质,提出了一种基于修正Sigmoid核的成分数据缺失值非参数插补方法.该方法使用模拟和真实的数据集与k近邻插补法和最小二乘迭代回归插补法进行比较.实验结果表明,新的插补方法可以得到更准确的估计.     

利用单站电离层测高仪与GPS数据的同化反演试验

利用测高仪和GPS观测数据进行了单站电离层电子密度廓线的同化反演实验,实验中设计了一套基于Kalman滤波的电离层数据同化系统,采用了水平和垂直方向可分离的高斯型误差协方差矩阵,利用IRI2000模式作为同化反演的背景场,分别使用了测高仪数据和GPS数据进行了单独同化反演和联合同化反演实验,结果显示：在各类同化参数不改变的情况下,单独利用GPS数据反演结果较好,不仅可以得到较为准确的TEC,电子密度廓线结果也有较好的提升;单独使用测高仪反演的结果较差,在峰高以下电子密度廓线和观测较一致,但峰高以上电子密度廓线和观测比较的结果较差,并且TEC结果和观测也有一定误差;而利用GPS和测高仪数据联合反演的结果最好,无论是反演的电子密度廓线还是TEC值都和观测最为接近.     

利用单站电离层测高仪与GPS数据的同化反演试验

利用测高仪和GPS观测数据进行了单站电离层电子密度廓线的同化反演实验,实验中设计了一套基于Kalman滤波的电离层数据同化系统,采用了水平和垂直方向可分离的高斯型误差协方差矩阵,利用IRI2000模式作为同化反演的背景场,分别使用了测高仪数据和GPS数据进行了单独同化反演和联合同化反演实验,结果显示:在各类同化参数不改变的情况下,单独利用GPS数据反演结果较好,不仅可以得到较为准确的TEC,电子密度廓线结果也有较好的提升;单独使用测高仪反演的结果较差,在峰高以下电子密度廓线和观测较一致,但峰高以上电子密度廓线和观测比较的结果较差,并且TEC结果和观测也有一定误差;而利用GPS和测高仪数据联合反演的结果最好,无论是反演的电子密度廓线还是TEC值都和观测最为接近.     

什么是科学的研究方法?

(1)、在进行科学研究时,应当首先认识到问题的存在。 (2)、要把问题的非本质的方面找出来,加以剔除。例如,一个物体的味道对物体的运动是不起任何作用的。 (3)、要把你能够找到的、同这个问题有关的全部数据都收集起来。 (4)、有了这些收集起来的数据,就可作出某种初步的概括,即用某种简明扼要的语言或者某些数学关系式来加以概括。这也就是假说。 (5)、有了假说以后,你就可以对你以前未打算进行的实验的结果作出推测。下一步,你便可以着手进行这些实验,看看你的假说是否成立。 (6)、如果实验获得了预期的结果,那么,你的假说便得到了强有力的事实依据,并可能成为一种理论,甚至成为一条“自然定律”。     

旅游大数据的MapReduce客户细分应用

分析K-means聚类算法和Hadoop云平台的特点,对聚类算法进行改进,给出算法的MapReduce实现.通过加速比实验和旅游数据细分实验,验证了算法的有效性和高可扩展性.针对旅游大数据的特点,构建了多指标的RFM扩展模型,通过文中算法聚类,得到与预期相近的聚类结果.实验结果表明:文中算法具有较高的实用价值.