公路交通气象服务供需分析与满意度评价

 利用2020年全国公路交通行业气象服务调查数据，通过统计分析方法，研究公路交通行业气象服务需求与供给特征以及行业用户对气象服务满意程度。结果表明：超过60%的专家认为雾、降雨、降雪是公路交通行业最关注的气象要素，但不同生产环节的需求有所差别；对于服务产品，预警、预报、监测、影响评估类的需求度依次递减，但均超过95%，气象部门除了在影响评估类方面供给能力不足外，其余基本满足公路交通行业需求，并在提供产品时效及要素类别（气温和大风）上略有冗余；手机客户端、共享平台是行业用户最希望获取服务产品的渠道，而气象部门虽然发布途径多元化，但仍以网站、电话、电子信件等传统方式为主；行业用户对气象服务信息的综合满意度评分为89.4分，其中完整性、及时性、准确性的全国评分依次降低，公路运营环节满意度评价结果最高，私营企业满意度评价结果最低。     

面向不稳定日志的一致性异常检测方法

系统日志被用作系统异常检测的主要数据源.现有的日志异常检测方法主要利用从历史日志中提取的日志事件数据构建检测模型，即假设日志数据随时间的推移其分布规律具有稳定性.然而，在实践中，日志数据往往包含以前未出现过的事件或序列.这种不稳定性有两种来源：1）日志发生了概念漂移；2）日志处理过程中引入了噪声.为缓解日志中出现的不稳定问题，设计了基于置信度协同多种算法的异常检测模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.首先，用统计量p值度量日志之间的不一致性，选择多个合适的集成算法作为不一致性度量函数计算不一致性得分进行协同检测；然后，设计了基于置信度的更新机制来缓解日志不稳定问题，将新日志的不一致性得分添加到已有得分集，更新日志异常检测的经验；最后，根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常.实验结果表明，在HDFS日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD模型的F1值仅从0.996降低到0.985；在BGL_100K日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD的F1值仅从0.71降低到0.613.证明EBCAD在不稳定日志中可以有效检测到异常.     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加，目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势，而且无法实现对业务数据的精准时空查询，这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取，本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点，提出了一种基于二者相结合的卫星大数据存储方案，并搭建了Hadoop架构的大数据试验平台，完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明，该方案大大提高了对海量卫星观测数据的读写并发性能，达到当前文件存储方式的几十倍，并实现了对卫星数据的精准定位和快速查询，很好地满足了用户要求。