统计数据与大数据源的融合应用

目的]通过统计数据和大数据融合来扩大统计基础数据库数据资源的广度和深度.方法]首先,将数据库分成多源异构资源装载的数据湖、大数据资源管理、为多元数据服务的大数据应用3部分,将多元异构原始数据导出成csv数据文件,根据文件中每列的内容进入元数据编辑工具录入DataFiles对象信息,使DataFiles中的variable内容和顺序与csv文件的列的内容和顺序对应,达到使用DDI元数据描述统计数据的作用.其次,将数据描述信息导出生成DDI元数据文件,将两两配对的csv数据文件和DDI元数据文件一起提交给数据平台,经过解析识别完成数据入库.再次,用大数据开发方法,引入HBase和Hive技术,结合通用统计业务模型(Generic statistical business process model,GSBPM),将数据库中的数据利用ETL工具进行重新组合或融合形成资源库和应用库,并根据不同的业务场景要求,利用MPP数据库技术工具,满足在线海量数据的实时计算以及离线数据批量计算.最后,根据统计分析需求,利用地理信息系统GIS结合指标体系形成直观、立体、多元化的数据展现及分析场景,形成"统计一张图".结果]完成了统计数据和大数据源融合的统计大数据平台架构.结论]建设统计大数据平台就是建设行政区域内统一的经济、社会和人口宏观,微观数据中台,实现对经济运行数据、社会管理数据和人口分布数据的智能化关联匹配,并能全景式一体化呈现全市经济社会发展状况,具有较强的实用价值和社会效益.创新点为建设统一的数据融合标准体系,并为即将建设的重庆市统计大数据平台提供了理论研究基础.

Research on the Fusion Application of Statistical Data and Big Data Sources