基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

NoSQL数据库技术在移动互联网中的应用

对于规模不断扩大的SNS类型网站,传统的关系型数据库已经无法高效处理日趋增多的移动终端用户对此类超大规模和高并发网站中数据访问与处理的海量需求.现提出一种使用新型NoSQL数据库代替传统关系型数据库来实现海量数据动态管理,并通过Web向移动互联网用户提供高效服务的系统.实验证明,NoSQL数据库技术在移动互联网应用中有着明显的优势与广阔的应用前景.     

关系数据库中无模式数据存取实现方法

关系型数据库较好的满足了企业级管理面向事务处理的数据一致性要求,但目前越来越多的Web2.0应用使得大量强调高并发下高效存取的非结构化数据出现。对于处理关系型数据库与NoSQL模式的融合和扩展问题,该文提出了在传统关系型数据库数据存取过程中,将数据及存取命令重新解构,使数据存取分为模式和无模式两种方式分别进行处理的思想,从而解决了数据一致性和高效存取的矛盾。最后,在同一MySQL数据库中对相同数据分别进行模式和无模式环境下并发海量数据插入、查询等操作,测试结果证明了此方法的确有比关系型数据更高的存取效率。     

体育场馆空间信息云存储与服务技术研究

基于移动互联网的体育场馆管理与服务应用平台中需要海量的空间信息数据作为支撑.空间信息中包括海量的非关系型数据,传统的关系型数据库显然无法满足海量空间信息存储与服务的需要,而基于云计算的非关系型数据库与分布式文件系统却是有效的解决办法.针对体育场馆空间信息不同的数据形式,分别采用了不同的数据模型,同时为了提高数据的存储与服务性能,采用了集群技术.文章提出的体育场馆空间信息的存储与服务解决方案为体育场馆智能化管理与服务提供了有力的技术支撑.     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

基于开源软件的Web GIS地震大数据综合平台

采用互联网行业流行的Elastic Search、OpenStreetMap、Leaflet、jQuery、ECharts等开源软件技术,提出了一种基于局域网Web GIS地图服务和分布式NoSQL数据库,实现Web客户端与服务端之间的大数据交互方案。不依赖于桌面GIS和MATLAB专业软件,实现低成本、跨平台的快速开发。为有效解决互联网时代海量空间信息相关的数据存储和可视化交互问题提供了一种新思路,在需要进行GIS大数据可视化交互的地震、气象等行业具有很高的实用价值。     

支持时序数据聚合函数的索引

时序数据是工业新发展的关键,其中针对时序数据的聚合操作成为主要的应用场景之一。传统关系型数据库不足以支撑海量的时序数据,而现有的NoSQL数据库对时序数据的聚合操作显得低效耗时。该文提出了一种结合概要表和线段树思想的支持时序数据聚合操作的高效索引机制,并实现了基于这种索引机制的查询算法。该查询算法将概要表的思想引入NoSQL中,缩小了待查询数据集,并通过在概要表上建立概要森林的形式,将最坏情况下的待查询数据集进一步缩小为索引个数的lbn倍。此外,该算法通过计算直接定位出待查询的一系列索引数据,有效避免了一般树形结构的递归遍历操作,减少了大量的磁盘开销。最后,通过与一般索引机制的查询对比实验,验证了该索引机制的可用性和高效性。     

MongoDB日志管理系统探析——以《全国报刊索引》平台为例

随着二次文献共建共享平台应用需求的不断增加,日志文件的数据量和并发量急剧增长,对日志文件的管理变的更加具有挑战性.本文中通过对非关系性数据库MongoDB与关系型数据库MySQL的比较分析,找出更适宜存储海量日志的数据库系统.最终选取MongoDB数据库系统作为《全国报刊索引》平台的日志管理系统,取得了良好的效果,极大地提高了对后台日志数据管理和应用的效率.     

基于MongoDB集群的遥感数据存储方法的研究

随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究,根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储。     

广西互联网用户管理信息系统设计与实现

【目的】阐述广西互联网络中心运用Web对网络用户进行管理的方法。【方法】采用WEB服务器端脚本与关系型数据库SQL Server相结合的方法,组建基于Web的互动交互式平台广西互联网用户管理信息系统。【结果】实现了广西互联网络中心用户管理的数字化、网络化,使各部室的业务信息能够共享。【结论】使用基于Web的信息系统来管理网络用户是一种简便有效的方式。     

基于GPS的出租车动态管理系统设计

文章以改善现有出租车系统的不便为目的,提出了基于全球卫星定位技术的出租车动态管理系统的设计和实现方法。该系统利用先进的无线数据通信与定位技术,实现对需要出租车的乘客和出租车辆的实时定位。通过服务器实现对出租车和乘客间的距离计算以及车辆对服务器的实时反馈,使中心服务器对出租车实现实时调度,形成一个自动化的调度服务网络,有助于出租车公司改变运营模式、降低运营成本和提高服务质量,带来良好的经济效益和社会效益。     

一种大规模流式数据聚类方法在交通热点分析中的应用

为了提高在大规模流式数据环境下交通热点区域分析的算法效率,提出了一种流式数据两阶段方法;该方法在第一阶段使用基于改进Canopy算法进行粗聚类并产生宏簇,在第二阶段使用K-means算法进行细聚类;并以粗聚类产生的宏簇个数和类簇中心位置为指导产生更加准确的微簇聚类结果。在试验中,使用流式数据两阶段方法对北京市出租车的定位数据进行了聚类分析;并结合热力图和电子地图对聚类结果进行可视化表达,在最终的热力分析结果中可以直观地发现出租车活动较为频繁的热点区域和线路,且与日常出行经验相符合。试验结果表明该算法能够实时地对流式数据进行聚类分析,产生的数据结果可供用户在任意时间窗口范围进行查询分析,有助于为交通活动情况实时分析、交通规划和拥堵治理等方面提供有价值的理论参考依据。     

基于运营系统的出租车出行需求短时预测模型

出租车系统作为城市交通运输系统的重要组成部分,其宏观规划和调度管理的合理性决定了出租车服务质量.本文主要研究出租车乘客出行需求估计及预测,为出租车规划和实时调度提供数据支持.首先,分析了出租车定位系统和计费系统,改进了传统出租车需求网格划分方法,考虑了地形、建筑群和道路网络特征,保持了网格自身出行特性的完整性.其次,根据实时收集的出租车数据,建立了易于计算的出行需求估计方法.最后,以实际数据为基础,对影响短时出行量的主要变量进行了相关性分析,提出了基于人工神经网络的短时需求预测模型,根据相关性分析确定了模型结构.以实际获取的出租车数据为例,验证了提出的需求估计和预测模型.结果证明:相比于传统自回归滑动平均模型,提出的人工神经网络模型其平均绝对误差百分比提高了32%.此外,人工神经网络模型的绝对误差百分比超过50%的概率低于10%,而自回归滑动平均模型高达23%.     

基于云平台的汽车远程监控系统设计

为了实时监控汽车运行状态和位置,实现汽车历史数据和轨迹的查询,摆脱地域限制,设计了一套基于云平台的汽车远程监控系统.该系统包括车载终端和云端服务平台两部分.车载终端采集车辆状态数据和GPS经纬度,通过4G网络上传云端;云端服务平台包括可视化监控中心、数据库和Web服务器.系统管理员通过云端监控中心对车辆进行实时远程监控和数据查询,普通用户通过Web浏览器对车辆进行监控,形成两级监管模式.长时间运行结果表明:该系统运行稳定可靠,能够实现异地远程监控,监控数据丰富,数据刷新频率约为0.62 Hz,具有较好的实时性,能够查询车辆的历史数据和历史轨迹.     

基于层次序列OLAP-Cache在大规模监测数据查询优化中的应用

利用OLAP进行大规模监测数据查询时存在效率低和实时性差的问题,传统解决方法主要利用缩小数据集市数据的方法,虽然在一定程度上提高了查询效率,但是会出现丢失数据的现象。提出在基于聚类方法基础之上进行层次序列OLAP查询优化,并针对大规模海洋监测数据的特点提出OLAPCache多级查询方法。在该算法中,首先分析OLAP序列立方体的查询效率问题;其次以等价类的层次关系为基础,确定等价的上下界和聚类值;然后利用改进的各级查询层次的运算策略来判断OLAP查询的语义特性,提高其Cache性能;最后结合OLAP查询集的闭包中存在最小蕴含关系的特点,对OLAP查询的蕴含关系进行分组查找。通过大规模监测的海洋数据对该算法进行仿真验证,仿真表明,该算法有效地避免了对大规模海量数据的递归查询,具有较好的执行效率。     

基于开源框架和平台的绩效考核系统设计

【目的】针对企业或机关单位需要利用信息化进行绩效考核的需求,研究低成本的绩效考核系统。【方法】使用跨平台的开发语言JAVA进行编程,利用开源免费的轻量级框架快速构建基于MVC架构的系统平台,再利用开源免费的操作系统、中间件和数据库搭建Web服务器,并结合局域网构建实现交互式的网络应用软件系统。【结果】该系统设计简便,且能实现跨平台操作。【结论】基于开源框架和平台的开发模式,可在低成本的前提下,最大限度地提高软件产品的质量和开发效率。     

基于GIS和GPS的交通状态参数估计与仿真模型

基于“大样本,长周期”条件(大样本指车辆数5 000~50 000,长周期指GPS位置传送间隔2~5 min),探讨了在GIS环境下用仿真出租车GPS信息来估计和推算行程时间参数,包括建立参数估计模型、基于GIS的仿真、采用Householder变换解算大规模矩阵;最后将通过仿真系统模拟获得的解算结果数据,与最初给每条路段预设的等级而确定的每条路段上行驶的时间相比较,实验表明达到预期效果,验证了模型和方法的有效性.     

基于数据驱动的交叉口通行效率评价

为了弥补单一评价在评价交叉口通行效率当中的缺陷，构建由排队长度、通行时间、延误和停车率组成的交叉口通行效率评价指标体系，并结合出租车 GPS 数据估算交叉口进口道通行效率，建立了基于粗糙集理论和自组织映射神经网络方法的交叉口通行效率影响因素定量分析模型，通过实测数据和VISSIM 仿真方法分析了本文方法的适用性。结果表明：（1）基于轨迹数据的信号交叉口4个进口道服务水平分别为 F、E、F和F，分析表明，通行效率评价方法估算结果能够准确的反映研究区域的高峰时段交通流现状。（2）排队长度、延误、通行时间和停车率等交叉口通行效率影响因素在总的影响因子池中所占权重分别为0.3253、0.2313、0.2147和0.2287，揭示本文方法在量化交叉口通行效率影响因素方面有一定参考价值。（3）分析表明，出租车GPS数据的坐标漂移和定位误差导致，基于轨迹数据的评价结果和基于实测数据的仿真模型结果之间的部分差异，但总体结果是一致的。同时基于轨迹数据的通行效率方法在获取交通参数的获得性方面具备一定的优势。本研究在动态分析交叉口通行效率及其影响因素方面提供借鉴。     

I-Wander:一种面向非结构化对等网络的Web服务发现方法

针对非结构化对等网络,设计了一种称为I-Wander的Web服务发现方法.将具有相同功能属性的Web服务聚合成社区.查询包在社区间漫游,把漫游过的社区和节点存储起来,构成认识列表.认识列表被逐跳更新,并在查询包相遇时相互交换.查询包在匹配度最高的社区被大量复制扩散,据非功能属性选出最优服务,用于Web服务组合.实验结果表明,服务聚合和认识列表及其交换机制,节省了查询包的探测时间,提高了Web服务查找的效率.