性能测试海量数据持续生成的解决办法

<正>一、简介在许多性能测试项目中,我们都需要大量的数据库测试数据,用来模拟真实测试场景中的数据。但是,这也可能会面临以下几个问题:(一)海量的基础测试数据如何才能快速且方便的生成?(二)怎样设计测试场景,从而保证性能测试能保持长时间运行而不会中断?二、场景设计下面以学生报名表为例,设计一个简单的测试场景,来解决以上问题,供大家参考。(一)测试需求后台数据库是报名表表头(Entry_head)、表体(Entry_list)和工作流(Entry_workflow)三张表为基础的性能测试数据库,并且要求基础报名     

通用海量数据库性能测试系统的设计与实现

为客观反映数据库实际运行性能,设计一种可配置数据库性能测试标准,它能够针对具体应用数据库系统,建立相应的控制模型、数据模型和事务处理模型。控制模型描述数据库的运行模式,数据模型描述用户访问数据库的数据集合,事务处理模型描述用户访问数据库的行为模式。控制模型通过事务处理模型和数据模型组装动态SQL(standardquery language)语句,然后产生多个并发进程模拟大量实际用户访问数据库,以测试数据库的运行状况和性能。分析与实际测试结果表明,该系统能够根据实际应用系统配置数据库性能测试标准,较之目前国际上通用的固定模型测试标准如TPC-C等,更能够客观反映数据库实际运行性能。     

SANTT:网络流量共享平台

Internet研究领域里存在很多网络数据库,它们向研究者提供用来研究网络动态、流量特征和网络发展模式的各类流量数据集. 数据采集/分发工具的限制和数据集里涉及的隐私信息使得这些数据库不能得到广泛的应用. 基于此,利用专用硬件网络处理器IXP2400的高速处理性能,设计和实现了一个安全的网络数据共享平台--SANTT. 该平台里提出了一个用于去除隐私信息的前缀保持的随机化算法,并通过组播方式发布处理过的数据. 对网络数据和仿真数据进行的测试验证了SANTT系统的处理性能和稳定性.     

DFMapper:基于查询树的SQL-to-HiveQL自动翻译工具

Hive作为建立在Hadoop上的数据仓库,已成为很多企业处理大数据的首选。然而,传统企业中大量的遗留应用依赖于传统关系型数据库(RDBMS),迁移时需要翻译大量查询语句。提出了一种基于查询树的SQL到HiveQL的自动翻译方法。该方法利用SQL解析器将SQL语句解析为查询树,提供8种不同的重写策略重构查询树,进而将其转化为正确的HiveQL语句,实现了一个翻译工具——DFMapper。在基准测试集TPC-DS上进行的查询实验证明,DFMapper可以正确翻译绝大多数的查询语句,并且具有很强的扩展性。     

ASP．NET网页中GridView和DataList控件的性能对比实验及分析

本文首先对GridView和DataList这两个控件在显示数据库数据时的性能进行了实验，然后对实验结果进行了分析，最后就GridView和DataList控件的性能优劣性得出了结论．从而为研究人员和开发人员基于性能选择使用这两个控件时提供依据，实验同时还测试了SQL SERVR 2005数据库中用存储过程插入大批量数据时的性能。     

Woodpecker+:基于数据特征的自定义负载性能评测

数据库的性能评测随着复杂多样的应用出现变得更加重要.在很多情况下,研究、开发人员的性能评估工作受限于负载的缺乏.虽然OLTP-Bench通用数据库性能测试框架在一定程度上提高了性能测试的效率,但由于标准Benchmark负载固定且针对用户多样的应用场景的代表性差,故无法精准地满足不同应用的系统性能;此外,大部分测试框架使用高级编程语言支持为应用编写测试负载,不仅增加测试负担还会引入大量重复性工作,导致测试效率低下.本文设计并实现了一个用户自定义性能测试负载的工具:Woodpecker+.该工具的主要贡献为:易于使用和可拓展、提供了可高效构造测试案例、做测试安排的测试定义语言(TDL)、可灵活控制事务执行模式及数据访问分布、实现了轻量级的细粒度统计信息收集与分析、支持多种主流数据库系统DBMS及提供数据库访问接口的其他数据库.通过一组详细的运行在主流DBMS上的自定义负载实验来验证Woodpecker+的特性.     

不确定性多维传感器数据的有效存储与查询方法

为解决传统数据库管理技术无法有效管理不确定性数据的问题,该文设计了一种多维数组树(MB树)。MB树是一种基于贝叶斯网络的图数据结构,以贝叶斯网络作为概率图模型解决存储和查询问题。对海量数据建模并响应查询。证明了可预测性和结构关联性。利用真实数据集和合成数据集对MB树的性能进行了测试。验证了具有潜在联合分布的MB树的编码准确度。与相似的图模型比较,采用MB树的查询处理效率平均可提升约3倍。     

数据压缩与WEB数据库性能分析

数据库性能一直是数据库研究热点,也有很多数据库性能研究成果供我们在工程实践中运用,各种技术也都有各自的优缺点。本文通过低带宽的CDMA无线拨号上网进行测试后(经测试低带宽压缩传输更有效),讨论并测试了采用数据库查询记录集转XML数据、并分别对IIS服务器和CDMA无线拨号网络进行数据传输压缩配置后对WEB数据库中性能改进作用与不足。     

摩托车性能测试线的计算机自动监测系统

以工业控制计算机为核心,设计了摩托车性能测试线的自动监测系统.通过检测系统的硬件接口电路设计以及数据采集、检测控制、性能分析和结果判断软件的设计,实现对车辆废气排放量测试、前后轮轮偏和刹车制动测试、车灯亮度和灯偏测试、车速测试和喇叭音量测试各子系统的监控,以及对实时数据和检测数据库的管理.     

基于三层次的数据库加密应用系统

传统的数据库保护方式存在安全漏洞:系统管理人员可以查看任何数据;黑客侵入网络后可以毫不费力地盗窃数据库服务器中的数据和破坏数据完整性.针对这些问题,在数据库加密理论基础上,设计了一种三层次的数据库加密应用系统,对该系统的框架结构、系统的数据库加脱密引擎和加密字典管理程序进行了讨论,给出了这两大部件中的各个模块的设计.该系统在客户端实现数据加密,数据在网上和在数据库中都是密文,不但增加了数据在网络传输时的安全,而且包括系统管理员在内的无关人员都不能见到明文,即使黑客窃取了数据库中的数据,仍然难以得到所需的信息.大大提高了数据的安全性.     

基于图形用户界面的位场数据处理系统

针对重磁方法获取的数据量大,传统纸质文件存储方式不利于数据共享和管理,且常规数据处理程序多是基于DOS(Disk Operating System)下,既独占系统资源又不便使用等问题,结合位场数据计算与数据库技术,利用面向对象程序设计语言Delphi和SQL(Structured Query Language)Server数据库在Windows 2000平台上开发了基于GUI(Graphical UserInterfaces)的位场数据处理系统.该系统具有良好的用户界面和应用环境,能快速处理位场数据,并对数据进行系统的管理.在实例中应用该系统对C地区的重力异常数据进行了处理和初步的地质解释.     

基于MapX的车辆监控系统客户端的设计与实现

设计了一种以MapX控件为GIS平台的车辆监控系统客户端。重点研究了定位数据协议、数据接收以及异常数据预处理方法流程,阐述了空间数据库和属性数据库的设计;最后探讨了在电子地图上实现车辆实时定位、轨迹回放的关键技术。性能测试试验结果表明,系统运行稳定,界面刷新时间达到1 s,定位可靠。     

软件性能测试实验教学设计

软件测试是保证软件质量的重要手段,许多高校都开设了相关课程。软件测试是一门技能型课程,应重视其实践环节,包括理论方法的应用及常用工具的使用等。性能测试主要测试系统在大业务量及大数据量下的性能表现,是系统测试中的一个重要方面。以某科研项目中的软件测试过程为原型,由浅至深设计了基于Jmeter的性能测试实验步骤,包括Jmeter中的基本概念和控制结构,以及提交参数内容可变、参数个数可变等高级应用。讨论了数据库设计对系统性能的影响,并介绍了利用索引技术优化数据库性能的一般原则。     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

如何客观评测内存数据库的性能

在过去的10年间,随着硬件技术不断发展,内存价格越来越低,许多计算机系统均布置了大容量内存.数据库系统开发商和研究人员认识到这一趋势,并开发出多款内存数据库产品,其特点在于先将数据装载到内存之中,再执行相应的数据管理任务.随着内存数据库的出现,如何客观、公正地评测它的性能显得愈发重要.尽管当前不乏关于关系型数据库系统的评测基准,例如威斯康星测试基准和TPC-X系列等,但是这些基准并未充分考虑内存数据库的重要特性,因此不适合评测内存数据库.本文提出了一种面向内存数据库的评测基准(InMemBench),与传统的关系数据库基准显著不同,它综合考虑了内存数据库特有的数据预取过程、物理组织方式和压缩能力等方面的重要特点.最后,本文还通过新基准比较了4款内存数据库的性能.     

基于GPIB的数字电路自动测试系统研究

结合虚拟仪器技术、GPIB(General Purpose Interface Bus)技术设计了一种数字电路自动测试系统.测试系统由硬件和软件两部分组成.硬件包含主控计算机,GPIB转接卡,USB(Universal Serial Bus)集线器,USB数字量I/O模块,具有GPIB接口的测试仪器.主控计算机通过USB接口控制数字量I/O模块和GPIB接口的测试仪器,并处理测试数据、显示测试结果.测试系统软件基于LabVIEW平台,采用图形化编程的形式开发.软件由应用程序和数据库管理程序两部分组成,应用程序为"主模块+功能插件"的形式,数据库管理程序采用Microsoft Access软件.本文阐述了数字电路的通用测试流程,并描述了测试系统在测试矢量生成环节的实际工作过程.该系统已用于雷达接收机数字电路的自动测试,性能稳定.     

基于C/S架构的光纤智能预警系统的软件设计

以C/S架构为基础，根据光纤预警系统的需求建立了系统的平台网络结构.系统依据总体架构可划分为服务端(Server)和客户端 (Client)2部分.服务端主要包括DSP通信模块、前后端交互模块、数据库模块和算法模块；客户端主要包括前后端交互模块、地图显示模块、历史报警查询模块和参数设置模块.设计了基于C/S架构的实时数据软件系统，完成了各功能模块在VS中的实现，并将其移植到系统服务器上进行了性能测试.测试结果表明，本系统能够有效完成数据报警信息的实时处理.     

基于Django的天气雷达测试定标自动化系统设计

通过对天气雷达测试定标自动化系统功能进行需求分析,明确了系统功能模块和数据库模型。该系统基于Django架构,采用Python语言、Bootatrap集成开发包、ajax等技术方法,完成了系统各功能模块的开发。实现测试定标数据的自动化处理、存储,测试结果的异步显示,雷达测试定标人员可及时发现测试定标数据异常问题及时处理,提高了雷达测试定标的工作效率;实现了元数据集、测试分析及测试报告的统一在线管理。     

全国水稻机械数据库系统的设计

在分析了我国水稻生产机械化及相关机械数据库研究现状的基础上,结合现代网络技术和数据库技术,运用JAVA语言编写,设计开发了全国水稻机械数据库系统.该数据库的设计和开发主要解决了我国水稻生产机械数据信息的系统查询及统计方面的技术问题,经测试其运行稳定可靠、易于操作,安全性能好.     

XML数据库性能测试系统的设计

随着XML逐渐成为Internet上数据表示与数据交换的标准,为了有效管理大量XML数据,各数据库厂商纷纷推出支持XML数据的数据库产品。如何对这些数据库产品的性能进行评价成为用户选择的难题之一。本文基于传统的数据库性能指标,结合XML数据库的特点,提出了一套新的指标体系,并对测试系统进行了设计,最后在DB2V9.5和Oracle10G上进行了验证。