基于ODBC的PostgreSQL数据库适配层设计

数据库系统有着非常广泛的应用,它采用客户端/服务器的方式,应用程序访问数据库可以有多种方法,如直接调用它的API接口,通过ODBC等等,本文介绍了一种使用ODBC封装的数据库适配层来访问数据库的方法。     

基于关键属性约束的关联规则挖掘在日志分析中的应用

日志是计算机取证,入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法.针对基于置信度一支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法.实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性.     

基于数据库约简的关联规则挖掘算法

通过对Apriori算法挖掘过程进行分析，提出了一种基于数据库约简的关联规则挖掘算法．该算法利用每趟挖掘中一些非频繁项集的超集、并集，逐步约简事务数据库中的事务，提高了关联规则的挖掘效率．在这些非频繁项集的基础上建立了数据库约简的定理和推论，并在Apriori算法的基础上设计了ApioriNEW算法．经过对算法进行分析和实验，算法ApioriNEW的挖掘效率比较高．一般情况下，平均可将挖掘效率提高约30%．ApioriNEW算法特别适合大型数据库的关联规则挖掘，已应用在网络故障诊断专家系统的知识获取中．     

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明：参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率高于单机服务器250req/s,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。     

数据库系统性能调优的研究与实践

文章从影响数据库系统性能的主要因素开始讨论,列举了数据库事务处理、索引、表结构、应用系统接口四个常见的对数据库系统性能产生影响的因素,并针对这些因素分析了系统性能不佳的具体原因,结合甘肃烟草商业电子商务系统调优实践,从创建索引、优化查询、清理临时表、避免表死锁、分离数据库、设置应用系统日志六个方面,引用实际案例,对数据库系统性能调优的基本方法进行了论述。本文希望能够为从事数据库系统管理工作的人员提供有益的经验和参考。     

基于实时对象建模的嵌入式软件开发

将面向对象的分析、设计和实现模式应用于嵌入式实时软件的开发，能极大地提高目标软件的性能和开发效率．通过UML—RT建模语言及其支持工具应用于汽车气囊安全系统实时软件的开发，阐述了基于对象模式的嵌入式软件开发过程，提出了基于事务映射的多线程模型实现方法．     

一种实时事务预分析处理的三段法

给出了一种“三段式”预分析预处理系统框架,提出了一种基于实时事务语义,行为,结构及相关性知识的预分析预处理的“相关图”策略与方法,引入了“影子事务”的概念和机制来支持与实现实时事务的正确执行,系统的内外存数据交换等,从而保证实时事务的定时性要求。     

基于Hadoop/Hive的web日志分析系统的设计

互联网技术的迅速发展,使得web承载的信息量呈现出爆炸式增长的趋势,因此web日志的数据量也越来愈大.如何存储、处理大规模数据就成了新的挑战.云计算技术的出现,为这类问题的解决提供了一种思路.云计算将数据通过网络分布到集群的各个计算节点上,从而完成大规模数据的存储和运算.Hadoop是一个用于构建云计算平台的流行的开源...     

基于server session约束的序列模式增长挖掘研究

在WUM(Web Usage Mining)中挖掘序列模式的背景下,提出了一种基于server session约束的序列模式增长挖掘算法.首先,为了更好地从网站服务器日志文件中挖掘模式和发现知识,提出了一种基于server session的服务器日志文件格式.同时,引入基于server session的约束概念,利用其能够减少初始序列模式和候选项集大小的特点来减少每次扫描后缀数据库的规模,再从预处理后的日志文件中挖掘WUM的频繁访问路径的序列模式.最后通过实验证明了算法的有效性和优越性.     

基于Web的数据挖掘研究

基于Web的数据挖掘是一个结合了数据挖掘和WWW的热门研究主题。本文介绍了Web数据的特点及Web数据挖掘研究的三种分类:Web内容挖掘、Web结构挖掘、Web使用挖掘,并总结了Web日志挖掘的常用数据挖掘技术。