基于区位码和距离的Chord网络高维数据范围检索

结构化对等网络对数据的范围检索等相似查询缺乏有效的支持.由于利用iDistance索引进行范围查询时会引入很多"误中点",提出了一种利用区位码和距离来建立高维数据索引的方法.该方法首先利用Code-Distance技术来建立高维数据的一维索引,并采用位置保持哈希函数给予每个索引值一个唯一标识,该标识将被保存在Chord...     

高性能网页索引器JU_Indexer的实现

高性能网页索引器JU_Indexer用倒排索引表存储网页索引数据, 以多线程并行的方式对网页建立索引数据, 采用经过优化的检索算法实现用户的查询. 首先给出了JU_Indexer的系统框架, 然后描述了索引数据在JU_Indexer中的存储结构、 建立网页索引的算法、 以及实现用户查询的检索算法. 实验结果表明, JU_Indexer能在毫秒级的时间内完成用户的查询, 它采用的经过优化的词组检索算法缩短了词组的检索时间.     

基于索引结构的关系数据库关键词检索

检索系统构建了用于记录各数据项在数据表和字段中位置的索引结构,以及基于数据库关系图的用于描述各个数据表之间关联关系的主外键关系表,根据索引结构和主外键关系表检索出与用户输入的多个关键词相关联的记录.为了进一步提高检索效率,又构建了一个查询结果存储结构,把查询过的关键词和对应的结果存入其中.当用户输入关键词进行检索时,检索系统先去查询结果存储结构中检索,如果检索到就直接输出结果,否则再通过访问索引结构和主外键关系表构建SQL语句到原始数据库中进行检索得到结果.实验结果表明,这种基于索引结构和查询结果存储结构的检索机制具有较好的检索性能.     

基于海量卫星测控数据存储与查询方法

针对卫星海量测控数据以时间区间检索、结果按时间排序的需求,提出了基于数据库时间分区表与索引组织表（IOT）的存储和查询方法。时间分区表采用将数据存放到多个物理表空间,在数据查询时不需每次扫描整张表,检索时间明显缩短,且查询响应时间不会随着数据量的增长而增加;索引组织表是将数据直接存放在索引中,降低了存储空间的占用,以损失较小的写入效率为代价。通过对某卫星实验和分析,证明了方法的有效性和正确性,提高了数据存储和查询的效率。     

用于RFID中间件的主存数据库索引结构

根据EPC Global标准,提出了基于RFID数据特征的网格索引结构.该索引结构针对RFID应用场景设计,不仅能实现高效的插入、查询以满足实时性的需求,还能够提高内存的利用率,节省内存.与传统索引相比,提出的索引结构能够完全适用于真实的RFID应用场景,实现条件查询、范围查询等其他传统索引很难实现的操作.可以减少内存消耗,提升条件查询,范围查询的速度.实验结果证明基于RFID数据特征的网格索引不但在插入效率上不亚于传统索引,而且在条件查询,范围查询的效率远远高于其他传统索引结构,并且内存占用率也具有一定优势.     

AKNN-Qalsh:PostgreSQL系统高维空间近似最近邻检索插件

复杂数据对象(如图片、文本)通常被表示成高维特征向量。PostgreSQL系统现有的最近邻检索方法KNN-Gist基于树状索引实现,无法高效支持高维数据的最近邻检索。引入的PostgreSQL系统高维空间近似最近邻检索插件:AKNN-Qalsh,基于位置敏感哈希机制实现,支持大规模、高维数据对象的近似最近邻检索。通过在五个真实数据集上的密集实验,验证了该插件的有效性。     

通过精练查询空间改善高维数据的相似性查询

提出了一种新的高维查询空间过滤策略,通过将高维数据动态投影到低维的数据空间中,然后在投影空间中对查询空间进一步过滤,精练并快速缩小查询空间.同时提出了一种有效的投影策略基于最大间隔投影,这种投影策略能够提高投影空间的精练能力.而且,设计了一种新的高维索引结构MS-tree,并将新的过滤策略运用于MS-tree的范围查询.实验结果表明,这种查询空间精练策略能够有效的提高索引的性能,降低相似性查询的IO代价和CPU代价.     

PR-tree:P2P环境下一种多维数据的分布式索引结构

提出了一种基于R-tree的更适用于P2P环境的新型多维空间索引结构———PR-tree,并且在这种新型的索引结构下进行了高维数据的查询操作.这种新型的空间索引结构有两个主要的特点:对需要查询的数据空间进行层次划分;并且对结点的插入、删除等操作具有高度的灵活性.实验表明这种新型的空间索引结构在查询效率等方面都优于其他的索引形式.     

QGrid:一种空间移动对象并行索引结构

为提高空间移动对象数据更新效率和查询准确率,提出了一种空间移动对象并行索引结构.利用主索引和辅助索引支持对空间对象进行基于范围的查询和基于对象标识的查询,还通过查询索引将更新操作和可能受其影响的查询操作相连接,在满足并行操作时间片语义的同时,避免了传统方法进行范围查询时对查询范围内相关对象及相关索引结构全部进行锁定的需求.实验结果表明:高负载环境下,该索引结构不但能保证查询准确率,其处理能力也明显优于传统索引结构.该索引通过提高系统并行度,使同一范围内的更新和查询操作可以并行执行,提升了系统整体运行效率.     

基于SVD的二次型距离相似索引层次算法

大容量多媒体数据库的基于内容相似性的检索本质上是高维特征空间中一定距离函数的 K近邻问题。对适合人类视觉的二次型距离函数 ,即使采用相似索引 ,当特征空间维数较高时检索仍不能保证实时性。为了解决此问题 ,提出基于 SVD(Singular Value Decomposition)的二次型距离相似索引层次算法 ,先以相似索引为基础在主导特征的子空间上进行代价低的近似检索 ,再对过滤结果在高维特征空间中进行线性的精确检索。实验证明 :该方法具有正确性、有效性和实时性     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

基于SVM的遥感数据并行服务体系研究

该文研究了利用共享虚拟存储(SVM)的并行普通机群作为遥感数据分布式服务系统的后台服务器，分析了在这种服务体系下多源遥感数据的组织和存储，提出了“塔、块、层、相”的立体索引机制，设计了服务器端的并行处理程序，并对基于SVM并行机群环境对后台服务器性能改进方面进行了测试和分析。     

基于MapReduce的关联规则并行增量更新算法

针对在关联规则的实际挖掘中,由数据快速增加所造成的大数据问题和增量更新问题?在快速更新频繁模式树算法(fast updated frequent pattern tree,FUFP - tree)的基础上,引入MapReduce 编程模型,提出了一个面向大数据的并行的关联规则增量更新算法(parallel fast updated frequent pattern tree,PFUFP - tree)?该算法通过构建原始事务数据的分块索引,从而使得在每次增量更新时,能够最小化地扫描原始事务数据库,提高了挖掘效率;同时采用动态负载均衡的项目分组策略来优化并行计算过程中的项集分组问题,从而保证分布式集群中节点之间的负载均衡;实验结果证明,提出 的算法是有效的和高效的,适用于动态增长的大数据环境?     

Parallel bulk-loading of spatial data with MapReduce: An R-tree case

Current literature on parallel bulk-loading of R-tree index has the disadvantage that the quality of produced spatial index decrease considerably as the parallelism increases.To solve this problem,a novel method of bulk-loading spatial data using the popular MapReduce framework is proposed.MapReduce combines Hilbert curve and random sampling method to parallel partition and sort spatial data,thus it balances the number of spatial data in each partition.Then the bottom-up method is introduced to simplify and accelerate the sub-index construction in each partition.Three area metrics are used to test the quality of generated index under different partitions.The extensive experiments show that the generated R-trees have the similar quality with the generated R-tree using sequential bulk-loading method,while the execution time is reduced considerably by exploiting parallelism.     

网络数据包安全指标关联规则挖掘应用与研究

对网络通信中,安全指标间关联规则的挖掘速度缓慢问题进行研究。网络通信数据的高容量、多样性和复杂性,使网络安全指标间关联规则挖掘的信息处理难度较高、时间效率低,为此提出一种基于并行FP-树频集算法的关联规则数据挖掘方法并成功应用于网络通信的安全指标挖掘中。首先对网络通信数据进行Netflow流量数据采集,对其进行预处理以信息熵的形式存储。然后将频集压缩到频繁模式树上,再引入并行算法在多个处理器上为频繁模式树的节点创建条件模式库和条件模式树,在不同的并行处理器上进行同时处理,最后生成反映网络安全信息的关联规则。该方法提高了网络信息安全指标间关联规则挖掘的效率,在同样的支持度阈值和置信度阈值的条件下,可减少处理时间4~7 s。     

一种JPEG2000算术编码器的优化算法与实现

通过对索引表和概率间隔区间更新条件的分析,提出了一种JPEG2000算术编码器的部分并行优化算法.在连续编码两个数据对时,通过预测间隔区间的变化,可以一次完成索引表和间隔区间的更新,从而减小了编码数据的关联性,实现了算术编码器的部分并行编码.设计了基于3级流水线的JPEG2000算术编码器,并通过了FPGA验证.试验结果表明,该算法平均每个时钟编码1.58对数据,比每个时钟编码1对数据的普通算法,编码效率提高了58%.     

采用BWT的多核并行的子串匹配算法

针对P-BWT精确匹配算法存在只支持短串查询并且只能工作在单处理器上的问题,提出了一个多核并行的支持任意查询长度的精确查询算法.改进了P-BWT索引上的查询过程,当一个查询串跨越了多个数据分片时,首先在其匹配的最后一个分片上查询,然后依次在前面分片上进行验证.进一步提出了一个多核并行查询算法来减少搜索和验证过程的迭代次数.实验结果表明,所述算法可以高效并行地完成子串匹配任务.     

用于粗糙集约简的并行算法

通过对数据挖掘粗糙集约简算法的研究, 提出一种基于区分能力指数的信息系统数据划分思想. 先将系统按属性区分能力分成若干子表, 再由子表的约简求原系统的约简, 这种思想较好地简化了布尔函数的化简过程. 根据该思想设计了一个属性约简并行算法, 并利用Petri网模拟工具CPN Tools对算法的负载平衡进行了分析, 通过实验与相应的串行算法在时间上进行了对比, 实验结果显示, 该算法对于对象较多的大规模系统具有较高的效率.     

基于集群的并行分布式聚类及其应用

海量和高维大数据集的聚类对计算机性能提出了很高的要求.基于具有层次聚类特性的RSOM树方法提供了一种有效的手段以实现对高维大数据集的聚类索引,这种RSOM树可支持最近邻搜索且不需要对数据进行线性搜索.注意到RSOM模型具有内在的层次化、分布式结构特点,并可进行增量的训练,研究了基于高效并行集群的增量、分布式RSOM并行算法,并通过视频图像特征集实例证实了算法的可行性.