基于ElasticSearch的大日志实时搜索的软件集成方案研究

现代企业每天生成很多日志文件,如果能实时处理日志数据,企业能获取更大的商业价值,但管理这个大日志数据是一个巨大的挑战,因为传统的技术用来处理庞大的数据不够高效.Hadoop生态系统提供一种新的方式来处理大数据,ElasticSearch技术是基于云环境的实时搜索引擎.本文提出了基于ElasticSearch实时进行大日志数据搜索的软件集成方案,采用基于硬件创建虚拟机环境,根据搜索条件使用ElasticSearch得到需要的rowkey列表,Hbase用这些rowkey直接从数据库中得到数据.实验证明,随着日志事件搜索量的增加,搜索反应时间不线性增加,基于ElasticSearch的大日志实时搜索的软件集成方案设计具有可行性.     

云计算环境下的一种基于Hbase的ORM 设计实现

针对云计算环境下云存储对数据的处理要求,设计一种以ORM(Object Relational Mapping)为基础的Hbase 数据持久处理方法.主要利用JPA(Java Persistence API)的annotations来配置Hbase库表后,对存储于Hbase的数据进行持久操作,以达到对底层HbaseAPI抽象,也可以实现从多云存储上集成与提取数据.最后测试表明能有效为研发人员节约开发时间和降低开发成本.