ETL国产服务器替代进口服务器的研究

构建中国建设银行新疆分行将ETL应用从进口服务器迁移到国产服务器的迁移方案,搭建进口服务器环境和国产服务器环境的运行比较平台.根据工作流类型,比较典型工作流在两环境下的运行情况,发现虽然国产服务器基于内存处理的性价比要差于进口服务器,但若与生产环境中的进口服务器平台相比,无论从性能,还是从健壮性角度,国产服务器均可独立承担起银行ETL应用的工作.     

基于CWM的标准ETL的设计与实现

目前开发ETL(Etract Transform Load)系统过程中,最典型的问题就是元数据管理混乱,在分析ETL和元数据之间关系的基础上,提出了一种基于公共仓库模型开发的标准ETL系统设计思想,给出了该标准ETL系统的实现过程。将该方法应用于某医疗保险系统的ETL开发过程中,结果表明,与传统的ETL开发过程相比,该系统开发效率提高40%以上,系统具有良好的通用性和易集成性,解决了元数据管理混乱的问题。     

数据仓库中ETL技术的研究与改进

ETL是数据仓库构建中的核心环节,通过对传统的ETL架构体系的介绍,从数据抽取、数据转换等方面对ETL过程进行了改进,让数据转换环节在数据抽取和数据清洗加载的过程中同时进行,并增加了一个临时存储区,以此来缓解在数据抽取和转换过程中由于数据量太大或过于复杂而引起的数据拥堵和冗余的现象。通过改进后的ETL系统,可以提高整个数据仓库运行的效率,大大改善运行速度,提高了数据仓库的数据质量。     

基于企业网格的ETL技术的应用研究

随着网格技术的迅速发展,特别是网格产品的商业化,如何对网格中资源信息数据及时、高效地监控、管理成为网格用户的迫切需求.针对目前企业级网格系统高效处理资源信息数据的要求,提出了将ETL(Extract、Transformer、loader)技术应用到网格系统的解决方案.在该方案中,把ETL技术应用到服务接口中,然后将其架构在网格系统上;通过启动服务接口对数据进行抽取、转化、加载,实现资源信息数据的集成处理,最终向网格用户提供有效的资源信息数据.     

一种高效的对等网络流媒体数据调度算法

在基于无结构对等网络环境的P2P流媒体系统中,针对现有数据调度算法不能充分利用节点带宽资源导致服务器负载较重的问题,提出了一种基于数据块优先级的数据调度算法.该算法根据邻居节点滑动窗口中数据需求信息和数据稀有性计算数据块优先级,调度时优先请求高优先级的数据,以提高节点间数据协作性.当多个源节点可以同时提供所需数据时,根据节点已上传下载数据量计算节点的贡献率,向贡献率最低的源节点请求数据,实现新加入节点上行带宽资源的快速利用.仿真实验与实际系统测试表明,该算法可以更充分地利用节点带宽资源,较传统算法降低服务器负载20%以上,提高了系统可扩展性.     

基于混合云存储多频道视频直播系统方案设计

针对多频道直播系统中存在的用户启动延迟大、播放滞后、频道切换扰动等问题,以及为了满足大规模用户需求而部署大量视频服务器致使成本昂贵的缺点,本文提出了一种基于混合云存储的多频道视频直播方案.该方案设计了公有云服务器和私有云服务器以及与用户间的应用层网络架构,引入P2P技术提升直播系统的协作功能;并构建了服务器选择和带宽分配模型.实施结果表明,该方案能有效提高系统服务能力,改善直播视频质量.     

智能导库工具研究与实现

针对金融系统数据的特点,基于ETL基本原理,结合工作流调度引擎,设计开发了具有结构化数据和半结构化数据处理能力的ETL(Extract Transfer move and Loading)处理平台——SETL(SMART ETL)智能化ETL处理平台。     

瘦客户计算环境下的服务网络架构

为了解决瘦客户计算中的服务端网络架构问题,提出了一个基于对等网的服务端网络模型(服务网络)。服务网络以T apestry架构为基础,通过扩展节点服务层次,把瘦客户计算中传统的单服务器模式扩展为多服务器模式。并在此基础上提出了优化的用户数据的分布和更新算法。该架构模型充分利用了对等网的特点,试验结果表明:可以较好地解决瘦客户计算中多服务节点共同提供服务的问题。     

唐钢冷连轧机过程控制系统

为提高唐钢新建5机架冷连轧机组的自动化控制水平并保证产品控制精度,设计开发了过程控制系统.系统平台采用通用PC服务器和Windows 2000操作系统.过程控制系统设计为数据库、人机界面和核心控制系统三部分.数据库系统采用Oracle数据库,存储运行过程中需要保存和交换的大量数据.使用VB开发人机界面,实现人机交互功能.核心控制系统基于VAIronment软件开发环境,采用C++编程,实现系统管理、数据通讯、运行信息管理、标签信息管理、过程跟踪等辅助功能,并通过模型计算实现核心的设定计算功能.现场应用表明,该系统具有非常高的设定精度.     

基于分层映射的ETL过程建模

ETL是数据仓库建设的首要环节,在数据仓库建设过程中占有极其重要的地位。为了使ETL过程更加清晰、可靠,设计更加规范、便捷,提出了一种基于分层映射的ETL过程建模方法。本方法建立的ETL模型,具有严格规范的控制流程,能够清晰直观地反映数据的来源和流向、源数据与目标数据之间的映射和转换关系。本方法有效提高了开发效率,能够...     

建筑用电设备物联网与云计算平台的融合应用

文章提出了建筑用电设备物联网与云计算平台融合应用的思路,通过这种途径,在降低硬件投入成本的前提下,很好地解决了大规模应用建筑用电设备物联网时,可能出现的节点错误、服务器瘫痪等现象.两者的融合应用必然具有广阔的前景.     

一种基于云计算的负载均衡技术的研究

运用云计算模型与马尔可夫过程理论,建立云计算下的负载转移,给出转移概率算法来解决节点的负载失衡问题。通过将服务封装在虚拟机中并映射到各台物理服务器上,根据虚拟化技术负载变化进行虚拟机和物理资源的重映射,从而实现整个系统的负载均衡。     

基于元数据的通用异构数据交换工具

为解决企业数据模型升级等多异构数据库间的数据交换问题,构建基于元数据的通用异构数据交换工具。重点研究ETL驱动元数据描述、通用异构数据交换体系、元数据存储模型。实现基于本体映射的元数据的自动抽取,并用元数据驱动数据抽取、转换和加载引擎功能。工具在大庆石油勘探研究院数据中心建设中应用,取得了良好效果。     

基于云计算业务应用的定制化服务器性能研究

作为提供计算能力的核心资源,服务器在云计算中具有重要地位.定制化服务器具备优化的性能、密度、重量、功耗等特性,已经在互联网行业和云计算行业中得到广泛应用.文中在Web应用、虚拟化应用和分布式存储应用三种不同场景下,对不同负载能力下的定制化服务器性能指标进行了测试,找出了性能指标的一般变化规律和主次关系,为服务器定制化和优化硬件配置提供了决策依据.     

安全的基于网络的计算机系统

为了解决日益严重的局域网安全问题,提出了一种安全的基于网络的计算机系统模型。该模型以透明计算机系统为基础,利用透明计算技术对计算机内部的安全问题进行控制。针对网络内主机间的安全问题,采用星型拓扑结构,在网络的中心位置引入监控器设备,监控系统中各个部件之间的通信过程,以实现对主机与服务器之间、主机之间及主机与外网之间的通信数据过滤和动态物理隔离,提高了系统的安全性。理论分析表明:该系统可有效地解决网络安全问题,从而为局域网提供了可靠的安全保证。     

安全的基于网络的计算机系统

为了解决日益严重的局域网的安全问题,提出一种安全的基于网络的计算机系统模型。该模型以透明计算机系统为基础,利用透明计算技术对计算机内部的安全问题进行控制。针对网络内主机间的安全问题,采用星型拓扑结构,在网络的中心位置引入监控器设备,监控系统中各个部件之间的通信过程,以实现对主机与服务器之间、主机之间及主机与外网之间的通信数据过滤和动态物理隔离,提高了系统的安全性。理论分析表明:该系统可有效地解决网络安全问题,从而为局域网提供了可靠的安全保证。     

Protecting Terminals by Security Domain Mechanism Based on Trusted Computing

0 IntroductionEventhoughsignificant achievement has been madeinre-search of characteristic and abnormal actions of comput-er virus and attack, the investigation of defending the un-known computer virus and attackis progressing much slower .Under the conditions that attackers are much clever , newcomputer virus is presented continuously,the difference be-tween computer virus and normal programis less and lessclear ,detecting computer virus and attack will be more andmore difficult .Andto be the…     

Analysis of Classical Encryption Techniques in Cloud Computing

Cloud computing has become a significant computing model in the IT industry. In this emerging model,computing resources such as software, hardware, networking, and storage can be accessed anywhere in the world on a pay-per-use basis. However, storing sensitive data on un-trusted servers is a challenging issue for this model. To guarantee confidentiality and proper access control of outsourced sensitive data, classical encryption techniques are used. However, such access control schemes are not feasible in cloud computing because of their lack of flexibility, scalability, and fine-grained access control. Instead, Attribute-Based Encryption(ABE) techniques are used in the cloud. This paper extensively surveys all ABE schemes and creates a comparison table for the key criteria for these schemes in cloud applications.     

一种基于Cloud-P2P计算架构的大规模病毒报告分析机制

通过引入新型的云计算与对等计算融合模型Cloud-P2P,提出基于Cloud-P2P计算架构的大规模病毒报告分析机制. 该机制充分利用海量终端的计算能力,将针对大规模病毒报告的分析任务进行有效分割,并通过移动Agent有序部署到服务器端和终端节点上执行,从而有效降低服务器端的负载,提高系统的处理效率. 详细阐述了Cloud-P2P融合计算模型、基于移动Agent的任务部署与执行点选择机制以及基于Cloud-P2P计算架构的大规模病毒报告分析机制和原型系统,并从负载平衡、安全性、可靠性等方面进行了性能分析. 分析结果表明,机制具有良好的理论与实用参考价值.      

基于Hadoop的校园云存储系统的研究

针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点。通过对Hadoop框架和MapReduce编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop的校园云存储系统。经过实验验证,该系统有效地解决了在校园办公、教学和科研过程中遇到的海量数据存储管理问题,具有开发成本低、处理速度较快、运行稳定、易于扩展等特点。