构建高维度数据立方体的有向图方法

Hadoop、spark等软件框架为大数据的并行快速处理提供了技术支持,同时大数据环境也对OLAP提出了准实时和实时响应的要求。数据立方体是OLAP的多维数据模型抽象,大数据的多变性分析使数据立方体呈现高维特点,大数据的数据量也造成了数据立方体的膨胀。利用有向图描述数据立方体,可以为数据分析提供数据片和数据块的全集,通过提取全集中的某个元素,提高数据分析的效率。对高维度的数据立方体,采用降低维度的办法进行立方体规模的控制。根据各个维度的使用频度和方式,提出了可无维度、必须维度和联合维度的概念,并分别给出了各种维度的判断方法,实现了所涉及的数据立方体的调整简化方法。