Spark数据倾斜问题研究

当今人类已经进入大数据时代,海量数据处理已成为大数据技术领域的研究热点。Spark是一种典型的基于内存的分布式大数据处理框架,但在Spark的实际应用中出现的数据倾斜问题会对计算效率产生重要影响。本文针对于Spark在各类应用中出现的数据倾斜问题,梳理国内外相关研究进展,对在出现数据倾斜问题后常用的优化方法进行了分析对比,最后对未来的研究方向进行了展望。     

肝癌细胞株HepG2的G1期、G2／M鞋细胞蛋白质组表达差异的研究

通过TdR（胸腺嘧啶核苷）调控人肝癌细胞株HepG2的细胞周期，运用双向电泳-图像分析-质谱技术研究肝癌细胞株HepG2的G1期、G2／M期全细胞蛋白质组表达的差异，探索参与肝癌细胞株HepG2的G1期、G2／M期调控相关的蛋白。以TdR诱导肝癌细胞株HepG2，分别得到同步化的G1期、G2／M期细胞，流式细胞术检测。采用比较蛋白质组学的研究技术（双向电泳、质谱分析）筛选G1期、G2／M期差异表达的蛋白质。结果流式细胞术检测显示TdR诱导后，分别获得（63．62±2．82）％的G2／M期同步化细胞，（75．24±0．17）％的G1期同步化细胞，通过双向电泳-图像分析-质谱技术得到21个差异表达的蛋白。其中G2／M期表达，G1期未见表达有10种蛋白；存在三倍以上的差异点11个：2种在G2期表达上调，9种在G1期表达上调。说明TdR阻断法能够获得很好的同步化细胞。质谱鉴定得到的这些差异表达的蛋白质涉及到细胞周期调控、DNA结合、转录调控、mRNA剪接、肽链合成起始、折叠以及细胞代谢等方面。