基于用电特征分析的异常用电检测方法

针对目前异常用电检测中存在的专变用户窃电率高、窃电模式难以察觉、使用窃电检测模型查找窃电用户过程中训练集不足的问题,提出了一种基于用电特征分析的无监督方式异常用电检测方法.该检测方法引入离群点查找算法,量化了海量数据中不同异常用电行为,将其提取为异常用电特征序列,并且根据专变用户不同计量方式和用电特点,构建了基于局部离...     

一种块增量偏最小二乘算法

增量学习模型是一种有效挖掘大规模数据的数据处理技术。增量式偏最小二乘(incremental partial least square, IPLS)模型是一种基于增量技术的偏最小二乘算法改进模型,具有不错的数据降维效果,但是,IPLS模型每新增1个样本都需要对模型进行增量更新,导致模型的训练时间较长。针对这一问题,基于数据分块更新的思想提出了一种块增量偏最小二乘算法(chunk incremental partial least square, CIPLS)。CIPLS算法将样本数据划分为数个的数据块(chunk),然后再以数据块为单位对模型进行增量更新,从而大幅减少了模型的更新频率,提高了模型的学习效率。在K8版本的p53蛋白数据集和路透文本分类语料库上的对比实验表明,CIPLS算法大幅度缩短了增量式偏最小二乘模型的训练时间。     

基于可变精度粗集模型的增量式规则获取算法

为了获取最小决策规则集,当增加新样本时,传统的方法通常需要对决策表中所有数据重新计算,效率欠 佳.从可变精度粗集模型理论出发,讨论了新增记录与已有条件属性等价类的关系及对规则集的影响,在此基础 上提出了基于可变精度粗集模型的增量式规则获取算法.通过仿真实验表明,这种增量式算法是可行的.     

基于可变精度粗集模型的增量式规则获取算法

为了获取最小决策规则集，当增加新样本时，传统的方法通常需要对决策表中所有数据重新计算，效率欠佳。从可变精度粗集模型理论出发，讨论了新增记录与已有条件属性等价类的关系及对规则集的影响，在此基础上提出了基于可变精度粗集模型的增量式规则获取算法。通过仿真实验表明，这种增量式算法是可行的。     

四阶段端到端的用户异常用电模式检测网络

为减少输配电过程中用户异常用电行为所造成的经济损失,提出了一种新颖的端到端的用户异常用电检测网络模型,该模型基于主成分分析网络（Principal Component Analysis network,PCANet）.与传统PCANet不同的是,其中采用四阶段特征映射模型.通过前三阶段特征映射提取网络获取用户用电数据中的正常、异常用电序列特征.该过程中,为了提高PCANet的检测精度,将第一阶段PCA所获取的特征通过下采样嵌入到第二阶段PCA中.将第三阶段PCA输出作为第四阶段小波神经网络（Wavelet neural networks,WNN）的输入,从而进一步了提高模型的检测精度.通过实验对比分析文中所提方法与传统异常用电检测方法表明：所提出的方法具有更高的检测准确性与鲁棒性,可以有效检测出用户异常用电行为.     

基于时序偏移双残差网络的窃电行为检测

针对窃电量小、窃电发生时间随机的窃电行为,提出一种基于时序偏移双残差网络(TS-Bi-ResNet)的窃电行为检测模型.将基础残差网络模型改进为双残差网络(bi-residual network,Bi-ResNet)模型,考虑到窃电行为发生时间的随机性,利用时序偏移(timing shift,TS)算法对用电数据预处理,使模型能够学习用电数据的时间因素特征,构成TS-Bi-ResNet模型.根据真实用电数据和窃电特征生成含有伪窃电数据的混合用电数据集,利用TS-Bi-ResNet模型学习其浅层特征和深层特征,进而执行窃电行为检测.仿真和实际运行结果表明,TS-Bi-ResNet模型可以有效检测窃电量小且窃电发生时间随机的窃电行为,其检测精度优于LSTM模型与残差网络(ResNet)模型.     

Web用户异常行为检测的优化研究

为了优化对于Web日志记录的用户异常行为的检测能力,提出一种基于决策树算法的Web用户异常行为检测算法.从给定已有标签的数据集中,根据Relief-F算法来度量特征,引进混淆矩阵的概念选择合适的阈值 ε,选取比阈值大的统计量分量,其所对应的的特征组成用来训练学习器的特征集.将划分后的相关特征集利用C4.5算法构建模型,...     

基于流时间影响域的网络流量异常检测

针对如何提高网络流量异常行为检测准确率的问题,提出基于网络流时间影响域(TID)的网络流量检测模型.通过分析正常和异常情况下流量网络模型平均度的变化,构建了基于复杂网络平均度指标的网络流量异常检测算法.实验结果表明,基于网络流时间影响域的流量网络模型能合理地描述网络流量间的依赖关系,具有良好的检测性能,同时该网络模型仅需时间戳、源IP、目的IP三维网络特征即可实现,检测方法适用于绝大多数网络类型,检测效率优于其他网络流量异常检测方法,具有较高的普适性.     

快速关联规则增量式更新算法研究

快速关联规则增量式更新算法充分利用以往挖掘过程中的结果,无需再次扫描原数据集,对新增数据集也只扫描一次,即可得到事务更新后的数据集的频繁项集。该算法避免了重新处理已经处理过的数据和多次扫描新增数据集,与其他相关算法相比,极大地减少了算法运行时间,提高了挖掘效率。随着历史数据集的增大,更加显现出本算法的优越性。本算法还可以用于解决由于数据集过大而导致的内存不够的Apriori算法的挖掘问题,相当于数据集分组挖掘。     

基于投影数据库的序列模式挖掘增量式更新算法

针对序列模式挖掘中的增量挖掘问题,提出一种序列模式更新算法ISPBP.算法引入序列数据库结构来存储从原始数据库中挖掘出的所有项、最大频繁模式以及它们的支持数,采用间接拼接方法,只需处理增量数据库,避免了对更新后数据库的重新计算.对于因增量数据库新产生的频繁模式,利用了在增量数据库中出现的频繁项集来减小投影数据库,进一步提高了算法的效率.理论分析和实验表明,算法是有效可行的,并且增量数据库越大,算法在效率上的优越性越明显,算法ISPBP优于传统增量式更新算法.     

基于聚类和随机矩阵理论的用电行为刻画方法

针对配网大数据应用背景下难以建立用户用电行为刻画模型的问题,提出一种基于聚类和随机矩阵理论的电力用户用电行为刻画方法.首先利用K-means聚类法对海量用户用电特征数据进行分析,根据不同用电模式对用户进行群体划分.然后基于随机矩阵理论建立用户用电行为分析模型,利用各用户群体的经济数据、气候数据及电力价格数据等辨识与用户群体用电量相关联的因素,实现对电力用户用电行为的刻画.最后通过甘肃省武威市电网实际用电数据验证所提方法的有效性和准确性,为电力精准营销和制定电力需求侧响应策略提供数据支撑.     

基于密度子空间孤立森林的异常用电检测

针对传统异常用电检测在面临高维数据中的维数诅咒,以及不相关特征对异常检测的影响,造成检测精度低等问题。提出了一种基于无监督密度子空间选择的孤立森林检测算法。首先,提出了一种有效的基于密度的紧凑数据表示方法,提高了子空间选择策略的效率。然后,应用最小冗余-最大相关-密度准则(min-Redundancy-Maximum-Relevance-to-Density , mRMRD),用于选择基于互信息的相关子空间。最后,在相关子空间中构建隔离树并集成孤立森林,实现对异常用电数据的检测。通过实验分析,与传统检测算法相比,所提方法在准确率、ROC曲线下面积（Area Under Curve,AUC）、F1-Score指标上均有提升,提高了异常用电检测的效果。同时,灵敏性分析也验证了无监督密度子空间孤立森林检测算法的有效性。     

基于熵权法集成异质分类器的窃电检测

针对传统检测模型仅通过单一方法进行窃电检测具有局限性且用电数据中存在类不平衡的问题,从集成学习的角度出发,本文提出一种基于熵权法融合异质分类器的窃电检测模型。首先,通过少数类样本合成过采样技术（synthetic minority oversampling technique,SMOTE）处理用电数据不平衡的问题,其次综合考虑个体分类器之间的多样性以及各自的检测性能和训练机理进行基分类器的优选,最后,引入信息熵的概念,基于各个基分类器分类结果的分散程度,计算其权重占比,并以该权重占比集成各基分类器的输出。实验结果表明,对比传统的窃电检测模型,本文所提模型在多项评价指标下表现较好,具有良好的检测性能。     

基于层次分析法的加权LOF窃电检测方法研究

为解决传统窃电检测方法的局限性,本文提出一种基于层次分析法的加权LOF窃电检测方法。该方法首先通过对窃电现象的系统分析,提出新的用电特征指标,构建合理的窃电嫌疑评价体系;其次针对各电气指标数据异常所能代表窃电的不同概率,采用层次分析法合理量化各电气指标的权重,并结合加权LOF算法对海量用户数据进行加权离群分析,使用综合离群因子表征用户窃电嫌疑程度。最后通过实测数据验证,结果表明所提检测方法相较传统LOF算法在较低检测率时能够挖掘出更多的窃电用户,进而提升采集系统的窃电检测效率。     

基于多层次非负稀疏编码和SVM的窃电检测方法

针对现有方法对新型窃电方式检测准确率不高的问题,文中提出了一种基于多层次非负稀疏编码和支持向量机(support vector machines, SVM)的窃电检测新方法。该方法以月度用电曲线为检测对象,基于多层次非负稀疏编码提取样本的多层次用电模式特征,以及窃电情景分析提取样本的数值统计特征,将二者的融合检测特征输入SVM分类器进行窃电检测。以爱尔兰智能电表数据集构造的算例验证了所提方法能够提高窃电检测的精确率和召回率。     

基于用户访问路径分析的页面推荐模型

提出一种新的基于用户访问路径分析的页面推荐模型.该模型采用在线处理方式,利用增量图划分方法形成页面聚类,依此生成动态页面推荐.模型以Apache模型的形式实现,可适用于大型商业网站以及内容更新频繁的网站.试验结果表明,该模型具有较好的整体性能.     

面向不稳定日志的一致性异常检测方法

系统日志被用作系统异常检测的主要数据源.现有的日志异常检测方法主要利用从历史日志中提取的日志事件数据构建检测模型，即假设日志数据随时间的推移其分布规律具有稳定性.然而，在实践中，日志数据往往包含以前未出现过的事件或序列.这种不稳定性有两种来源：1）日志发生了概念漂移；2）日志处理过程中引入了噪声.为缓解日志中出现的不稳定问题，设计了基于置信度协同多种算法的异常检测模型EBCAD（Ensemble-Based Conformal Anomaly Detection）.首先，用统计量p值度量日志之间的不一致性，选择多个合适的集成算法作为不一致性度量函数计算不一致性得分进行协同检测；然后，设计了基于置信度的更新机制来缓解日志不稳定问题，将新日志的不一致性得分添加到已有得分集，更新日志异常检测的经验；最后，根据协同检测得到的置信度与预设置信水平大小来判断不稳定日志是否异常.实验结果表明，在HDFS日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD模型的F1值仅从0.996降低到0.985；在BGL_100K日志数据集中，当不稳定数据注入率从5%增加到20%时，EBCAD的F1值仅从0.71降低到0.613.证明EBCAD在不稳定日志中可以有效检测到异常.     

一种基于权值的序列模式更新算法

针对原始数据库中增加数据时如何更新规则的问题,提出并应用了一种基于权值的序列模式更新算法UW IUA。该算法利用权值来归约子序列集和利用知识数据库中保留的最小非大序列集产生新的候选序列集,避免了重复遍历原始信息库而造成数据量太大的问题,从而缩短程序运行时间和节约数据存储空间,较好地改进了算法性能。实验结果证明UW IUA算法的效率高于IUA算法。     

物联网专用频点自组网驱动路由协议算法分析

为了解决物联网专用频点自组网网络节点能量消耗容易失衡,当节点数增加时易产生链路故障的问题,设计一种改进物联网专用频点自组网驱动路由协议算法.以感知现场、汇聚节点和Internet为主要结构,构建物联网专用频点自组网网络模型.模型采用多媒体印刷读物(multimedia print reader,MPR)集合综合选取节点机制,以网络节点总能量消耗以及能量代价为基础,通过节点优化目标函数,确保自组网能量消耗处于均衡状态.通过网络路由协议改进算法,采用最小覆盖集实现物联网专用频点自组网链路故障的修复.结果表明,改进后的算法对路由链路信息转发具有良好的吞吐性能,可以提高网络数据传输性和连通性,并可增加节点生存时间,最终提升数据包到达率和数据控制量.     

Analyzing electricity consumption via data mining

This paper proposes a model to analyze the massive data of electricity.Feature subset is determined by the correla-tion-based feature selection and the data-driven methods.The attribute season can be classified successfully through five classi-fiers using the selected feature subset,and the best model can be determined further.The effects on analyzing electricity consump-tion of the other three attributes,including months,businesses,and meters,can be estimated using the chosen model.The data used for the project is provided by Beijing Power Supply Bureau.We use WEKA as the machine learning tool.The models we built are promising for electricity scheduling and power theft detection.