来源:期刊VIP网 时间:
作者:李加军;
单位:广州华商学院数据科学学院;
摘要:精准找出异常离群数据有利于确保大规模数据在应用中的精确度,为此,设计了基于孤立森林的多离群点数据检测算法。首先,采用近似符号聚合算法处理大规模数据的多条件时间序列,再通过计算欧氏距离分析多条件时间序列的相似度,而后采用加权调整法调整相似曲线,剔除其中的异常数据,完成对大规模数据的清洗;利用清洗后的数据构建孤立树形成孤立森林,将待检测数据作为孤立森林的输入量,通过计算数据样本点到每棵树根节点的距离,实现对离群点数据的检测。实验结果表明:该算法能够有效地检测出离群点数据,在针对大规模数据离群点的检测时,检测结果精确度较高。
关键词:孤立树;;孤立森林;;离群点;;大规模数据;;异常检测;;相似度测量;;数据清洗;;时间序列
基金资助:广州华商学院校内导师制科研项目:大数据驱动的电子商务企业竞争力评价研究(2022HSDS12)