磁盘作为当前云服务、大数据等环境下的主要数据存储设备,其应用范围极其广泛。磁盘故障会影响系统服务,甚至导致数据丢失,对保证数据安全及业务的稳定运行产生严重的冲击。尽管磁盘中采用了 RAID、SMART等防御及预警机制,但现有机制准确率较低,系统的可靠性仍受到严重影响。在数据中心、调度中心等实际运行场景下,磁盘作为一种相对稳定的存储介质,存在故障历史数据较少、型号繁多且数量不一的特点,现有用于构建磁盘故障预测模型的异常检测方法存在以下问题:由于磁盘SMART属性维度较高且存在弱相关属性,导致异常检测模型预测能力下降;针对局部异常、包裹异常或异常数据分布密集等特殊异常情况,现有算法检测准确率较低;大多数磁盘迁移学习算法仅利用单源域数据进行离线迁移,模型迁移的效果受源域与目标域之间相关性的影响较大,而现有多源域迁移学习算法常由于目标域异常样本数量较少无法有效对子模型进行评估并集成健壮模型。针对上述问题,本文开展了面向磁盘故障预测的异常检测技术研究,研究成果对提高磁盘存储系统的可靠性,保障其安全稳定运行具有重要意义。论文主要工作如下:(1)研究了磁盘数据预处理及属性筛选方法。根据磁盘SMART属性数据的特点,在进行相关统计分析及预处理的基础上,针对磁盘属性较多且存在弱相关属性导致模型预测能力下降等问题,提出了一种计算属性隔离度的算法。该算法利用标注数据各属性分别构建最优隔离树,根据故障数据位于隔离树叶子节点深度的不同计算该属性隔离度,深度越深说明该属性正异常数据越难区分。据此对各属性进行隔离度排序,减少弱相关属性对模型预测效果的影响。(2)研究了基于无监督的磁盘故障预测方法。针对现有方法在解决局部异常、包裹异常或异常数据分布密集等情况下检测准确率较低的问题,提出一种基于隔离树回溯近邻数据提取和分布概率相似度度量的异常检测方法。首先,基于隔离树集成思想得到的森林架构,由测试数据所在每棵树的叶子节点回溯到深度阈值的祖先节点,将该节点下所有正常训练数据取出,组成衡量测试数据异常程度的数据集;然后,以测试点与数据集内某点为端点,在各属性维度上分别计算其余数据点出现在此两点之间的概率;最后,计算测试点与数据集内所有点的不相似度得出该测试点的异常值。在公开数据集与合成数据集上与现有典型异常检测算法对比实验,验证了本文所提方法的有效性和先进性。(3)研究了基于多源域迁移与增量学习的磁盘异常检测方法。针对同一厂商不同型号磁盘SMART属性数据分布存在一定交叉的特点,提出了一种基于子模型动态重加权多源域迁移与增量学习的磁盘异常检测算法。该算法包含两个核心组件:多源域迁移组件和增量学习组件。针对目标域少量异常标注样本无法有效评估子模型检测性能的问题,提出了一种基于数据分布相似度及动态指数加权集成的迁移学习算法。首先在超空间中提取各目标域正常数据的近邻数据,然后依据目标域异常数据数量对各子模型采用不同的测试标准,最后根据模型预测能力对其进行指数重加权。在增量学习组件中,提出了一种基于在线自动标注的增量学习算法,自动标注当前时刻滑动窗口弹出的数据,并自动更新模型。通过迁移前后对比、多源域与单源域模型鲁棒性对比及所提算法与现有先进非增量学习方法对比,验证了本文所提方法的有效性和先进性。