Experimental Data for SSD Failure Prediction Based on the Public Alibaba SSD Dataset

本数据集为基于阿里巴巴公开 SSD（Solid State Drive）S.M.A.R.T. 运行监测数据整理形成的 SSD 故障预测实验数据。原始数据由阿里巴巴公开发布，来源于其实际运行环境中 SSD 设备的历史状态监测记录，包含设备标识、采样时间、SSD 型号、S.M.A.R.T. 属性以及设备故障相关信息。数据以 SSD 设备为基本监测对象，主要按照天级粒度记录设备运行状态，因此其时间分辨率为 1 天。本数据不属于具有地理空间属性的数据集，不包含经纬度、地理位置等空间信息，空间分辨率不适用。原始公开数据已经过匿名化处理，本研究未使用或引入个人信息、地理位置信息以及研究单位内部设备运行数据等非公开信息。本研究未对 SSD 设备进行额外的物理采集或实验测量，而是在阿里巴巴公开原始数据基础上进行二次整理和加工，形成用于论文中 SSD 故障预测实验的数据集。主要处理步骤包括数据筛选、异常及缺失数据处理、特征整理、故障预警标签构建、数据标准化、时间序列样本构造以及训练集、验证集和测试集划分。首先，根据研究所需的 SSD 型号和 S.M.A.R.T. 属性对原始记录进行筛选，并删除与模型训练无关的辅助字段。对于采集过程中出现的缺失值，采用时间序列前向填充方法进行补全；对于无法通过前序有效观测值补全的连续缺失区间，统一使用 0 进行填充，以保证样本特征维度一致。随后，根据 SSD 的实际故障发生时间构造故障预警标签。对于某一 SSD，其故障发生时刻记为 (t_f)，预设故障预警窗口长度为 (T_p)，位于 ((t_f-T_p,t_f)) 时间区间内的样本标记为故障预警样本，即标签为 1，其余正常运行样本标记为 0。通过上述方法，将原始设备状态监测记录转换为适用于监督学习的二分类故障预测数据。在数据标准化过程中，对连续数值型 S.M.A.R.T. 特征采用标准化方法进行处理。为避免未来测试数据的整理后的表格数据以“样本记录”为基本单位。每一行对应某一 SSD 在特定时间或特定时间序列窗口下形成的一条实验样本，每一列对应一个特征字段或辅助字段。主要字段包括设备匿名标识、采样时间、SSD 型号、各项 S.M.A.R.T. 状态特征以及故障预警标签等。论文实验主要使用经过筛选的 S.M.A.R.T. 特征作为模型输入。S.M.A.R.T. 属性主要反映 SSD 内部运行状态、介质磨损、读写异常以及错误统计等信息，其中多数属性属于累计计数值、状态统计值或厂商定义的无量纲指标，不同属性的物理含义和量纲并不完全一致，因此不对全部 S.M.A.R.T. 特征统一指定计量单位；涉及明确物理量的属性则按照原始数据定义解释。故障预警标签取值为 0 或 1，其中 0 表示当前样本未处于设定的故障预警区间，1 表示该样本处于 SSD 实际故障发生前的预警时间窗口内。原始监测数据存在一定程度的字段缺失，其主要原因包括设备在部分日期未上报某些 S.M.A.R.T. 属性、不同 SSD 型号支持的监测属性存在差异以及实际运行环境中存在间歇性数据采集缺失等。针对上述情况，本研究在数据预处理阶段进行了统一处理，因此最终用于模型训练和测试的数据不存在影响程序读取和模型计算的空值。需要说明的是，缺失值填充可能使个别时刻的特征值与设备真实状态之间产生一定偏差，但由于相关处理规则在全部数据中保持一致，并且模型主要利用连续时间窗口中的整体变化趋势进行故障预测，因此该处理主要用于保证数据完整性和实验可重复性。除此之外，S.M.A.R.T. 指标本身由 SSD 固件和设备内部监测机制生成，部分属性属于厂商定义的统计量，可能受到设备型号、固件版本及采样机制的影响，因此本数据不将其视为具有统一测量误差范围的物理测量数据。本数据集的数据整理和预处理主要在通用计算机或计算服务器环境中完成，不涉及额外的实验仪器或专用数据采集设备。数据处理主要采用 Python 程序实现，并使用 pandas、NumPy 和 scikit-learn 等常用数据分析工具完成表格数据读取、缺失值处理、特征整理、数据标准化以及训练集、验证集和测试集划分等操作。数据文件采用 CSV、XLSX 等常见表格格式保存时，可使用 Microsoft Excel、WPS Office、Python pandas 等常用软件直接读取，不需要专用软件或特殊解析工具。