Appearance
第4章：数据预处理
数据预处理是机器学习和深度学习项目中至关重要的一步。它涉及将原始数据转换成适合模型训练的格式，以及改善模型性能的一系列步骤。
4.1 数据清洗
数据清洗是指识别和纠正数据中的错误或不一致的过程。这一步骤对于提高模型的准确性和可靠性至关重要。
4.1.1 处理缺失值
- 删除：移除含有缺失值的行或列。
- 填充：用统计数据（均值、中位数、众数）或预测模型来填补缺失值。
4.1.2 异常值检测
- 统计方法：使用标准差、四分位数范围等方法识别异常值。
- 可视化方法：通过箱型图等图形工具直观识别异常值。
4.1.3 噪声数据处理
- 平滑技术：对数据进行平滑处理以减少噪声。
- 滤波方法：使用低通滤波器等技术减少高频噪声。
4.2 特征工程
特征工程是创建或选择输入特征以提高模型性能的过程。
4.2.1 特征选择
- 过滤方法：根据统计测试选择最相关的特征。
- 包装方法：使用模型自身进行特征选择。
- 嵌入方法：在模型训练过程中进行特征选择。
4.2.2 特征构造
- 多项式特征：创建新特征以捕捉非线性关系。
- 交互特征：创建新特征以表示特征间的交互作用。
4.3 数据归一化和标准化
数据的尺度对许多机器学习算法的性能有显著影响。归一化和标准化是调整特征尺度的常用技术。
4.3.1 归一化（Min-Max Scaling）
- 将特征缩放到给定的范围内，通常是0到1。
- 公式：
4.3.2 标准化（Z-Score Normalization）
- 调整特征使其具有均值为0和标准差为1。
- 公式：
4.4 数据编码
数据编码是将分类变量转换成数值型变量的过程，这对于大多数机器学习算法是必需的。
4.4.1 标签编码（Label Encoding）
- 将每个类别分配一个唯一的整数。
- 适用于有序的分类变量。
4.4.2 独热编码（One-Hot Encoding）
- 为每个类别创建一个新的二进制列。
- 适用于无序的分类变量。
4.5 数据划分
在训练模型之前，需要将数据集划分为训练集和测试集，有时还包括验证集。
4.5.1 训练集、测试集和验证集
- 训练集：用于训练模型的数据。
- 测试集：用于评估模型性能的数据。
- 验证集：用于模型选择和超参数调整的数据。
4.6 特征缩放的重要性
特征缩放可以显著影响模型的训练速度和性能。一些算法，如支持向量机和K-最近邻，对特征的尺度非常敏感。
4.7 结论
数据预处理是确保机器学习项目成功的基石。通过清洗、特征工程、归一化和编码，我们可以提高数据的质量，加快模型的收敛速度，并提高模型的预测性能。