在机器学习项目中数据处理往往占据整个流程的大半时间。很多初学者拿到一份数据集后最先遇到的问题不是模型选型而是“这份数据里有数值列又有文本分类列到底该怎么统一处理”如果直接把类别列删除会丢失大量信息如果硬把类别列转成数字又会引入错误的顺序关系如果全部做 One-Hot 编码遇到高基数类别时又会造成维度爆炸。本文要讨论的正是这个主题处理混合变量。所谓混合变量指的是同一份数据集中同时包含数值型特征Numerical Features和类别型特征Categorical Features。我们将围绕特征工程的完整流程梳理从数据预览、缺失值处理、编码方式选择到构建机器学习流水线的全过程并提供一个基于 Python 和 scikit-learn 的可直接运行的实战案例。无论你是正在学习机器学习基础课程还是准备参加数据分析面试或者正在做实际项目的特征工程这篇文章都值得收藏备用。1. 什么是混合变量为什么需要特别处理先看一个最直观的示例。假设我们在做一个“员工薪资预测”任务原始数据可能长这样员工ID年龄部门学历工作年限薪资A00129技术部本科315000A00234市场部硕士821000A00326运营部专科29000A00441技术部博士1540000这份数据中年龄、工作年限、薪资是数值型特征部门、学历是类别型特征。像这样同时包含数值变量和类别变量的数据集就是典型的混合变量数据集。1.1 为什么不能直接丢给模型大部分机器学习算法例如线性回归、逻辑回归、支持向量机、神经网络在底层做矩阵运算时要求输入是数值类型。如果你把部门这一列直接以字符串形式交给模型模型根本无法计算。即使某些树模型如决策树能处理 pandas 中的 category 类型在实际工程中我们仍然建议统一转换成数值形式原因有三提升特征表达能力方便进行特征组合统一接口便于在不同模型之间切换对比避免不同框架对类别特征的处理逻辑不一致。1.2 类别型特征的两大类型在动手编码之前必须先区分类别特征是有序还是无序。无序类别Nominal类别之间没有大小关系例如颜色红色、绿色、蓝色部门技术部、市场部、运营部。这类特征在编码时不能赋予数字顺序否则模型会认为 2 1 0。有序类别Ordinal类别之间存在天然的等级关系例如学历专科 本科 硕士 博士评价等级差 中 好 优。这类特征可以映射为有序整数但要确保映射方向正确。这一点在实际操作中非常容易忽略。拿学历这一列来说如果直接使用LabelEncoder或pandas.factorize它会按照拼音或字母顺序编码比如“专科0博士1本科2硕士3”这个顺序完全不符合真实语义会给模型引入错误先验。2. 环境准备与版本说明本文的示例代码基于以下环境你用类似版本即可不需要完全一致工具 / 库版本建议Python3.8 及以上pandas1.5.0 以上numpy1.21.0 以上scikit-learn1.2.0 以上category_encoders2.5.0可选matplotlib3.6.0用于可视化如果你的环境尚未安装这些库可以执行pip install pandas numpy scikit-learn matplotlib如果希望使用目标编码等高级编码方式还需要安装pip install category_encoders这里要提醒一点不同版本的 scikit-learn 在 API 上会有细微差异。例如OneHotEncoder的handle_unknown参数、ColumnTransformer的命名规范等不同版本略有不同。本文示例以 scikit-learn 1.2.x 为基准如果你使用的是 1.0 或更早版本建议先升级。3. 核心处理方法拆解在正式写代码之前我们先从原理上把处理方法讲清楚。3.1 数值型特征的常规处理数值型特征通常不需要做编码但需要做缺失值处理数值列可以使用均值、中位数或模型预测填补量纲统一使用标准化或归一化让不同量纲的特征处于同一尺度异常值处理对明显偏离正常范围的数据进行截断或删除分布偏态处理对长尾分布的特征做对数变换或 Box-Cox 变换。需要注意的是树模型对特征尺度不敏感所以随机森林、XGBoost 等模型可以不进行标准化但线性模型、KNN、SVM 和神经网络对尺度非常敏感标准化几乎是必须的。3.2 无序类别特征的 One-Hot 编码One-Hot 编码是处理无序类别最经典的方式。假设部门有三个取值编码后的效果如下部门部门_技术部部门_市场部部门_运营部技术部100市场部010运营部001在 sklearn 中可以使用OneHotEncoder它默认生成稀疏矩阵节省内存。实际使用中还会遇到“测试集出现训练集中未出现过的类别”的问题这可以通过设置handle_unknownignore来解决。One-Hot 的缺点也很明显当类别基数Cardinality很高时特征维度会急剧膨胀。例如某个“城市”列有 1000 个取值One-Hot 之后会增加 999 列这会导致内存消耗巨大同时很多线性模型会产生过拟合。3.3 有序类别特征的 Ordinal 编码对于有顺序的类别变量我们可以手动指定映射关系。重点在于“手动指定”而不是让工具自动编码。education_mapping { 专科: 0, 本科: 1, 硕士: 2, 博士: 3 }这样编码后的数值是有实际意义的模型能够学到“学历越高薪资越高”这样单调的关系。3.4 高基数类别特征的目标编码与频率编码当类别特征取值非常多时One-Hot 编码不再合适。这时常见的替代方案有目标编码Target Encoding和频率编码Frequency Encoding。目标编码用该类别下目标变量的均值来替换原始类别。例如“部门_技术部”这一类别下的平均薪资是 25000那么所有技术部的样本就用 25000 来编码该特征。目标编码的优点是能压缩维度且携带目标信息但缺点也明显——非常容易过拟合必须配合交叉验证或平滑Smoothing使用。频率编码用类别出现的频次或频率替换原始类别。例如“技术部”出现 200 次“市场部”出现 80 次则分别用 200 和 80 编码。频率编码不会引入目标泄漏但会丢失部分类别语义。4. 完整实战案例员工薪资预测中的混合变量处理接下来我们用一个完整的示例演示如何将上面的方法组合起来。为了让示例更直观我们会生成一份模拟数据集然后通过 scikit-learn 的ColumnTransformer和Pipeline构建一套可复用的特征工程流程。4.1 创建项目结构与模拟数据首先创建项目目录mixed_variable_demo/ ├── data_processing.py ├── train_model.py └── requirements.txt我们先编写一个数据生成脚本模拟一份包含混合变量的员工数据集。# 文件路径data_processing.py import numpy as np import pandas as pd np.random.seed(42) n_samples 1000 # 数值型特征 age np.random.randint(22, 60, n_samples) years_at_company np.random.randint(0, 20, n_samples) hours_per_week np.random.randint(30, 60, n_samples) # 类别型特征 departments np.random.choice([技术部, 市场部, 运营部, 销售部, 财务部], n_samples) education_levels np.random.choice([专科, 本科, 硕士, 博士], n_samples, p[0.2, 0.4, 0.3, 0.1]) cities np.random.choice([北京, 上海, 广州, 深圳, 杭州, 成都, 武汉, 南京], n_samples) # 生成目标变量薪资与年龄、工龄、学历、城市有一定关系 salary ( 5000 age * 150 years_at_company * 800 hours_per_week * 50 np.where(education_levels 本科, 2000, 0) np.where(education_levels 硕士, 5000, 0) np.where(education_levels 博士, 9000, 0) np.where(np.isin(cities, [北京, 上海]), 3000, 0) np.random.normal(0, 1000, n_samples) ) # 构造 DataFrame df pd.DataFrame({ age: age, years_at_company: years_at_company, hours_per_week: hours_per_week, department: departments, education: education_levels, city: cities, salary: salary }) # 人为添加缺失值 df.loc[::50, age] np.nan df.loc[::70, department] np.nan print(df.head()) print(\nDataFrame Info:) print(df.info())运行这个脚本你会看到生成的模拟数据集。age和department列被人为加入了缺失值方便演示处理流程。4.2 划分训练集和测试集在特征工程中最忌讳的是用全量数据做编码或填补然后再划分训练测试集。正确做法是先划分再用训练集统计数据去转换验证集和测试集。from sklearn.model_selection import train_test_split X df.drop(salary, axis1) y df[salary] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print(f训练集样本数: {X_train.shape[0]}) print(f测试集样本数: {X_test.shape[0]})4.3 使用 ColumnTransformer 构建特征处理流水线ColumnTransformer是 sklearn 中处理混合变量的核心工具。它允许你对不同列分别应用不同的变换然后再将结果拼接起来。我们定义三套处理规则数值列中位数填补 标准化无序类别列众数填补 One-Hot 编码有序类别列缺失值标记 自定义映射编码。from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder, FunctionTransformer from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline import pandas as pd # 自定义有序编码函数 def ordinal_encode(X, mapping_dict): X X.copy() for col, mapping in mapping_dict.items(): X[col] X[col].map(mapping).astype(float) return X education_mapping { 专科: 0, 本科: 1, 硕士: 2, 博士: 3 } # 定义列 numeric_cols [age, years_at_company, hours_per_week] nominal_cols [department, city] ordinal_cols [education] # 数值列处理 numeric_transformer Pipeline(steps[ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]) # 无序类别处理 nominal_transformer Pipeline(steps[ (imputer, SimpleImputer(strategymost_frequent)), (onehot, OneHotEncoder(handle_unknownignore)) ]) # 有序类别处理 ordinal_transformer Pipeline(steps[ (ordinal, FunctionTransformer( lambda X: ordinal_encode(X, {education: education_mapping}), validateFalse )) ]) # 组合成预处理流程 preprocessor ColumnTransformer( transformers[ (num, numeric_transformer, numeric_cols), (nom, nominal_transformer, nominal_cols), (ord, ordinal_transformer, ordinal_cols) ], remainderdrop ) # 演示直接调用 preprocessor 处理训练集 X_train_transformed preprocessor.fit_transform(X_train, y_train) print(处理后的训练集形状:, X_train_transformed.shape) print(特征名:, preprocessor.get_feature_names_out())4.4 在流水线中加入回归模型特征是处理完了但我们最终目标是预测薪资。为了确保预处理和模型训练在同一个流程中我们将预处理器和回归模型一起放进Pipeline。from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error, r2_score model Pipeline(steps[ (preprocessor, preprocessor), (regressor, RandomForestRegressor(n_estimators200, random_state42)) ]) # 训练 model.fit(X_train, y_train) # 预测 y_pred model.predict(X_test) # 评估 rmse mean_squared_error(y_test, y_pred, squaredFalse) r2 r2_score(y_test, y_pred) print(fRMSE: {rmse:.2f}) print(fR²: {r2:.4f})这段代码同时完成了特征处理和模型训练。你不需要手动去对齐列名因为ColumnTransformer已经处理好了拼接逻辑。4.5 结果说明运行上面的代码你大概率会得到一个不错的 R² 值因为模拟数据本身带有明显的线性关系。但重点不在于分数多高而在于整个流程是闭环的缺失值被正确填补用训练集的统计量数值特征被标准化无序类别特征被 One-Hot 编码有序类别特征按照自定义顺序映射所有变换在 Pipeline 中一起执行避免数据泄漏。5. 常见问题与排查思路在实际做特征工程时下面几个问题是高频出现的。问题现象常见原因解决思路ValueError: could not convert string to float数据中仍有字符串列未被编码检查 ColumnTransformer 的列配置确认所有非数值列都被覆盖测试集出现训练集没有的类别数据分布变化或数据划分不合理OneHotEncoder 设置handle_unknownignore或重新划分数据One-Hot 后维度爆炸内存不足高基数类别未做降维处理改用目标编码、频率编码或先对类别做分组聚合模型分数很高但线上效果差目标编码或缺失值填补使用了全量数据确保所有转换都在训练集上 fit在测试集上只 transform有序类别映射方向错误使用 LabelEncoder 自动编码手动指定映射字典确保映射符合业务语义流水线中包含不同特征类型时列名不对ColumnTransformer 的列选择使用了错误类型使用remainderpassthrough调试查看拼接后的列名5.1 类别编码顺序错误的排查示例这是一个非常隐蔽的问题。如果你在FunctionTransformer中定义了有序映射但传入的数据列类型是 object字符串而映射键也是字符串那么 map 操作能正常进行。但如果原始数据中education列存在缺失值NaNmap之后会保留NaN后续模型无法处理。解决方式是在定义FunctionTransformer之前先对education列做缺失值填充ordinal_transformer Pipeline(steps[ (imputer, SimpleImputer(strategymost_frequent)), (ordinal, FunctionTransformer( lambda X: ordinal_encode(X, {education: education_mapping}), validateFalse )) ])5.2 数据泄漏问题数据泄漏是特征工程中最严重的问题之一。常见的情况是先用全量数据做过 One-Hot 编码再划分训练集和测试集这样测试集的信息已经影响了编码映射。正确做法一定是先 split再 fit transform。6. 最佳实践与工程建议如果你的特征工程要用于真实项目下面这些建议会很有价值。6.1 始终使用 Pipeline不要手动去写“先填补再编码再训练”的脚本。手动流程很容易在测试集上漏掉某一步转换或者不小心使用了全量统计量。使用Pipeline和ColumnTransformer可以把所有步骤封装起来训练和推理时执行完全一致的逻辑。6.2 区分模型类型线性模型、KNN、SVM、神经网络数值特征必须标准化类别特征建议 One-Hot 或目标编码树模型决策树、随机森林、XGBoost、LightGBM特征尺度不重要但高基数类别特征 One-Hot 会降低训练速度推荐使用有序编码或目标编码。6.3 保留原始数据副本特征工程过程中你可能会尝试多种编码方式。建议保留一份原始数据的只读副本每次尝试从原始数据重新生成新特征而不是在已经被修改的 DataFrame 上继续操作。这样能避免调试时数据被“污染”。6.4 注意目标编码的过拟合风险目标编码使用目标变量均值作为特征值本质上是把目标信息“泄入”了特征中。如果不加约束训练集 R² 会虚高但线上效果会明显下滑。两种常用缓解措施使用 K 折交叉验证在每个折内分别计算目标编码均值使用平滑系数让样本量少的类别向全局均值靠拢。6.5 新类别处理策略上线后真实业务会出现训练集中从未见过的类别。建议在编码环节明确处理策略One-Hot设置handle_unknownignore让未知类别全部取 0目标编码将未知类别映射为全局目标均值频率编码将未知类别映射为 0 或最小值。6.6 关注特征的可解释性在工业落地时模型的可解释性与模型精度同样重要。One-Hot 编码后的特征名非常直观方便观察每个类别的贡献度。目标编码的特征可能带来精度提升但解释起来会比较困难。你需要根据项目需求做取舍。7. 总结与下一步学习路线本文围绕“处理混合变量”这一核心主题梳理了机器学习特征工程中的基础方法和完整实践。回顾一下关键知识点混合变量 数值型特征 类别型特征类别特征需要先区分有序和无序再选择合适的编码方式最简单稳妥的组合是数值列标准化 无序类别 One-Hot 有序类别自定义映射高基数类别可尝试目标编码或频率编码但要防范过拟合和数据泄漏使用ColumnTransformer和Pipeline可以让特征处理流程规范、统一、可复用。接下来你可以继续学习的方向包括特征选择在处理完几百维特征后如何用互信息、方差阈值、递归特征消除等方法筛选重要特征特征构造如何基于现有特征做多项式组合、分箱、时间窗口聚合非线性编码学习嵌入编码Embedding Encoding等深度学习方法在类别特征上的应用自动化特征工程了解 Featuretools 等库如何自动生成特征。如果你正在学习机器学习课程或者准备参加面试建议亲自动手跑一遍本文的代码然后把数据集替换成真实业务数据看处理流程能否顺利迁移。动手永远是掌握特征工程最快的方式。如果这篇文章对你有帮助也欢迎收藏备用后续我会持续分享更多机器学习和数据挖掘相关的实战教程。