<h1>为什么要做特征工程</h1>
<p>数据和特征决定上限，模型和策略是逼近这个上线</p>
<h1>特征工程</h1>
<h2>特征使用方案</h2>
<ul>
<li>要实现我们的目标需要哪些数据？—— 基于业务理解，尽可能找出对因变量有影响的所有自变量
<ul>
<li>获取难度</li>
<li>可用性评估
<ul>
<li>覆盖率</li>
<li>准确率</li>
</ul>
</li>
</ul>
</li>
</ul>
<h2>特征获取方案</h2>
<ul>
<li>如何获取这些特征？</li>
<li>如何存储？</li>
</ul>
<h2>特征处理</h2>
<h3>预处理</h3>
<h4>特征清洗</h4>
<ul>
<li>清洗异常样本</li>
<li>采样
<ul>
<li>数据不均衡</li>
<li>样本权重</li>
</ul>
</li>
</ul>
<h4>单个特征</h4>
<ul>
<li>归一化</li>
<li>离散化</li>
<li>Dummy Coding</li>
<li>缺失值</li>
<li>数据变换
<ul>
<li>log</li>
<li>指数</li>
<li>Box-Cox</li>
</ul>
</li>
</ul>
<h4>多个特征</h4>
<ul>
<li>降维
<ul>
<li>PCA</li>
<li>LDA</li>
</ul>
</li>
<li>特征选择
<ul>
<li>Filter
<ul>
<li>思路：自变量和目标变量之间的关联</li>
<li>相关系数</li>
<li>卡方检验</li>
<li>信息增益、互信息</li>
</ul>
</li>
<li>Wrapper
<ul>
<li>思路：通过目标函数（AUC/MSE）来决定是否加入一个变量</li>
<li>迭代：产生特征子集，评价
<ul>
<li>完全搜索</li>
<li>启发式搜索</li>
<li>随机搜索
<ul>
<li>GA</li>
<li>SA</li>
</ul>
</li>
</ul>
</li>
</ul>
</li>
<li>Embedded
<ul>
<li>思路：学习器自身自动选择特征</li>
<li>正则化
<ul>
<li>L1 — Lasso</li>
<li>L2 — Ridge</li>
</ul>
</li>
<li>决策树
<ul>
<li>熵、信息增益</li>
</ul>
</li>
<li>深度学习</li>
</ul>
</li>
</ul>
</li>
<li>衍生变量 — 对原始数据加工，生成有商业意义的变量</li>
</ul>
<h2>特征监控</h2>
<ul>
<li>特征有效性分析 — 特征重要性，权重</li>
<li>特征监控 — 监控重要特征 — 防止特征质量下降，影响模型效果</li>
</ul>


Sam Lin

2025-04-13-特征工程.md

为什么要做特征工程

特征工程

特征使用方案

特征获取方案

特征处理

预处理

特征清洗

单个特征

多个特征

特征监控