2025-04-16-机器学习基础.md

boosting bagging stacking三种框架

1. boosting：递进 迭代训练一系列决策树，不断改进，重点关注被错误预测的样本 例如：GBDT
2. bagging：随机 从原始数据集，有放回的获取多个子集，训练不同的基学习器。将基学习器的预测结果进行综合，分类任务-投票，回归任务-平均
3. stacking：多元融合 结合多种不同的基学习器，再训练元学习器。将基学习器的输出，给元学习器作为输入，将原始训练数据的真实标签作为元学习器的输出

聚类，分类，回归，排序模型

1. 聚类 根据样本相似性，划分为不同的簇，是无监督 常见算法：K-Means算法，DBSCAN密度聚类算法，层次聚类算法。
2. 分类 根据已有的带标签训练数据，学习出一个分类器，能够分类未知样本。 常见算法：决策树，支持向量机（SVM），朴素贝叶斯，神经网络
3. 回归 建立一个模型来预测连续的数值型目标变量 常见算法：线性回归，岭回归，Lasso回归，决策树回归，随机森林回归，支持向量回归
4. 排序 学习一个排序函数，将输入的样本按照某个特定的准则排序。例如搜索推荐 常见算法：基于学习的排序，基于神

正则化

1. 参数正则化 L1 L2正则化
2. dropout正则化
3. 数据增强