个人笔记

1 集成学习概述

核心思想：三个臭皮匠顶个诸葛亮

集成学习三步走

1. 特征抽取
2. 反复建模（弱学习器）
3. 模型集成（强学习器）

1.1 模型集成的策略

1.1.1 平均法

最终的预测输出 = 若干个弱学习器的预测输出的平均

1.1.2 投票法

最终的预测输出 = 若干个弱学习器的预测输出的投票结果

• 常见的几种投票法
• 相对多数投票法：少数服从多数
• 绝

Read more

1 决策树

决策树通过树结构存储判断流程和规则，实现复杂规则的有效记录

一般来说，树的非叶节点存储了判断逻辑，并通过树分支表达多个判断结果 通过自上而下的多层逻辑判断，最终在叶节点输出预测的分类结果

决策树示例：

1.1 决策树ID3算法

ID3算法主要利用信息增益进行特征的选择，并通过递归方法构建特征

• 从根节点开始，计算所有特征的信息增益
• 选择信息增益最大的特征作为此节点的判断逻辑，并构建子节点
• 对子节点递归地调用以上方法，直到最大信息增益过低或没有特征停止递归

Read more