西瓜书习题 - 8.集成学习

1.集成学习

1、下列关于集成学习描述错误的是哪个？

1. 集成学习只能使用若干个相同类型的学习器
2. 集成学习使用多个学习器解决问题
3. 集成学习在许多比赛中取得了优异的成绩
4. 集成学习在英文中是一个外来词

2、下列哪些学习器可以作为集成学习中的学习器？

1. 支持向量机
2. 决策树
3. 神经网络
4. 其他选项都可以

3、由若干个相同类型的学习器构成的集成学习被称为____ (同质/异质) 集成学习。

同质

2.好而不同

1、下列哪个关于集成学习的描述是正确的？

1. 集成学习一定能取得比最好的个体学习器更好的性能
2. 集成学习的性能可能与个体学习器的平均性能相同
3. 集成学习的性能一定不差于最差的个体学习器
4. 集成学习的性能在个体学习器平均性能与个体学习器最佳性能之间

本题正确答案应该为B选项，错选主要集中在D选项。集成学习仅当基学习器满足“好而不同”的要求时，才可能取得良好的结果。极端情况下，如过基学习器性能都比较差，则可能导致集成后的模型性能反而不如基学习器平均性能。考虑如下反例：在有3个训练样本的2分类任务中，有三个基学习器预测出来分别为(F,F,T)、(F,T,F)、(T,F,F)，其平均正确率为1/3，而使用投票法集成的话正确率则为0.

2、下列哪个选项不是集成学习在分类任务中取得好性能的要求？

6. 个体学习器犯错的样本较为分散
7. 个体学习器具有较好的性能
8. 存在一个完美的个体学习器
9. 个体学习器分对的样本不完全一致

3、误差-分歧分解表明集成学习中____(3个字) 是关键。

多样性

3.两类集成学习方法

1、下列哪个算法不是序列化集成学习方法？

1. XGBoost
2. Random Forest
3. AdaBoost
4. LPBoost

2、下列哪个算法不是并行化集成学习方法？

1. GradientBoost
2. Bagging
3. Random Forest
4. Random Subspace

3、集成学习中，后一个个体依赖于前一个个体的方法称为____(3个字) 方法。

序列化

4.Boosting

1、下列关于Boosting算法的说法中错误的是哪个？

1. Boosting算法适用于分类、回归、排序等机器学习问题
2. 后一个基学习器更关注前一个基学习器学错的样本
3. Boosting算法的输出是所有基学习器的加权求和
4. 不同基学习器使用的样本权重是相同的

2、下列关于Boosting算法中样本权重调整的说法中错误的是哪个？

1. 所有样本的权重和保持不变
2. 前一个基学习器分错的样本会获得更大的权重
3. 只要权重调整的方向正确，Boosting算法的性能就可以获得理论保证
4. 决策树可以直接处理带权重的样本

本题主要错误集中在误选A。注意在Boosting中，在每一轮循环重新调整完权重之后，会对所有的样本权重进行一个归一化处理（除以目前轮次的权重和Z_t），因此在算法运行过程中，虽然每个样本本身的权重会不断发生变化，但是对所有样本而言，其权重和是保持不变的。

3、Boosting是一种____ (同质/异质) 集成学习方法。

同质

5.Bagging

1、下列关于Bagging算法中采样的描述哪个是错误的？

1. 可以使用Bootstrap采样
2. 每个样本在每个基学习器的数据集中只会出现一次
3. 采样是为了获得不同的基学习器
4. 不同基学习器的数据从相同分布中采样得到

2、下列关于Bagging算法描述中错误的是哪个？

1. Bagging算法中每个基学习器使用相同的数据集
2. 分类任务中使用投票法获得输出
3. 回归任务中使用平均法获得输出
4. Random Forest是具有代表性的Bagging算法

3、Bagging算法使用的采样方法是____(有/无) 放回采样。

有

6.多样性度量

1、下列哪个选项是一种多样性度量？

1. Q-统计量
2. 不合度量
3. 相关系数
4. 其余选项都是

2、下列关于多样性的描述中错误的是哪个？