机器学习常见概念与链接

对于一个监督学习模型来说， 过小的特征集合使得模型过于简单，过大的特征集合使得模型过于复杂 。对于特征集过小的情况，称之为 欠拟合（ underfitting ） ；对于特征集过大的情况，称之为 过拟合（ overfitting ）

怎样解决过拟合问题呢？两个方法：

1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）

2. 规格化（留下所有的feature，但对于部分feature定义其parameter非常小）。

参考：欠拟合与过拟合概念

3、浅谈数据挖掘中的关联规则挖掘

4、决策树——1、父节点与子节点的熵值大小比较； 2、终止条件

          1） C4.5决策树

        2）归纳决策树ID3（Java实现）