损失函数/代价函数

损失函数的定义：

损失函数 loss function 也叫代价函数 cost function，其含义是将某个随机事件和其对应随机变量映射为一个非负实数用来表示该事件的损失或风险，该数值越大代表风险越大越不被建议。

在人工智能领域，该函数值通常被应用于通过某种方法最小化损失值来优化模型参数。

回归问题损失函数：

由于回归问题主要是找的两个变量之间的对应关系，且多为连续数字属性，所以最常使用的是平方损失函数：

其中Y为真实值,f(x)为预测值，为了保证损失值始终为正，将两者相减平方来代表损失函数。

最小化该损失函数的方法也叫最小二乘法。

分类问题的损失函数：

分类问题主要是针对实例是否被分到正确的类来进行评估的。

1:零一损失函数 zero-one-loss

它是一个非凸函数，直接判断分类是否正确，无法通过最小化损失函数达到优化的目的，后面我会介绍几个它的代理函数。

可以被优化为以下形式，添加一个阈值T，当大于等于阈值T时被认为损失值为1，否则认为损失值为0。

2:铰链损失函数 higne loss function