监督学习中的损失函数及应用研究

邓建国,张素兰,张继福,荀亚玲,刘爱琴

Loss function and application research in supervised learning

Jianguo DENG,Sulan ZHANG,Jifu ZHANG,Yaling XUN,Aiqin LIU

表4 基于铰链损失的演化损失函数

名称 演化形式 边界铰链损失函数 $\max \left(0,m\arg in-\left(f\left(x\right)-Y\right)\right)$ 坡道损失函数 $\frac{1}{n}{\displaystyle \sum _{i=1}^n\left(\max \left(0,1-h_{y_i}\right)-\max \left(0,s-h_{y_i}\right)\right)}$ crammerand铰链损失函数 $\max \left(0,1+\underset{Y\ne f\left(x\right)}{\max }{w}_{Y}x-w_{f\left(x\right)}x\right)$ weston铰链损失函数 ${\displaystyle \sum _{Y\ne f\left(x\right)}\max \left(0,1+w_{Y}x-w_{f\left(x\right)}x\right)}$ 二分类支持向量机损失函数 $\frac{1}{2}{\Vert w\Vert }^2+c{\displaystyle \sum _{i=1}^n\max \left(0,1-Yf\left(x\right)\right)}$ 多分类支持向量机损失函数 ${\displaystyle \sum _{Y\ne Y_i}\max \left(0,s_j-s_{Y_i}+1\right)}$ 多分类支持向量机平方损失函数 ${{\displaystyle \sum _{Y\ne Y_i}\max \left(0,s_j-s_{Y_i}+1\right)}}^2$ top-k铰链损失函数 $C{\displaystyle \sum _{i=1}^n\left(\max \left(1-y_i\left(w^T{x}_i+b\right),0\right)\right)}$