监督学习中的损失函数及应用研究

邓建国,张素兰,张继福,荀亚玲,刘爱琴

Loss function and application research in supervised learning

Jianguo DENG,Sulan ZHANG,Jifu ZHANG,Yaling XUN,Aiqin LIU

表7 基于交叉熵的演化损失函数

名称 演化形式 平均交叉熵损失函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n{Y}_i\ln \left(a_i\right)}$ 二分类交叉熵损失函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n\left[Y_i\ln \left(a_i\right)+\left(1-Y_i\right)\ln \left(1-a_i\right)\right]}$ 二分类平衡交叉熵损失函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n\left[\beta Y_i\ln \left(a_i\right)+\left(1-\beta \right)\left(1-Y_i\right)\ln \left(1-a_i\right)\right]}$ 多分类交叉熵函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^k{Y}_{i,j}}\log \left(a_{i,j}\right)}$ focal损失函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n{Y}_i{\partial }_i}{\left(1-a_i\right)}^{\gamma }\log \left(a_i\right)$