监督学习中的损失函数及应用研究

邓建国,张素兰,张继福,荀亚玲,刘爱琴

Loss function and application research in supervised learning

Jianguo DENG,Sulan ZHANG,Jifu ZHANG,Yaling XUN,Aiqin LIU

表5 基于概率分布度量的损失函数

名称 标准形式 对数损失函数 $-\log P\left(Y|X\right)$ KL散度函数 ${\displaystyle \sum _{i=1}^{n}P\left(x_i\right)\times \log \left(\frac{P\left(x_i\right)}{Q\left(x_i\right)}\right)}$ 交叉熵损失函数 $-{\displaystyle \sum _{i=1}^N{\displaystyle \sum _{j=1}^C{P}_{ij}}}\log q_{ij}$ softmax损失函数 $-\frac{1}{n}{\displaystyle \sum _{i=1}^n\log }\frac{e^{f_{Y_i}}}{{\displaystyle \sum _{j=1}^c{e}^{f_j}}}$