softmax回归

分类问题：询问“哪一个”

通常不区分硬类别(样本属于哪个类别)和软类别(样本属于每个类别的概率)：将硬类别当作软类别处理

分类数据表示：one-hot编码

网络架构： $o = Wx + b$

softmax函数：将输出 ${\hat{y}}_{j}$ 转化为可视为属于类 $j$ 的概率，选择 $\underset{j}{\arg max} y_{j}$ 作为预测

定义： $\hat{y} = softmax (o) y_{j} = \frac{\exp (o_{j})}{\sum_{k} \exp (o_{k})}$
性质：
- 归一化，非负性，可导
- $\underset{j}{\arg max} {\hat{y}}_{j} = \underset{j}{\arg max} o_{j}$
优化：小批量样本标准化
- 设批量大小为 $n$ , $X \in R^{n \times d}, W \in R^{d \times q}, b \in R^{1 \times q}$ ， $O = XW + b$ ， $\hat{Y} = softmax (O)$
- 对 $O$ 的每一行，先对所有项进行幂运算，再求和标准化
  
  softmax回归是线性模型

损失函数：交叉熵损失函数

梯度： $\partial_{o_{j}} l (y, \hat{y}) = softmax (o)_{j} - y_{j}$ ，即模型分配的概率与实际发生的情况间的差异

\begin{array}{ll} l (y, \hat{y}) & = - \sum_{j = 1}^{q} y_{j} \ln \frac{\exp (o_{j})}{\sum_{k = 1}^{q} \exp (o_{k})} \\ = \sum_{j = 1}^{q} y_{j} \ln \sum_{k = 1}^{q} \exp (o_{k}) - \sum_{j = 1}^{q} y_{j} o_{j} \\ = \ln \sum_{k = 1}^{q} \exp (o_{k}) - \sum_{j = 1}^{q} y_{j} o_{j} \end{array}

\partial_{o_{j}} l (y, \hat{y}) = \frac{\exp (o_{j})}{\sum_{k = 1}^{q} \exp (o_{k})} - y_{j} = softmax (o)_{j} - y_{j}

预测：预测概率最高的类别作为输出类别

评估：精度