Softmax回归

• 是什么？

  Softmax回归是一个线性的多类分类模型，Softmax函数的功能是将各个类别的“打分”转化为合理的概率值

• 为什么？

  假设一个样本可能有三个类别：第一类打分为a，第二类打分为b，第三类打分为c。打分越高代表属于这个类别的概率越高，但是打分本身不代表概率，打分的值可以是负数，也可以很大，但概率要求在0到1之间，并且三类加起来的概率等于1. Softmax函数就可以用来解决这个问题。

• 怎么用？

  如何将上述的（a，b，c）转换成合理的概率值，这里对他们使用softmax函数后，相应的值会 ($e^a/(e^a+e^b+e^c), e^b/(e^a+e^b+e^c), e^c/((e^a+e^b+e^c))$,这三个数加起来正好等于1。

  假设x代表输入图片（假设为784维向量），W代表权重（假设为形状为[784,10]的矩阵），b代表偏差（假设是一个10维的向量），Logit就是上述各个类别打分:

     $Logit = W^Tx + b$

  用softmax将其转换成各个类别的概率值：

     $y = Softmax(Logit)$

交叉熵

• 是什么？

  首先什么是熵，化学中我们学过熵表示一种物质的不稳定程度，熵越大越不稳定。 在信息论中，熵表示不确定度，熵越小，不确定度越小。

  以下内容来自百度百科：

  在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。

  假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布。假如，按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:    $h(p) = -p(i)log(p(i)) $

  但是，如果采用错误的分布q来表示来自真实分布p的平均编码长度，则应该是：    $h(p,q) = -p(i)log(q(i)) $ 此时就将$h(p, q)$称为交叉熵

• 为什么？

  在softmax回归模型中，通常使用“交叉熵”损失来衡量相似性。

• 怎么用？

  交叉熵损失越小，模型的输出与和实际标签越接近，模型的预测也就越准。

梯度下降

• 是什么？

  梯度下降我们可以理解机器学习中为向目标值靠近的方法。 其中有两个基础算法：最小二乘法和随机梯度下降。

• 为什么？

  最小二乘法通过最小化误差的平方和寻求数据的最佳函数匹配。（如果不熟悉的话，可以查阅高等数学（同济大学第七版）第九章第十节）

  举个例子，若干个点分布在向量空间中，如果希望找出一条直线和这些点达到最佳匹配，那么最简单的一个方法就是希望这些点到直线的值最小。

  随机梯度下降算法，通过不停判断和选择当下目标的最优路径，使得能够在最短路径下达到最优的结果。

  举个例子，假设我们在山上，想要以最快的速度下山，那么就要选择最陡峭的地方往下走，但是由于不熟悉道路，每走过一段路程就要重新选择一遍最陡峭的路径，这样一路走下来，可以在最短时间走到底。

• 怎么用？

  用数学来讲的话，可以把下山想象成一个函数$f(x)$，而每次想要以最快的速度下降就要对$f(x)$求导，这样$x$就会以最快的方向减小，从而推断出$x$的最优解。

x y y_的意义，tf.argmax的作用

x表示输入，y表示预测，y_表示实际特征。

在说tf.argmax之前，先讲讲独热的概念：  所谓独热，就是“一位有效编码“。我们用N维向量表示N个类别，每个类别占据独立的一位，任何时候独热表示中只有一位是1其他都为0。

而tf.argmax的功能是取出数组中最大值的下标，因此可以通过tf.argmax得出预测中概率最大的类别。

tf.reshape(x, [-1, 28, 28 , 1])中 -1 的作用

将输入x还原为28x28的图片形式，[-1, 28, 28, 1]中的-1表示形状的第一维的大小是根据x自动确定的。