Machine learning Convolusional Neural Network

野性酷女 2022-06-12 06:47 220阅读 0赞

以监督学习为例，假设我们有训练样本集 ![\\textstyle (x(^ i),y(^ i))][textstyle _x_ i_y_ i] ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ![\\textstyle h\_\{W,b\}(x)][textstyle h_W_b_x] ，它具有参数 ![\\textstyle W, b][textstyle W_ b] ，可以以此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

[![SingleNeuron.png][]][SingleNeuron.png 1]

这个“神经元”是一个以 ![\\textstyle x\_1, x\_2, x\_3][textstyle x_1_ x_2_ x_3] 及截距 ![\\textstyle +1][textstyle _1] 为输入值的运算单元，其输出为 ![\\textstyle  h\_\{W,b\}(x) = f(W^Tx) = f(\\sum\_\{i=1\}^3 W\_\{i\}x\_i +b)][textstyle h_W_b_x_ _ f_W_Tx_ _ f_sum_i_1_3 W_i_x_i _b] ，其中函数 ![\\textstyle f : \\Re \\mapsto \\Re][textstyle f_ _Re _mapsto _Re] 被称为“激活函数”。在本教程中，我们选用sigmoid函数作为**激活函数** ![\\textstyle f(\\cdot)][textstyle f_cdot]

![f(z) = \\frac\{1\}\{1+\\exp(-z)\}.][f_z_ _ _frac_1_1_exp_-z_.]

可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。

虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：

![f(z) = \\tanh(z) = \\frac\{e^z - e^\{-z\}\}\{e^z + e^\{-z\}\},][f_z_ _ _tanh_z_ _ _frac_e_z - e_-z_e_z _ e_-z]

以下分别是sigmoid及tanh的函数图像

[![Sigmoid activation function.][]][Sigmoid activation function. 1] [ ![Tanh activation function.][]][_Tanh activation function.]

![\\textstyle \\tanh(z)][textstyle _tanh_z] 函数是sigmoid函数的一种变体，它的取值范围为 ![\\textstyle \[-1,1\]][textstyle _-1_1] ，而不是sigmoid函数的 ![\\textstyle \[0,1\]][textstyle _0_1] 。

注意，与其它地方（包括OpenClassroom公开课以及斯坦福大学CS229课程）不同的是，这里我们不再令 ![\\textstyle x\_0=1][textstyle x_0_1] 。取而代之，我们用单独的参数 ![\\textstyle b][textstyle b] 来表示截距。

最后要说明的是，有一个等式我们以后会经常用到：如果选择 ![\\textstyle f(z) = 1/(1+\\exp(-z))][textstyle f_z_ _ 1_1_exp_-z] ，也就是sigmoid函数，那么它的导数就是 ![\\textstyle f'(z) = f(z) (1-f(z))][textstyle f_z_ _ f_z_ _1-f_z] （如果选择tanh函数，那它的导数就是 ![\\textstyle f'(z) = 1- (f(z))^2][textstyle f_z_ _ 1- _f_z_2] ，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

## 神经网络模型 ##

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

[![Network331.png][]][Network331.png 1]

我们使用圆圈来表示神经网络的输入，标上“![\\textstyle +1][textstyle _1]”的圆圈被称为**偏置节点**，也就是截距项。神经网络最左边的一层叫做**输入层**，最右的一层叫做**输出层**（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做**隐藏层**，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个**输入单元**（偏置单元不计在内），3个**隐藏单元**及一个**输出单元**。

我们用 ![\\textstyle \{n\}\_l][textstyle _n_l] 来表示网络的层数，本例中 ![\\textstyle n\_l=3][textstyle n_l_3] ，我们将第 ![\\textstyle l][textstyle l] 层记为 ![\\textstyle L\_l][textstyle L_l] ，于是 ![\\textstyle L\_1][textstyle L_1] 是输入层，输出层是 ![\\textstyle L\_\{n\_l\}][textstyle L_n_l] 。本例神经网络有参数 ![\\textstyle (W,b) = (W^\{(1)\}, b^\{(1)\}, W^\{(2)\}, b^\{(2)\})][textstyle _W_b_ _ _W_1_ b_1_ W_2_ b_2] ，其中 ![\\textstyle W^\{(l)\}\_\{ij\}][textstyle W_l_ij] （下面的式子中用到）是第 ![\\textstyle l][textstyle l] 层第 ![\\textstyle j][textstyle j] 单元与第 ![\\textstyle l+1][textstyle l_1] 层第 ![\\textstyle i][textstyle i] 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， ![\\textstyle b^\{(l)\}\_i][textstyle b_l_i] 是第 ![\\textstyle l+1][textstyle l_1] 层第 ![\\textstyle i][textstyle i] 单元的偏置项。因此在本例中， ![\\textstyle W^\{(1)\} \\in \\Re^\{3\\times 3\}][textstyle W_1_ _in _Re_3_times 3] ， ![\\textstyle W^\{(2)\} \\in \\Re^\{1\\times 3\}][textstyle W_2_ _in _Re_1_times 3] 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 ![\\textstyle +1][textstyle _1]。同时，我们用 ![\\textstyle s\_l][textstyle s_l] 表示第 ![\\textstyle l][textstyle l] 层的节点数（偏置单元不计在内）。

我们用 ![\\textstyle a^\{(l)\}\_i][textstyle a_l_i] 表示第 ![\\textstyle l][textstyle l] 层第 ![\\textstyle i][textstyle i] 单元的**激活值**（输出值）。当 ![\\textstyle l=1][textstyle l_1 1] 时， ![\\textstyle a^\{(1)\}\_i = x\_i][textstyle a_1_i _ x_i] ，也就是第 ![\\textstyle i][textstyle i] 个输入值（输入值的第 ![\\textstyle i][textstyle i] 个特征）。对于给定参数集合 ![\\textstyle W,b][textstyle W_ b] ，我们的神经网络就可以按照函数 ![\\textstyle h\_\{W,b\}(x)][textstyle h_W_b_x] 来计算输出结果。本例神经网络的计算步骤如下：

![\\begin\{align\} a\_1^\{(2)\} &= f(W\_\{11\}^\{(1)\}x\_1 + W\_\{12\}^\{(1)\} x\_2 + W\_\{13\}^\{(1)\} x\_3 + b\_1^\{(1)\})  \\\\ a\_2^\{(2)\} &= f(W\_\{21\}^\{(1)\}x\_1 + W\_\{22\}^\{(1)\} x\_2 + W\_\{23\}^\{(1)\} x\_3 + b\_2^\{(1)\})  \\\\ a\_3^\{(2)\} &= f(W\_\{31\}^\{(1)\}x\_1 + W\_\{32\}^\{(1)\} x\_2 + W\_\{33\}^\{(1)\} x\_3 + b\_3^\{(1)\})  \\\\ h\_\{W,b\}(x) &= a\_1^\{(3)\} =  f(W\_\{11\}^\{(2)\}a\_1^\{(2)\} + W\_\{12\}^\{(2)\} a\_2^\{(2)\} + W\_\{13\}^\{(2)\} a\_3^\{(2)\} + b\_1^\{(2)\}) \\end\{align\}][begin_align_ a_1_2_ _ f_W_11_1_x_1 _ W_12_1_ x_2 _ W_13_1_ x_3 _ b_1_1_ _ a_2_2_ _ f_W_21_1_x_1 _ W_22_1_ x_2 _ W_23_1_ x_3 _ b_2_1_ _ a_3_2_ _ f_W_31_1_x_1 _ W_32_1_ x_2 _ W_33_1_ x_3 _ b_3_1_ _ h_W_b_x_ _ a_1_3_ _ f_W_11_2_a_1_2_ _ W_12_2_ a_2_2_ _ W_13_2_ a_3_2_ _ b_1_2_ _end_align]

我们用 ![\\textstyle z^\{(l)\}\_i][textstyle z_l_i] 表示第 ![\\textstyle l][textstyle l] 层第 ![\\textstyle i][textstyle i] 单元输入加权和（包括偏置单元），比如， ![\\textstyle  z\_i^\{(2)\} = \\sum\_\{j=1\}^n W^\{(1)\}\_\{ij\} x\_j + b^\{(1)\}\_i][textstyle z_i_2_ _ _sum_j_1_n W_1_ij_ x_j _ b_1_i] ，则 ![\\textstyle a^\{(l)\}\_i = f(z^\{(l)\}\_i)][textstyle a_l_i _ f_z_l_i] 。

这样我们就可以得到一种更简洁的表示法。这里我们将激活函数 ![\\textstyle f(\\cdot)][textstyle f_cdot] 扩展为用向量（分量的形式）来表示，即 ![\\textstyle f(\[z\_1, z\_2, z\_3\]) = \[f(z\_1), f(z\_2), f(z\_3)\]][textstyle f_z_1_ z_2_ z_3_ _ _f_z_1_ f_z_2_ f_z_3] ，那么，上面的等式可以更简洁地表示为：

![\\begin\{align\} z^\{(2)\} &= W^\{(1)\} x + b^\{(1)\} \\\\ a^\{(2)\} &= f(z^\{(2)\}) \\\\ z^\{(3)\} &= W^\{(2)\} a^\{(2)\} + b^\{(2)\} \\\\ h\_\{W,b\}(x) &= a^\{(3)\} = f(z^\{(3)\}) \\end\{align\}][begin_align_ z_2_ _ W_1_ x _ b_1_ _ a_2_ _ f_z_2_ _ z_3_ _ W_2_ a_2_ _ b_2_ _ h_W_b_x_ _ a_3_ _ f_z_3_ _end_align]

我们将上面的计算步骤叫作**前向传播**。回想一下，之前我们用 ![\\textstyle a^\{(1)\} = x][textstyle a_1_ _ x] 表示输入层的激活值，那么给定第 ![\\textstyle l][textstyle l] 层的激活值 ![\\textstyle a^\{(l)\}][textstyle a_l] 后，第 ![\\textstyle l+1][textstyle l_1] 层的激活值 ![\\textstyle a^\{(l+1)\}][textstyle a_l_1] 就可以按照下面步骤计算得到：

![\\begin\{align\} z^\{(l+1)\} &= W^\{(l)\} a^\{(l)\} + b^\{(l)\}   \\\\ a^\{(l+1)\} &= f(z^\{(l+1)\}) \\end\{align\}][begin_align_ z_l_1_ _ W_l_ a_l_ _ b_l_ _ a_l_1_ _ f_z_l_1_ _end_align]

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

目前为止，我们讨论了一种神经网络，我们也可以构建另一种**结构**的神经网络（这里结构指的是神经元之间的联接模式），也就是包含多个隐藏层的神经网络。最常见的一个例子是 ![\\textstyle  n\_l][textstyle n_l] 层的神经网络，第 ![\\textstyle  1][textstyle 1] 层是输入层，第 ![\\textstyle  n\_l][textstyle n_l] 层是输出层，中间的每个层 ![\\textstyle  l][textstyle l] 与层 ![\\textstyle  l+1][textstyle l_1] 紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播，逐一计算第 ![\\textstyle  L\_2][textstyle L_2] 层的所有激活值，然后是第 ![\\textstyle  L\_3][textstyle L_3] 层的激活值，以此类推，直到第 ![\\textstyle  L\_\{n\_l\}][textstyle L_n_l] 层。这是一个**前馈**神经网络的例子，因为这种联接图没有闭环或回路。

神经网络也可以有多个输出单元。比如，下面的神经网络有两层隐藏层： ![\\textstyle L\_2][textstyle L_2] 及 ![\\textstyle L\_3][textstyle L_3] ，输出层 ![\\textstyle L\_4][textstyle L_4] 有两个输出单元。

[![Network3322.png][]][Network3322.png 1]

要求解这样的神经网络，需要样本集 ![\\textstyle (x^\{(i)\}, y^\{(i)\})][textstyle _x_i_ y_i] ，其中 ![\\textstyle y^\{(i)\} \\in \\Re^2][textstyle y_i_ _in _Re_2] 。如果你想预测的输出是多个的，那这种神经网络很适用。（比如，在医疗诊断应用中，患者的体征指标就可以作为向量的输入值，而不同的输出值 ![\\textstyle y\_i][textstyle y_i] 可以表示不同的疾病存在与否。）

## 中英文对照 ##

neural networks 神经网络

activation function 激活函数

hyperbolic tangent 双曲正切函数

bias units 偏置项

activation 激活值

forward propagation 前向传播

feedforward neural network 前馈神经网络(参照Mitchell的《机器学习》的翻译)

## 中文译者 ##

孙逊（sunpaofu@foxmail.com），林锋（xlfg@yeah.net），刘鸿鹏飞（just.dark@foxmail.com）, 许利杰（[csxulijie@gmail.com][csxulijie_gmail.com]）

源文来自于：[http://ufldl.stanford.edu/?people][http_ufldl.stanford.edu_people]

[http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C][http_ufldl.stanford.edu_wiki_index.php_E7_A5_9E_E7_BB_8F_E7_BD_91_E7_BB_9C]

[textstyle _x_ i_y_ i]: http://ufldl.stanford.edu/wiki/images/math/7/0/e/70ebbf3d401302b5d148530b986f0602.png
[textstyle h_W_b_x]: /images/20220612/42b891c368e64c06ba9976f76f7e7e10.png
[textstyle W_ b]: /images/20220612/1883e5dbc97f4d14a4456b4d0f21785f.png
[SingleNeuron.png]: /images/20220612/1928daac93bb42a0b9f5f10ff246bea6.png
[SingleNeuron.png 1]: http://ufldl.stanford.edu/wiki/index.php/File:SingleNeuron.png
[textstyle x_1_ x_2_ x_3]: http://ufldl.stanford.edu/wiki/images/math/3/c/b/3cb2ab026a8bb3279a30485c2220a5a4.png
[textstyle _1]: /images/20220612/c9a7a14c750a4682ab49ffa58fdfdaf4.png
[textstyle h_W_b_x_ _ f_W_Tx_ _ f_sum_i_1_3 W_i_x_i _b]: http://ufldl.stanford.edu/wiki/images/math/8/9/f/89f1f9e549b908834d9fedca36d07bd4.png
[textstyle f_ _Re _mapsto _Re]: http://ufldl.stanford.edu/wiki/images/math/5/d/f/5df2a707a6b2421afcb345f96051297e.png
[textstyle f_cdot]: /images/20220612/64fa8115783c483d8d0d3d04c0adca9f.png
[f_z_ _ _frac_1_1_exp_-z_.]: /images/20220612/cf8d3f12a03144fc9b5c227c4e2222fc.png
[f_z_ _ _tanh_z_ _ _frac_e_z - e_-z_e_z _ e_-z]: /images/20220612/eac3f82d19394dd49f028a955af17dc7.png
[Sigmoid activation function.]: http://ufldl.stanford.edu/wiki/images/thumb/c/ca/Sigmoid_Function.png/400px-Sigmoid_Function.png
[Sigmoid activation function. 1]: http://ufldl.stanford.edu/wiki/index.php/File:Sigmoid_Function.png
[Tanh activation function.]: /images/20220612/b1b740b5d89a4801b86048a609169b3b.png
[_Tanh activation function.]: http://ufldl.stanford.edu/wiki/index.php/File:Tanh_Function.png
[textstyle _tanh_z]: http://ufldl.stanford.edu/wiki/images/math/8/7/e/87e9b5fc0869fae518eed4b75536334f.png
[textstyle _-1_1]: http://ufldl.stanford.edu/wiki/images/math/8/5/a/85a1c5a07f21a9eebbfb1dca380f8d38.png
[textstyle _0_1]: /images/20220612/e70cd63b1bc449d2a23f73d57d02a8ce.png
[textstyle x_0_1]: http://ufldl.stanford.edu/wiki/images/math/c/5/8/c582053ce9cb63d69ae80acb53ded0d3.png
[textstyle b]: /images/20220612/4f696355d90c46d6869015b44d6b2724.png
[textstyle f_z_ _ 1_1_exp_-z]: http://ufldl.stanford.edu/wiki/images/math/e/c/6/ec62a4df6800f8c9ea680a08003df5c3.png
[textstyle f_z_ _ f_z_ _1-f_z]: http://ufldl.stanford.edu/wiki/images/math/9/9/4/994ac235e9478c8f465a4acdd8aae017.png
[textstyle f_z_ _ 1- _f_z_2]: /images/20220612/dc81db6980b24bfca868438f5f8cecb5.png
[Network331.png]: /images/20220612/5dce54c85c1947b8af38590cd793da4c.png
[Network331.png 1]: http://ufldl.stanford.edu/wiki/index.php/File:Network331.png
[textstyle _n_l]: http://ufldl.stanford.edu/wiki/images/math/5/4/6/546158a6d0082614d47e7f8a63225b0b.png
[textstyle n_l_3]: http://ufldl.stanford.edu/wiki/images/math/3/c/8/3c89b5db1e49221343428af57c90e44a.png
[textstyle l]: /images/20220612/6a26f50428de4858bfe4de50a36d5711.png
[textstyle L_l]: http://ufldl.stanford.edu/wiki/images/math/5/5/e/55ea36127aa64b92b071c269cd1e3990.png
[textstyle L_1]: http://ufldl.stanford.edu/wiki/images/math/1/3/e/13e0887b9e716279d9a7b8bc8e6ad63b.png
[textstyle L_n_l]: /images/20220612/8c18f9d36ee44032ba30140ae3c1f2b8.png
[textstyle _W_b_ _ _W_1_ b_1_ W_2_ b_2]: http://ufldl.stanford.edu/wiki/images/math/a/a/3/aa3d6ed3c577d41a791324008558efbe.png
[textstyle W_l_ij]: http://ufldl.stanford.edu/wiki/images/math/d/f/e/dfe43c64e3c42ea4ff1774fc82b87805.png
[textstyle j]: http://ufldl.stanford.edu/wiki/images/math/2/3/5/235c5146ab110558897640c34dad7d97.png
[textstyle l_1]: http://ufldl.stanford.edu/wiki/images/math/9/0/6/9068105ec8ebb97277c937bfa61b606d.png
[textstyle i]: http://ufldl.stanford.edu/wiki/images/math/0/b/3/0b36ee693126b34b58f77dba7ed23987.png
[textstyle b_l_i]: http://ufldl.stanford.edu/wiki/images/math/4/c/7/4c786c16575b63bbb554254725b6b648.png
[textstyle W_1_ _in _Re_3_times 3]: http://ufldl.stanford.edu/wiki/images/math/5/c/a/5ca0efbb17e86cb00091f6a528e0ab0e.png
[textstyle W_2_ _in _Re_1_times 3]: http://ufldl.stanford.edu/wiki/images/math/4/3/1/431cf6f298e4106efb5bff4495aa3c6d.png
[textstyle s_l]: http://ufldl.stanford.edu/wiki/images/math/8/a/f/8afb62ac69ccb2911bb24795ff052a07.png
[textstyle a_l_i]: http://ufldl.stanford.edu/wiki/images/math/c/9/b/c9b144e0a6735fafb01b3615a2a0dc05.png
[textstyle l_1 1]: http://ufldl.stanford.edu/wiki/images/math/4/a/4/4a4725e295806f22b26342fe3cd3338f.png
[textstyle a_1_i _ x_i]: http://ufldl.stanford.edu/wiki/images/math/f/5/c/f5c1979e94318aee674de68348b96557.png
[begin_align_ a_1_2_ _ f_W_11_1_x_1 _ W_12_1_ x_2 _ W_13_1_ x_3 _ b_1_1_ _ a_2_2_ _ f_W_21_1_x_1 _ W_22_1_ x_2 _ W_23_1_ x_3 _ b_2_1_ _ a_3_2_ _ f_W_31_1_x_1 _ W_32_1_ x_2 _ W_33_1_ x_3 _ b_3_1_ _ h_W_b_x_ _ a_1_3_ _ f_W_11_2_a_1_2_ _ W_12_2_ a_2_2_ _ W_13_2_ a_3_2_ _ b_1_2_ _end_align]: /images/20220612/80b61c8671c543309a9003ad28ba7ac7.png
[textstyle z_l_i]: http://ufldl.stanford.edu/wiki/images/math/3/d/d/3dd5c56e0949e76de86690e1b868cdcf.png
[textstyle z_i_2_ _ _sum_j_1_n W_1_ij_ x_j _ b_1_i]: http://ufldl.stanford.edu/wiki/images/math/a/a/e/aae7340fe1eb75c824b8abc107c3db27.png
[textstyle a_l_i _ f_z_l_i]: /images/20220612/b5238e3b01224498a2787f64300662ab.png
[textstyle f_z_1_ z_2_ z_3_ _ _f_z_1_ f_z_2_ f_z_3]: /images/20220612/24c28d439eea490bae3aed8692561b85.png
[begin_align_ z_2_ _ W_1_ x _ b_1_ _ a_2_ _ f_z_2_ _ z_3_ _ W_2_ a_2_ _ b_2_ _ h_W_b_x_ _ a_3_ _ f_z_3_ _end_align]: /images/20220612/cae72436f99f424a979e07338c7ea077.png
[textstyle a_1_ _ x]: http://ufldl.stanford.edu/wiki/images/math/d/e/0/de0b51a7e4a2b2047d52a165419ac048.png
[textstyle a_l]: http://ufldl.stanford.edu/wiki/images/math/b/d/2/bd2728b5337ccec5b5729756d5796b20.png
[textstyle a_l_1]: /images/20220612/c5df778d1ce6462291d4d7dc51f09c09.png
[begin_align_ z_l_1_ _ W_l_ a_l_ _ b_l_ _ a_l_1_ _ f_z_l_1_ _end_align]: /images/20220612/0e056d8736ad441b8ec16d22dc4f5cf0.png
[textstyle n_l]: http://ufldl.stanford.edu/wiki/images/math/5/b/7/5b7a0657fdea25f29866c8e1d6e884ac.png
[textstyle 1]: http://ufldl.stanford.edu/wiki/images/math/6/e/9/6e924e04b5c9d4c5be131609a038b821.png
[textstyle L_2]: http://ufldl.stanford.edu/wiki/images/math/c/f/7/cf7d186efd913f4fb9ceb939bf5135c4.png
[textstyle L_3]: http://ufldl.stanford.edu/wiki/images/math/d/9/b/d9b949d768ca8bab18830d9efc3fa441.png
[textstyle L_4]: /images/20220612/0be3189039ad42c897fc434a5b02fe90.png
[Network3322.png]: /images/20220612/887365ae4aa14521b39825a69e0a5c39.png
[Network3322.png 1]: http://ufldl.stanford.edu/wiki/index.php/File:Network3322.png
[textstyle _x_i_ y_i]: http://ufldl.stanford.edu/wiki/images/math/f/1/7/f178249571382c3921d2c46f7abd47da.png
[textstyle y_i_ _in _Re_2]: http://ufldl.stanford.edu/wiki/images/math/9/e/d/9edce3bff2898e4b7f084ad3a2bbf494.png
[textstyle y_i]: /images/20220612/28d4ffc41b644b9681da6f81eab5a3ed.png
[csxulijie_gmail.com]: mailto:csxulijie@gmail.com
[http_ufldl.stanford.edu_people]: http://ufldl.stanford.edu/?people
[http_ufldl.stanford.edu_wiki_index.php_E7_A5_9E_E7_BB_8F_E7_BD_91_E7_BB_9C]: http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C