Week5

Cost Function

• 首先定義一些在neural network會用到的變數
• L：在這個network中有幾層layer
• $s_l$：在這個layer中有幾個unit (不含bias unit)
• K：總共有幾個output unit，即結果分成幾類
• $h_\Theta(x)_k$：產生第k個output的hypothesis
• Neural network的cost function定義如下：
$$\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$$

Backpropagation Algorithm

• Backpropagation是neural network中用來表示最小化cost function的術語，就如同在logistic及linear regression中所用的gradient descent
• 目標是計算：$\min_\Theta J(\Theta)$
• 在這一節中我們來看看如何計算J(Θ)的偏微分
• $\dfrac{\partial}{\partial \Theta_{i,j}^{(l)}}J(\Theta)$
• 演算法：
• 給定一組training set $\lbrace (x^{(1)}, y^{(1)}) \cdots (x^{(m)}, y^{(m)})\rbrace$
• 設定$\Delta^{(l)}_{i,j}$ for all (l,i,j)
• $\Delta$代表的是error
• For training example t =1 to m:
• 設定$a^{(1)} := x^{(t)}$
• 使用forward propogation計算$a^{(l)}$ for l=2,3,…,L

• 利用$y^{(t)}$計算$\delta^{(L)} = a^{(L)} - y^{(t)}$
• 這是最後一個layer的error
• $\delta$是$\Delta$的小寫
• 將最後一層得到的結果跟正確值y相減
• 計算最後一層layer之前的$\delta^{(L-1)}, \delta^{(L-2)},\dots,\delta^{(2)}$
• 使用$\delta^{(l)} = ((\Theta^{(l)})^T \delta^{(l+1)})\ .*\ a^{(l)}\ .*\ (1 - a^{(l)})$
• 後面兩項代表的是$g'(z^{(l)}) = a^{(l)}\ .*\ (1 - a^{(l)})$，也就是對$g(z^{(l)})$的微分(g-prime derivative)
• $\Delta^{(l)}_{i,j} := \Delta^{(l)}_{i,j} + a_j^{(l)} \delta_i^{(l+1)}$
• 或是用vector計算：$\Delta^{(l)} := \Delta^{(l)} + \delta^{(l+1)}(a^{(l)})^T$
• 最後可以得到新的$\Delta$ matrix
• 若j≠0
• $D^{(l)}_{i,j} := \dfrac{1}{m}\left(\Delta^{(l)}_{i,j} + \lambda\Theta^{(l)}_{i,j}\right)$
• 若j=0
• $D^{(l)}_{i,j} := \dfrac{1}{m}\Delta^{(l)}_{i,j}$
• D是作為accumulator用來將所有的值加起來以求出最後的偏微分
• $\frac \partial {\partial \Theta_{ij}^{(l)}} J(\Theta)$ = $D_{ij}^{(l)}$

Backpropagation Intuition

• $\delta_j^{(l)}$代表的是在$a^{(l)}_j$的error，實際上也可以看成cost function的微分
• $\delta_j^{(l)} = \dfrac{\partial}{\partial z_j^{(l)}} cost(t)$
• 以下面這張圖為例：

• 第二層的$\delta_2^{(2)}$可透過第三層的$\delta_1^{(3)}$及$\delta_2^{(3)}$來得到
• $\delta_2^{(2)}$ == $\Theta_{12}^{(2)}$*$\delta_1^{(3)}$+$\Theta_{22}^{(2)}$*$\delta_2^{(3)}$

Gradient Checking

• Gradient checking可以用來確保我們的back propagation是正確的
• Cost function的微分結果可以用下列式子來做近似：
• $\dfrac{\partial}{\partial\Theta}J(\Theta) \approx \dfrac{J(\Theta + \epsilon) - J(\Theta - \epsilon)}{2\epsilon}$
• 而對於有多個theta的矩陣，對於$Θ_j$微分的近似值則如下：
• $\dfrac{\partial}{\partial\Theta_j}J(\Theta) \approx \dfrac{J(\Theta_1, \dots, \Theta_j + \epsilon, \dots, \Theta_n) - J(\Theta_1, \dots, \Theta_j - \epsilon, \dots, \Theta_n)}{2\epsilon}$
• 將epsilon設小(${\epsilon = 10^{-4}}$)可確保數學式子是正確的
• 淡epsilon若設的過小會遇到數值上的問題
• 將近似的結果跟用back propagation得到的delta做比較，若結果正確的話數值不會差太多
• 由於實作上近似值的計算很慢，所以在檢查完back propagation演算法後就不要再多做了!

Random Initialization

• 在neural network中若將weight的初始值都設為0的話，在做back propagate時所有的node都會被update成相同的數值，這樣會大大降低準確度
• 所以我們應該將$\Theta^{(l)}_{ij}$設成介於$[-\epsilon,\epsilon]$間的隨機值
• 這裡的epsilon跟gradient checking的沒有關聯
• epsilon比較好的選擇如下圖，Lin/Lout為該Layer input/output的unit數量

• 首先要選擇network architecture，hidden unit有幾個，要分成幾個layer
• hidden unit：越多越好，但要衡量計算成本
• hidden layer：預設為1層，若超過1層，則建議每一層的hidden unit數目一樣\
• Training a Neural Network
• 隨機初始化weights
• 實作forward propagation以求得$h_\Theta(x^{(i)})$
• 實作cost function
• 實作back propagation以算出cost function的偏微分
• 跑一次gradient checking確認back propagation是對的
• 使用gradient descent或內建的最佳化方式求出讓cost function最小的weights