Week1

Supervised Learning

• 定義:
• 有一筆已知正確結果的資料，找出input和output之間的關係。
• 分成兩類的問題
• Regression
• 在一組連續的output中預測結果
• 把input variables map到連續性的function
• Classification
• 預測的結果為一組離散的(discrete) output
• 把input variables map到離散的類別

Unsupervised Learning

• 對於結果會長怎樣所知甚少甚至是完全不知道
• 從資料中的variables找出關聯性並將資料分成小的group
• 例子:
• Clustering
• 將基因做分群
• Non-Clustering
• 將音訊檔區別人聲和音樂聲

Model Representation

• 對於supervised learning problem，流程如下圖。從Training set train出一個function h，這個h由於歷史因素稱為hypothesis。

Cost Function

• 用來計算hypothesis精確度的function稱為cost function如下

• 他又稱為Squared error function 或 Mean squared error
• 1/2是用來做gradient descent時較方便計算，作微分後就可以把1/2給消掉

Gradient Descent

• 以下是 Gradient Descent的演算法，一直repeat直到收斂為止

• 不同的起點可能會導致最後找到的local minimum點不同
• α代表的是Step的參數
• 太小=>收斂很慢
• 太大=>無法收斂或甚至變成發散
• 越接近local minimum，斜率就會越小，整體Step自然也越小，所以不需要去減小α