李弘毅老師機器學習2021心得-7，強化Optimization的方式-更改Loss function

Classification當作regression

需要先把class用數字表示，可以使用one hot vector來表示。

所以現在output變成向量(有幾個class)，不像regression是output一個數值。並且需要經過softmax來對這個向量處理(讓他normalization)。

Loss function in Classification

1. Cross-entropy，，因為降低cross-entropy是等於最大化maximizing likelihood。
   Softmax太重要甚至在用pytorch，使用cross-entropy時softmax會自動帶入到模型最後一層。

以loss surface可以看出cross-entropy會比較適合當loss function。

結論: loss function會影響機器學習訓練。