分類問題屬於 Supervised Learning (監督式學習)
又可以分為二元分類 (Binary) 及多分類 (Multi-Class)

• 二元分類：輸出只有兩種標籤（例如：垃圾郵件 / 非垃圾郵件）。
• 多分類：輸出有三種或以上標籤（例如：動物圖片辨識：貓 / 狗 / 鳥）。

激活函數

使用的 Activation Function（激活函數） 主要是 Softmax

• 將輸出值轉換為概率分佈，方便進行分類決策
• 將輸出值限制在 [0, 1] 之間，且 $\sum _i{y}_i^{\prime }=1$
• 在二元分類中常使用 Sigmoid 作為輸出層激活函數

評估

Confusion Matrix (混淆矩陣) 為衡量分類模型效能的方法之一

• 橫軸：預測結果 (Predicted)
• 縱軸：真實標籤 (Actual)
• 可計算多種評估指標（Precision、Recall、F1-score 等）

方法

根據不同的模型樣貌，其在分類問題中能夠得到不同的效能表現，常見的模型種類有：

• 邏輯回歸 Logistic Regression：線性分類模型，適合線性可分的數據
• K-近鄰演算法 Nearest Neighbors Algorithm：基於距離度量的非參數方法
• Support Vector Machine (SVM, 支持向量機)：尋找最大間隔的超平面，支援 kernel trick 處理非線性資料
• 決策樹分類 (Decision Tree Classification)：基於特徵條件分裂節點的樹狀模型
• 隨機森林分類 (Random Forest Classification)：多棵決策樹組成的集成方法，有效降低過擬合

Loss of Classification

（分類任務的損失函數）

在分類問題中，最常用的損失函數是 Cross-Entropy Loss（交叉熵損失）

• 「最小化交叉熵」 ＝ Maximizing Likelihood (最大化似然)
• 簡單理解：讓模型預測的機率分佈，盡量貼近真實標籤的分佈
  • 最大似然：用「最大化機率」的說法來看問題
  • 最小化交叉熵：用「最小化誤差」的說法來看問題

如何選擇 MSE 或 Cross-Entropy？

雖然 MSE（均方誤差） 和 Cross-Entropy 都可以用來做分類，但在梯度下降的表現上差異很大：

• 在分類問題中，Cross-Entropy 的損失曲面更平滑且斜率明顯
• MSE 在接近飽和區（Sigmoid 輸出接近 0 或 1）時，梯度幾乎為 0，容易讓 Gradient Descent 陷入停滯（stuck）
• 因此，多數分類任務會選擇 Cross-Entropy Loss

回歸與分類