Activation functions are crucial components of neural networks that introduce non-linearity, enabling them to learn complex patterns in data.

若只有線性關係，模型不論有多少層，最終都等效於單層線性變換，只能學到直線或平面關係，無法處理複雜邊界。
有了非線性（例如 ReLU、Sigmoid、Tanh），模型才能擬合曲線、分段函數等複雜結構，進而應對圖像辨識、語音識別等高難度任務。

根據不同的任務可選擇合適的激活函數，例如：

• 二元分類：輸出為機率，可選擇輸出範圍為 0 到 1 的 Sigmoid。
• 多類分類：輸出類別機率分佈，可使用 Softmax。