Cross-Entropy Loss（交叉熵損失）

Entropy 是接收的所有訊息中所包含的資訊的平均量
Cross-Entropy 就是在觀測預測的機率分佈與實際機率分布的誤差範圍

以下圖來說：
預測值與實際值差越多，代表內涵的資訊量愈大，
也就是不確定越多，也就是 Cross-entropy 會越高。

Fig:
預測的機率分佈為橘色區塊
真實的機率分佈為紅色區塊
藍色為 cross-entropy 區塊
紫色現為計算出來的值

• 何謂 Cross-Entropy (交叉熵)