Entropy

量測不確定性
事件越不可預測，熵越大；完全確定時，熵為 0。
⇒ Entropy 越高，也就是資訊量越高
⇒ 越多不確定性存在，因為有更多因素去影響我們原子的分布狀況

以下圖來說：
資訊量大代表什麼意思？
⇒ 也就是說越不確定的事情，裡面隱藏的訊息就會越多
⇒ 會擁有越高的 Entropy

Fig: 機率越大，擁有的資訊量越穩定越少，Entropy 低

以下圖來說：
最大的 Entropy ⇒ P = 0.5，Entropy = 1 ⇒ 充滿不確定性

Fig: 不同機率(p)下算出的entropy值。
由圖可以知道，機率趨近兩側entropy越小，越中間越大