[확률 및 랜덤변수] Entropy

Entropy

• 정보량에서의 Entropy : 정보의 양이 아닌, 랜덤변수에 정의되는 성질

• 정보의 가치는 당연한 사실일수록 낮을 것이며,
• 예측이 가능하지 않을수록, 즉 불확실성(Uncertainty)이 높을수록 정보량이 많아짐
• 정보가 예측가능한 것이라면 정보의 가치가 없게됨
• 결국, 발생 확률이 작을수록 정보의 가치가 높음
• 따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨
• 출처 : ktword - 정보량

• 불확실성이 높을수록 정보량이 많아진다
• ex. 동전 1개를 던질 때의 entropy

  • $h(X) = -\sum P_ilog_2 P_i$

  • $P_X(x) = \begin{cases} 1/2(x=0)\\ 1/2(x=1) \end{cases}$

  • $h(x) = -\frac{1}{2}log_2\frac{1}{2}-\frac{1}{2}log_2\frac{1}{2}=1$

• ex2. 주사위 던지기
  • $h(x) = 6 \times\frac{1}{6}\times\log_26 = 2.585$
  • 만약 주사위 1000개를 던진다면 2585bit가 필요
• morse code
  • 영단어에서 가장 많이 쓰이는 e, t의 부호가 가장 짧다.
  • 엔트로피 정의를 보면 $h(X) = -\sum P_ilog P_i$에서 정보의 출현 확률과 엔트로피(정보량)은 반비례함을 알 수 있다.
• 엔트로피가 작다
  = PMF가 편중되어 있는 상태(물리에서의 엔트로피와 비슷하게 해석)