Merge pull request #1 from jungin7612/fix-info-theory

Fix: Update conditional entropy derivation

Author: jungin7612

_posts/2019-04-29-license.md

@@ -39,6 +39,93 @@ long contents .....
 
 ### 2.4.2 Conditional Entropy
 
+>**Conditonal Entropy란?**
+
+이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다.
+
+이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X|Y)$$와 같이 나타내고 아래와 같이 정의된다.
+
+$$
+H(X|Y) = \mathbb{E}\Big[\log \frac{1}{p_{X|Y}(X|Y)}\Big]
+= \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X|Y}(x|y)}.
+$$
+
+위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X|Y}(X|Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다.
+
+우리는 기대값을 계산하기 위해 변수 $X$와 $Y$를 고려하고 있다. 결합 엔트로피(joint entropy)는 개별 엔트로피의 합이며, 각각의 $y$와 전체 엔트로피에 대한 각각의 기여(contribution)를 고려할 때 명확해진다. 특정 조건 y를 고정하는 경우를 생각해 보면 다음과 같이 나타낼 수 있다.
+
+$$
+H(X|Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X|Y}(X|Y = y)} \Big]
+$$
+
+이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다.
+
+$$
+
+= \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)}
+
+$$
+
+만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다
+
+$$
+H(X|Y) = \sum_{y} p_Y(y) H(X|Y = y)
+$$
+
+이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다.
+
+$$
+\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]
++ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big]
+= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big]
+$$
+
+$$
+= \mathbb{E}\Big[ \log \frac{1}{p_{X,Y}(X,Y)} \Big]
+$$
+$$
+= H(X,Y).
+$$
+
+$p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$
+를 이용하면 위 증명이 성립함을 쉽게 알 수 있다.
+
+**Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라**
+ 1. $H(Y2|Y1)$
+ 2. $H(Y4|Y1)$
+
+풀이:
+
+1.
+$\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다. 
+
+이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다. 
+
+즉, $\sum_{y} p_{Y2}(y) \log \frac{1}{p_{Y2}(y)}$를 계산하면 된다.
+
+답: 1
+
+2.
+
+$p_(Y4=0|Y1=0) = 3/4$
+
+$p_(Y4=1|Y1=0) = 1/4$
+
+$p_(Y4=0|Y1=1) = 1/4$
+
+$p_(Y4=1|Y1=1) = 3/4$
+
+를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고
+
+$H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
+
+따라서 $H(Y4|Y1)$은 $1/2*3/4\log4/3+1/4\log4$+$1/2*3/4\log4/3+1/4\log4$이다.
+
+이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다. 
+
+따라서 조건이 존재할 경우 정보가 같거나 줄어든다는 사실을 알 수 있다.
+
+
 ### 2.4.3 Mutual Information
 
 ### 2.4.4 Properties of Mutual Information