Merge pull request #3 from jungin7612/feature/4.1

Feature/4.1

Author: jungin7612

_posts/2019-04-29-license.md

@@ -36,6 +36,66 @@ long contents .....
 ## 2.4 Jointly Distributed Random Variables
 
 ### 2.4.1 Joint Entropy
+> 결합 엔트로피(Joint Entropy)란?
+
+결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2​가 동시에 가질 정보량의 기대값이다.
+
+
+$$
+H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)}
+$$
+
+Thm. 30(Property of Entropy)
+
+만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다.
+
+*Proof.*
+
+$$
+\begin{aligned}
+H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X_2}(x_2)} \\
+&= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \left( \log \frac{1}{p_{X_1}(x_1)} + \log \frac{1}{p_{X_2}(x_2)} \right) \\
+&= \sum_{x_1} p_{X_1}(x_1) \log \frac{1}{p_{X_1}(x_1)} + \sum_{x_2} p_{X_2}(x_2) \log \frac{1}{p_{X_2}(x_2)} \\
+&= H(X_1) + H(X_2)
+\end{aligned}
+$$
+
+
+$\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산
+
+만약 X1​과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1​으로부터 얻는 정보량과 거의 비슷할 것이다.
+
+---
+
+**Exercise 32**
+> 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가?
+
+**Exercise 33**
+
+Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑고, Bob이 세 가지 Yes or No 질문을 한다.
+1) $X \in \{5, 6, 7, 8\}$ 인가?
+2) $X \in \{1, 2, 5, 6\}$ 인가?
+3) $X \in \{1, 3, 5, 7\}$ 인가?
+
+ $$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$
+
+
+각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다.
+
+$$
+H(Y_1) = H(Y_2) = H(Y_3) = 1
+$$
+
+$$
+H(Y_1, Y_2, Y_3) = H(Y_1) + H(Y_2) + H(Y_3) = 3
+$$
+
+$$
+H(X) = \log_2 8 = 3
+$$
+
+$\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음.
+
 
 ### 2.4.2 Conditional Entropy