@@ -40,14 +40,17 @@ long contents .....
4040
4141결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2가 동시에 가질 정보량의 기대값이다.
4242
43+
4344$$
4445H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)}
4546$$
47+
4648Thm. 30(Property of Entropy)
4749
4850만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다.
4951
5052* Proof.*
53+
5154$$
5255\begin{aligned}
5356H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X_2}(x_2)} \\
@@ -57,6 +60,7 @@ H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X
5760\end{aligned}
5861$$
5962
63+
6064$\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산
6165
6266만약 X1과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1으로부터 얻는 정보량과 거의 비슷할 것이다.
@@ -67,14 +71,15 @@ $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은
6771> 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가?
6872
6973** Exercise 33**
70- * Alice가 $X$를 균등분포로 $\{ 1, 2, \dots, 8\} $ 중에서 뽑는다.
74+ Alice가 $X$를 균등분포로 $\{ 1, 2, \dots, 8\} $ 중에서 뽑는다.
75+ Bob이 세 가지 Yes or No 질문을 한다.
76+ 1 ) $X \in \{ 5, 6, 7, 8\} $ 인가?
77+ 2 ) $X \in \{ 1, 2, 5, 6\} $ 인가?
78+ 3 ) $X \in \{ 1, 3, 5, 7\} $ 인가?
7179
72- - Bob이 세 가지 Yes or No 질문을 한다.
73- i. $X \in \{5, 6, 7, 8\}$ 인가?
74- ii. $X \in \{1, 2, 5, 6\}$ 인가?
75- iii. $X \in \{1, 3, 5, 7\}$ 인가?
7680 $$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$
7781
82+
7883각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다.
7984
8085$$
0 commit comments