Skip to content

Commit 4298fb9

Browse files
이하람이하람
authored andcommitted
fix 4.1
1 parent dde115e commit 4298fb9

1 file changed

Lines changed: 10 additions & 5 deletions

File tree

_posts/2019-04-29-license.md

Lines changed: 10 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -40,14 +40,17 @@ long contents .....
4040
4141
결합 엔트로피 H(X1,X2)는 두 확률 변수 X1,X2​가 동시에 가질 정보량의 기대값이다.
4242

43+
4344
$$
4445
H(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{p_{X_1,X_2}(X_1,X_2)} \right] = \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1,X_2}(x_1,x_2)}
4546
$$
47+
4648
Thm. 30(Property of Entropy)
4749

4850
만약 $X_1$과 $X_2$가 독립이면 $H(X_1, X_2) = H(X_1) + H(X_2)$ 이다.
4951

5052
*Proof.*
53+
5154
$$
5255
\begin{aligned}
5356
H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X_2}(x_2)} \\
@@ -57,6 +60,7 @@ H(X_1,X_2) &= \sum_{x_1,x_2} p_{X_1,X_2}(x_1,x_2) \log \frac{1}{p_{X_1}(x_1)p_{X
5760
\end{aligned}
5861
$$
5962

63+
6064
$\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은 각 변수에서 얻는 정보량의 합으로 계산
6165

6266
만약 X1​과 X2가 강하게 상관되어 있다면, (X1,X2)로부터 얻는 정보량은 X1​으로부터 얻는 정보량과 거의 비슷할 것이다.
@@ -67,14 +71,15 @@ $\therefore$ 두 변수가 독립인 경우 두 변수에서 얻는 정보량은
6771
> 만약 $H(X_1, X_2) = H(X_1) + H(X_2)$이면, 이것이 독립을 의미하는가?
6872
6973
**Exercise 33**
70-
* Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다.
74+
Alice가 $X$를 균등분포로 $\{1, 2, \dots, 8\}$ 중에서 뽑는다.
75+
Bob이 세 가지 Yes or No 질문을 한다.
76+
1) $X \in \{5, 6, 7, 8\}$ 인가?
77+
2) $X \in \{1, 2, 5, 6\}$ 인가?
78+
3) $X \in \{1, 3, 5, 7\}$ 인가?
7179

72-
- Bob이 세 가지 Yes or No 질문을 한다.
73-
i. $X \in \{5, 6, 7, 8\}$ 인가?
74-
ii. $X \in \{1, 2, 5, 6\}$ 인가?
75-
iii. $X \in \{1, 3, 5, 7\}$ 인가?
7680
$$ Y_i = \begin{cases} 1 & \text{예} \\ 0 & \text{아니오} \end{cases} $$
7781

82+
7883
각 $Y_i$는 베르누이 확률 변수이고, 서로 독립이다.
7984

8085
$$

0 commit comments

Comments
 (0)