Retry fixing font corruption

Author: clp135

_posts/2019-04-29-license.md

@@ -184,189 +184,235 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 
 ### 2.4.3 Mutual Information
 
+
 ### 2.4.4 Properties of Mutual Information
-# 2.4.4 상호정보량의 성질
 
-## 정리 36 (데이터 처리 부등식 I)  
-**정리.** f가 결정론적 함수라면,  
-H(X) ≥ H(f(X)) 이다.
+### 정리 36 (데이터 처리 부등식 I)  
+**정리.** \(f\)가 결정론적 함수라면,
+\[
+H(X) \ge H(f(X))
+\]
+이다.
 
 **증명.**  
-H(X, f(X)) = H(X) + H(f(X) | X) = H(X)  (식 80–81)  
-또한  
-H(X, f(X)) = H(f(X)) + H(X | f(X)) ≥ H(f(X))  (식 82–83)  
-따라서 H(X) ≥ H(f(X)).  
-(f가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 H(X) = H(f(X)).)
+\[
+H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X)
+\]
+또한,
+\[
+H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X))
+\]
+따라서 \(H(X) \ge H(f(X))\)이다.  
+(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).)
 
 ---
 
-## 정리 37 (Mutual information은 대칭적이다)  
+### 정리 37 (Mutual information은 대칭적이다)  
 **정리.**  
+\[
 I(X;Y) = I(Y;X)
+\]
 
 **증명.**  
-위 정의들을 평문으로 쓰면 다음과 같다:
-```
-I(X;Y) = H(X) - H(X | Y)             (식 84)
-       = H(X) - (H(X,Y) - H(Y))     (식 85)
-       = H(X) + H(Y) - H(X,Y)       (식 86)
-       = I(Y;X)                    (식 87)
-```
+\[
+\begin{aligned}
+I(X;Y) &= H(X) - H(X\mid Y) \\
+       &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\
+       &= H(X) + H(Y) - H(X,Y) \\
+       &= I(Y;X)
+\end{aligned}
+\]
 
 ---
 
-## 정리 38 (Mutual information은 비음수이다)  
+### 정리 38 (Mutual information은 비음수이다)  
 **정리.**  
-I(X;Y) ≥ 0
+\[
+I(X;Y) \ge 0
+\]
 
 **증명.**  
-```
-H(X) - H(X | Y)
-= E[ log(1 / p_X(X)) ] - E[ log(1 / p_{X|Y}(X | Y)) ]         (식 88)
-= E[ log( p_{X|Y}(X | Y) / p_X(X) ) ]                        (식 89)
-= E[ log( p_{X,Y}(X,Y) / (p_X(X) p_Y(Y)) ) ]                (식 90)
-= sum_{x,y} p_{X,Y}(x,y) * log( p_{X,Y}(x,y) / (p_X(x) p_Y(y)) )  (식 91)
-= D( p_{X,Y} || p_X p_Y ) ≥ 0                                (식 92)
-```
-따라서 I(X;Y) = D( p_{X,Y} || p_X p_Y ) ≥ 0.  
-여기서 p_X p_Y는 X와 Y가 각각 주변분포 p_X, p_Y를 가지지만 서로 독립인 (X,Y)에 대한 분포이다.  
-또한 부등식 H(X) ≥ H(X | Y)는 “조건부를 취하면 불확실성이 줄어들거나 유지된다”는 해석을 가질 수 있다.
+$$
+\begin{aligned}
+H(X) - H(X\mid Y)
+&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \\
+&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\
+&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\
+&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\
+&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 
+\end{aligned}
+$$
+따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\).  
+여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.  
+또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
 
 ---
 
-## 정리 39 (데이터 처리 부등식 II)  
-**정리.** 임의의 함수 f: X → R에 대해 다음이 성립한다:  
-I(X;Y) ≥ I(f(X);Y)
+### 정리 39 (데이터 처리 부등식 II)  
+**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다:
+\[
+I(X;Y) \ge I(f(X);Y)
+\]
 
 **증명.**  
-```
-I(X;Y) = H(Y) - H(Y | X)                       (식 93)
-       = H(Y) - H(Y | X, f(X))                (식 94)
-       ≥ H(Y) - H(Y | f(X))                   (식 95)
-       = I(f(X);Y)                            (식 96)
-```
+\[
+\begin{aligned}
+I(X;Y) &= H(Y) - H(Y\mid X) \\
+       &= H(Y) - H(Y\mid X, f(X)) \\
+       &\ge H(Y) - H(Y\mid f(X)) \\
+       &= I(f(X);Y)
+\end{aligned}
+\]
 
 **일반화.**  
-X - Y - Z가 마르코프 체인(또는 X와 Z가 Y를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
-
-1. X - Y - Z ⟷ X와 Z가 Y를 주었을 때 독립 (즉, X ⟂ Z | Y) (식 97)  
-2. Y가 알려져 있을 때 X는 Z를 추정하는 데 쓸모없다. (식 98)  
-3. 모든 x,y,z에 대해 p_{Z|X,Y}(z | x,y) = p_{Z|Y}(z | y). (식 99)  
+\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
+1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\)  
+2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다.  
+3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\).  
 
 ---
 
-## 정리 40 (데이터 처리 부등식 III)  
+### 정리 40 (데이터 처리 부등식 III)  
 **정리.**  
-만약 X - Y - Z가 마르코프 체인을 이룬다면,  
-I(X;Z) ≤ I(Y;Z)  
-또는 대칭적으로 I(Z;X) ≤ I(Z;Y).
+만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면,
+\[
+I(X;Z) \le I(Y;Z)
+\]
+또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\).
 
 **증명.**  
-```
-I(Y;Z) = H(Z) - H(Z | Y)                          (식 100)
-       = H(Z) - H(Z | X, Y)                      (식 101)
-       ≥ H(Z) - H(Z | X)                         (식 102)
-       = I(X;Z)                                  (식 103)
-```
-따라서 I(Y;Z) ≥ I(X;Z), 즉 I(Z;Y) ≥ I(Z;X)이다.
-
----
+\[
+\begin{aligned}
+I(Y;Z) &= H(Z) - H(Z\mid Y) \\
+       &= H(Z) - H(Z\mid X, Y) \\
+       &\ge H(Z) - H(Z\mid X) \\
+       &= I(X;Z)
+\end{aligned}
+\]
+따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다.
 
-# 문제 29.(b)
+### 문제 29.(b)
 
-## 문제 29.  
-X, Y, Z가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
-**(b)** I(X, Y; Z) ≥ I(X; Z).
+\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
+**(b)** \(I(X, Y; Z) \ge I(X; Z)\).
 
-## 풀이
+### 풀이
 
-### 1. 체인 룰(chain rule) 적용  
-상호 정보의 체인 룰에 따르면:  
-I(X, Y; Z) = I(X; Z) + I(Y; Z | X).  
-이는 “X, Y가 합쳐질 때 Z와 주고받는 정보량”을 먼저 X가 주는 정보량과, X를 알고 난 뒤 Y가 더 주는 추가 정보량으로 분해한 식이다.
+#### 1. 체인 룰(chain rule) 적용  
+상호 정보의 체인 룰에 따르면:
+\[
+I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X).
+\]
+이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을  
+먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다.
 
-### 2. 조건부 상호 정보의 비음성  
+#### 2. 조건부 상호 정보의 비음성  
 항상  
-I(Y; Z | X) ≥ 0  
+\[
+I(Y; Z \mid X) \ge 0
+\]
 이다. (KL 발산 형태로 증명할 수 있다.)
 
-### 3. 부등식 결론  
-따라서  
-I(X, Y; Z) = I(X; Z) + I(Y; Z | X) ≥ I(X; Z).
-
-### 4. 등호 성립 조건  
-등호 I(X, Y; Z) = I(X; Z)가 되려면  
-I(Y; Z | X) = 0 ⟷ Y ⟂ Z | X  
+#### 3. 부등식 결론  
+따라서
+\[
+I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z).
+\]
+
+#### 4. 등호 성립 조건  
+등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면  
+\[
+I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X
+\]
 이어야 한다.  
-즉 “X를 조건으로 두었을 때 Y와 Z가 독립”이어야 한다.  
-이 역시 Y → X → Z 형태의 마르코프 사슬과 동치이다.
+즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.  
+이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다.
 
 ---
 
-# 문제 31
-
-## 문제 31.  
-임의의 결정론적 함수 g에 대하여,  
-H(X | g(Y)) = H(X | Y)  
+### 문제 31.  
+임의의 결정론적 함수 \(g\)에 대하여,
+\[
+H(X \mid g(Y)) = H(X \mid Y)
+\]
 이 성립하려면 어떤 조건이 필요한가?
 
-## 풀이
-
-### 1. 데이터 처리 부등식 I (조건부 형태)  
-이미 알고 있는 바:  
-H(X | g(Y)) ≥ H(X | Y),  
-왜냐하면 “Y를 알면 g(Y)를 알 수 있지만, g(Y)를 안다고 해서 항상 Y가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
-
-### 2. 등호 조건 분석  
-H(X | g(Y)) = H(X | Y) 일 때, 양쪽 사이에 끼어 있는  
-H(X | Y) - H(X | g(Y)) = I(X;Y | g(Y)) = 0  
+### 풀이
+
+#### 1. 데이터 처리 부등식 I (조건부 형태)  
+이미 알고 있는 바:
+\[
+H(X \mid g(Y)) \ge H(X \mid Y),
+\]
+왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
+
+#### 2. 등호 조건 분석  
+\[
+H(X \mid g(Y)) = H(X \mid Y)
+\]
+일 때, 양쪽 사이에 끼어 있는
+\[
+H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0
+\]
 이다.  
-즉, “g(Y)를 조건으로 X와 Y가 독립”이어야 한다.
+즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다.
 
-### 3. 마르코프 사슬 해석  
-I(X;Y | g(Y)) = 0 ⟷ X ⟂ Y | g(Y).  
+#### 3. 마르코프 사슬 해석  
+\[
+I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y).
+\]
 이는 바로  
-X → g(Y) → Y  
+\[
+X \longrightarrow g(Y) \longrightarrow Y
+\]
 꼴의 마르코프 사슬 형태가 성립함을 뜻한다.
 
-### 4. 특수 사례  
-- g가 일대일 대응(가역)이면 당연히 g(Y) ↔ Y 양방향 복원이 가능하므로 등호 성립.  
-- 또 X와 Y가 본래 독립이라도  
-  H(X | g(Y)) = H(X) = H(X | Y)  
+#### 4. 특수 사례
+- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.  
+- 또 \(X\)와 \(Y\)가 본래 독립이라도  
+  \[
+  H(X \mid g(Y)) = H(X) = H(X \mid Y)
+  \]
   이므로 등호가 된다.  
-  이 두 경우는 포함되지만, **유일한 경우는 아니다.**
+  이 두 경우는 포함되지만, **유일한 경우는 아닙니다.**
 
 ---
 
-# 문제 42.(b)
+### 문제 42.(b)
 
-## 문제 42.  
-다음 부등식들 중 일반적으로 ≥, =, ≤ 중 어느 관계가 성립하는지 각각 표시하라.  
-**(b)** I(g(X); Y) vs. I(X; Y).
+다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.  
+**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\).
 
-## 풀이
+### 풀이
 
-### 1. 데이터 처리 부등식 II  
-이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 g에 대하여:  
-I(g(X); Y) ≤ I(X; Y).
+#### 1. 데이터 처리 부등식 II  
+이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여:
+\[
+I(g(X); Y) \le I(X; Y).
+\]
 
-### 2. 직관  
-- X가 Y에 갖는 정보량이 I(X;Y)이고,  
-- X를 g로 가공한 g(X)는 X보다 “덜 상세”(또는 같음) →  
-- g(X)가 Y에 제공할 수 있는 정보도 당연히 I(X;Y) 이하여야 한다.
+#### 2. 직관  
+- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,  
+- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →  
+- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다.
 
-### 3. 형식적 증명  
-```
-I(g(X); Y) = H(Y) - H(Y | g(X))
-           ≤ H(Y) - H(Y | X)    (조건부 엔트로피 감소: H(Y | g(X)) ≥ H(Y | X))
-           = I(X; Y)
-```
+#### 3. 형식적 증명  
+\[
+\begin{aligned}
+I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\
+           &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
+           &= I(X; Y).
+\end{aligned}
+\]
 
-### 4. 등호 성립 조건  
+#### 4. 등호 성립 조건  
 등호가 되려면  
-H(Y | g(X)) = H(Y | X) ⟷ I(Y; X | g(X)) = 0 ⟷ Y ⟂ X | g(X).  
-즉 “g(X)를 조건으로 X와 Y가 독립”일 때 등호가 된다.  
-다시 말해 g(X)를 기준으로 X와 Y는 더 이상의 조건부 상호 정보가 없다.
+\[
+H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X).
+\]
+즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.  
+다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다.
+
 
 ### 2.4.5 Conditional Mutual Information