Fix font corruption

Author: clp135

_posts/2019-04-29-license.md

@@ -188,236 +188,185 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 # 2.4.4 상호정보량의 성질
 
 ## 정리 36 (데이터 처리 부등식 I)  
-**정리.** \(f\)가 결정론적 함수라면,
-\[
-H(X) \ge H(f(X))
-\]
-이다.
+**정리.** f가 결정론적 함수라면,  
+H(X) ≥ H(f(X)) 이다.
 
 **증명.**  
-\[
-H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81}
-\]
-또한,
-\[
-H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83}
-\]
-따라서 \(H(X) \ge H(f(X))\)이다.  
-(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).)
+H(X, f(X)) = H(X) + H(f(X) | X) = H(X)  (식 80–81)  
+또한  
+H(X, f(X)) = H(f(X)) + H(X | f(X)) ≥ H(f(X))  (식 82–83)  
+따라서 H(X) ≥ H(f(X)).  
+(f가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 H(X) = H(f(X)).)
 
 ---
 
 ## 정리 37 (Mutual information은 대칭적이다)  
 **정리.**  
-\[
 I(X;Y) = I(Y;X)
-\]
 
 **증명.**  
-\[
-\begin{aligned}
-I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\
-       &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\
-       &= H(X) + H(Y) - H(X,Y) \tag{86} \\
-       &= I(Y;X) \tag{87}
-\end{aligned}
-\]
+위 정의들을 평문으로 쓰면 다음과 같다:
+```
+I(X;Y) = H(X) - H(X | Y)             (식 84)
+       = H(X) - (H(X,Y) - H(Y))     (식 85)
+       = H(X) + H(Y) - H(X,Y)       (식 86)
+       = I(Y;X)                    (식 87)
+```
 
 ---
 
 ## 정리 38 (Mutual information은 비음수이다)  
 **정리.**  
-\[
-I(X;Y) \ge 0
-\]
+I(X;Y) ≥ 0
 
 **증명.**  
-\[
-\begin{aligned}
-H(X) - H(X\mid Y)
-&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\
-&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\
-&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\
-&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\
-&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \tag{92}
-\end{aligned}
-\]
-따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\).  
-여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.  
-또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
+```
+H(X) - H(X | Y)
+= E[ log(1 / p_X(X)) ] - E[ log(1 / p_{X|Y}(X | Y)) ]         (식 88)
+= E[ log( p_{X|Y}(X | Y) / p_X(X) ) ]                        (식 89)
+= E[ log( p_{X,Y}(X,Y) / (p_X(X) p_Y(Y)) ) ]                (식 90)
+= sum_{x,y} p_{X,Y}(x,y) * log( p_{X,Y}(x,y) / (p_X(x) p_Y(y)) )  (식 91)
+= D( p_{X,Y} || p_X p_Y ) ≥ 0                                (식 92)
+```
+따라서 I(X;Y) = D( p_{X,Y} || p_X p_Y ) ≥ 0.  
+여기서 p_X p_Y는 X와 Y가 각각 주변분포 p_X, p_Y를 가지지만 서로 독립인 (X,Y)에 대한 분포이다.  
+또한 부등식 H(X) ≥ H(X | Y)는 “조건부를 취하면 불확실성이 줄어들거나 유지된다”는 해석을 가질 수 있다.
 
 ---
 
 ## 정리 39 (데이터 처리 부등식 II)  
-**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다:
-\[
-I(X;Y) \ge I(f(X);Y)
-\]
+**정리.** 임의의 함수 f: X → R에 대해 다음이 성립한다:  
+I(X;Y) ≥ I(f(X);Y)
 
 **증명.**  
-\[
-\begin{aligned}
-I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\
-       &= H(Y) - H(Y\mid X, f(X)) \tag{94} \\
-       &\ge H(Y) - H(Y\mid f(X)) \tag{95} \\
-       &= I(f(X);Y) \tag{96}
-\end{aligned}
-\]
+```
+I(X;Y) = H(Y) - H(Y | X)                       (식 93)
+       = H(Y) - H(Y | X, f(X))                (식 94)
+       ≥ H(Y) - H(Y | f(X))                   (식 95)
+       = I(f(X);Y)                            (식 96)
+```
 
 **일반화.**  
-\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
-1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97}  
-2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98}  
-3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). \tag{99}  
+X - Y - Z가 마르코프 체인(또는 X와 Z가 Y를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
+
+1. X - Y - Z ⟷ X와 Z가 Y를 주었을 때 독립 (즉, X ⟂ Z | Y) (식 97)  
+2. Y가 알려져 있을 때 X는 Z를 추정하는 데 쓸모없다. (식 98)  
+3. 모든 x,y,z에 대해 p_{Z|X,Y}(z | x,y) = p_{Z|Y}(z | y). (식 99)  
 
 ---
 
 ## 정리 40 (데이터 처리 부등식 III)  
 **정리.**  
-만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면,
-\[
-I(X;Z) \le I(Y;Z)
-\]
-또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\).
+만약 X - Y - Z가 마르코프 체인을 이룬다면,  
+I(X;Z) ≤ I(Y;Z)  
+또는 대칭적으로 I(Z;X) ≤ I(Z;Y).
 
 **증명.**  
-\[
-\begin{aligned}
-I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\
-       &= H(Z) - H(Z\mid X, Y) \tag{101} \\
-       &\ge H(Z) - H(Z\mid X) \tag{102} \\
-       &= I(X;Z) \tag{103}
-\end{aligned}
-\]
-따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다.
+```
+I(Y;Z) = H(Z) - H(Z | Y)                          (식 100)
+       = H(Z) - H(Z | X, Y)                      (식 101)
+       ≥ H(Z) - H(Z | X)                         (식 102)
+       = I(X;Z)                                  (식 103)
+```
+따라서 I(Y;Z) ≥ I(X;Z), 즉 I(Z;Y) ≥ I(Z;X)이다.
 
 ---
 
 # 문제 29.(b)
 
 ## 문제 29.  
-\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
-**(b)** \(I(X, Y; Z) \ge I(X; Z)\).
+X, Y, Z가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
+**(b)** I(X, Y; Z) ≥ I(X; Z).
 
 ## 풀이
 
 ### 1. 체인 룰(chain rule) 적용  
-상호 정보의 체인 룰에 따르면:
-\[
-I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X).
-\]
-이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을  
-먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다.
+상호 정보의 체인 룰에 따르면:  
+I(X, Y; Z) = I(X; Z) + I(Y; Z | X).  
+이는 “X, Y가 합쳐질 때 Z와 주고받는 정보량”을 먼저 X가 주는 정보량과, X를 알고 난 뒤 Y가 더 주는 추가 정보량으로 분해한 식이다.
 
 ### 2. 조건부 상호 정보의 비음성  
 항상  
-\[
-I(Y; Z \mid X) \ge 0
-\]
+I(Y; Z | X) ≥ 0  
 이다. (KL 발산 형태로 증명할 수 있다.)
 
 ### 3. 부등식 결론  
-따라서
-\[
-I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z).
-\]
+따라서  
+I(X, Y; Z) = I(X; Z) + I(Y; Z | X) ≥ I(X; Z).
 
 ### 4. 등호 성립 조건  
-등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면  
-\[
-I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X
-\]
+등호 I(X, Y; Z) = I(X; Z)가 되려면  
+I(Y; Z | X) = 0 ⟷ Y ⟂ Z | X  
 이어야 한다.  
-즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.  
-이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다.
+즉 “X를 조건으로 두었을 때 Y와 Z가 독립”이어야 한다.  
+이 역시 Y → X → Z 형태의 마르코프 사슬과 동치이다.
 
 ---
 
 # 문제 31
 
 ## 문제 31.  
-임의의 결정론적 함수 \(g\)에 대하여,
-\[
-H(X \mid g(Y)) = H(X \mid Y)
-\]
+임의의 결정론적 함수 g에 대하여,  
+H(X | g(Y)) = H(X | Y)  
 이 성립하려면 어떤 조건이 필요한가?
 
 ## 풀이
 
 ### 1. 데이터 처리 부등식 I (조건부 형태)  
-이미 알고 있는 바:
-\[
-H(X \mid g(Y)) \ge H(X \mid Y),
-\]
-왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
+이미 알고 있는 바:  
+H(X | g(Y)) ≥ H(X | Y),  
+왜냐하면 “Y를 알면 g(Y)를 알 수 있지만, g(Y)를 안다고 해서 항상 Y가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
 
 ### 2. 등호 조건 분석  
-\[
-H(X \mid g(Y)) = H(X \mid Y)
-\]
-일 때, 양쪽 사이에 끼어 있는
-\[
-H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0
-\]
+H(X | g(Y)) = H(X | Y) 일 때, 양쪽 사이에 끼어 있는  
+H(X | Y) - H(X | g(Y)) = I(X;Y | g(Y)) = 0  
 이다.  
-즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다.
+즉, “g(Y)를 조건으로 X와 Y가 독립”이어야 한다.
 
 ### 3. 마르코프 사슬 해석  
-\[
-I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y).
-\]
+I(X;Y | g(Y)) = 0 ⟷ X ⟂ Y | g(Y).  
 이는 바로  
-\[
-X \longrightarrow g(Y) \longrightarrow Y
-\]
+X → g(Y) → Y  
 꼴의 마르코프 사슬 형태가 성립함을 뜻한다.
 
-### 4. 특수 사례
-- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.  
-- 또 \(X\)와 \(Y\)가 본래 독립이라도  
-  \[
-  H(X \mid g(Y)) = H(X) = H(X \mid Y)
-  \]
+### 4. 특수 사례  
+- g가 일대일 대응(가역)이면 당연히 g(Y) ↔ Y 양방향 복원이 가능하므로 등호 성립.  
+- 또 X와 Y가 본래 독립이라도  
+  H(X | g(Y)) = H(X) = H(X | Y)  
   이므로 등호가 된다.  
-  이 두 경우는 포함되지만, **유일한 경우는 아닙니다.**
+  이 두 경우는 포함되지만, **유일한 경우는 아니다.**
 
 ---
 
 # 문제 42.(b)
 
 ## 문제 42.  
-다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.  
-**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\).
+다음 부등식들 중 일반적으로 ≥, =, ≤ 중 어느 관계가 성립하는지 각각 표시하라.  
+**(b)** I(g(X); Y) vs. I(X; Y).
 
 ## 풀이
 
 ### 1. 데이터 처리 부등식 II  
-이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여:
-\[
-I(g(X); Y) \le I(X; Y).
-\]
+이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 g에 대하여:  
+I(g(X); Y) ≤ I(X; Y).
 
 ### 2. 직관  
-- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,  
-- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →  
-- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다.
+- X가 Y에 갖는 정보량이 I(X;Y)이고,  
+- X를 g로 가공한 g(X)는 X보다 “덜 상세”(또는 같음) →  
+- g(X)가 Y에 제공할 수 있는 정보도 당연히 I(X;Y) 이하여야 한다.
 
 ### 3. 형식적 증명  
-\[
-\begin{aligned}
-I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\
-           &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
-           &= I(X; Y).
-\end{aligned}
-\]
+```
+I(g(X); Y) = H(Y) - H(Y | g(X))
+           ≤ H(Y) - H(Y | X)    (조건부 엔트로피 감소: H(Y | g(X)) ≥ H(Y | X))
+           = I(X; Y)
+```
 
 ### 4. 등호 성립 조건  
 등호가 되려면  
-\[
-H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X).
-\]
-즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.  
-다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다.
+H(Y | g(X)) = H(Y | X) ⟷ I(Y; X | g(X)) = 0 ⟷ Y ⟂ X | g(X).  
+즉 “g(X)를 조건으로 X와 Y가 독립”일 때 등호가 된다.  
+다시 말해 g(X)를 기준으로 X와 Y는 더 이상의 조건부 상호 정보가 없다.
 
 ### 2.4.5 Conditional Mutual Information