Merge pull request #4 from jungin7612/feature/4.4

Add 2.4.4 Properties of Mutual Information

Author: jungin7612

_posts/2019-04-29-license.md

@@ -185,6 +185,239 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 ### 2.4.3 Mutual Information
 
 ### 2.4.4 Properties of Mutual Information
+# 2.4.4 상호정보량의 성질
+
+## 정리 36 (데이터 처리 부등식 I)  
+**정리.** \(f\)가 결정론적 함수라면,
+\[
+H(X) \ge H(f(X))
+\]
+이다.
+
+**증명.**  
+\[
+H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81}
+\]
+또한,
+\[
+H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83}
+\]
+따라서 \(H(X) \ge H(f(X))\)이다.  
+(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).)
+
+---
+
+## 정리 37 (Mutual information은 대칭적이다)  
+**정리.**  
+\[
+I(X;Y) = I(Y;X)
+\]
+
+**증명.**  
+\[
+\begin{aligned}
+I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\
+       &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\
+       &= H(X) + H(Y) - H(X,Y) \tag{86} \\
+       &= I(Y;X) \tag{87}
+\end{aligned}
+\]
+
+---
+
+## 정리 38 (Mutual information은 비음수이다)  
+**정리.**  
+\[
+I(X;Y) \ge 0
+\]
+
+**증명.**  
+\[
+\begin{aligned}
+H(X) - H(X\mid Y)
+&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\
+&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\
+&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\
+&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\
+&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 \tag{92}
+\end{aligned}
+\]
+따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\).  
+여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.  
+또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
+
+---
+
+## 정리 39 (데이터 처리 부등식 II)  
+**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다:
+\[
+I(X;Y) \ge I(f(X);Y)
+\]
+
+**증명.**  
+\[
+\begin{aligned}
+I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\
+       &= H(Y) - H(Y\mid X, f(X)) \tag{94} \\
+       &\ge H(Y) - H(Y\mid f(X)) \tag{95} \\
+       &= I(f(X);Y) \tag{96}
+\end{aligned}
+\]
+
+**일반화.**  
+\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
+1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97}  
+2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98}  
+3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\). \tag{99}  
+
+---
+
+## 정리 40 (데이터 처리 부등식 III)  
+**정리.**  
+만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면,
+\[
+I(X;Z) \le I(Y;Z)
+\]
+또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\).
+
+**증명.**  
+\[
+\begin{aligned}
+I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\
+       &= H(Z) - H(Z\mid X, Y) \tag{101} \\
+       &\ge H(Z) - H(Z\mid X) \tag{102} \\
+       &= I(X;Z) \tag{103}
+\end{aligned}
+\]
+따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다.
+
+---
+
+# 문제 29.(b)
+
+## 문제 29.  
+\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
+**(b)** \(I(X, Y; Z) \ge I(X; Z)\).
+
+## 풀이
+
+### 1. 체인 룰(chain rule) 적용  
+상호 정보의 체인 룰에 따르면:
+\[
+I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X).
+\]
+이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을  
+먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다.
+
+### 2. 조건부 상호 정보의 비음성  
+항상  
+\[
+I(Y; Z \mid X) \ge 0
+\]
+이다. (KL 발산 형태로 증명할 수 있다.)
+
+### 3. 부등식 결론  
+따라서
+\[
+I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z).
+\]
+
+### 4. 등호 성립 조건  
+등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면  
+\[
+I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X
+\]
+이어야 한다.  
+즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.  
+이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다.
+
+---
+
+# 문제 31
+
+## 문제 31.  
+임의의 결정론적 함수 \(g\)에 대하여,
+\[
+H(X \mid g(Y)) = H(X \mid Y)
+\]
+이 성립하려면 어떤 조건이 필요한가?
+
+## 풀이
+
+### 1. 데이터 처리 부등식 I (조건부 형태)  
+이미 알고 있는 바:
+\[
+H(X \mid g(Y)) \ge H(X \mid Y),
+\]
+왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
+
+### 2. 등호 조건 분석  
+\[
+H(X \mid g(Y)) = H(X \mid Y)
+\]
+일 때, 양쪽 사이에 끼어 있는
+\[
+H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0
+\]
+이다.  
+즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다.
+
+### 3. 마르코프 사슬 해석  
+\[
+I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y).
+\]
+이는 바로  
+\[
+X \longrightarrow g(Y) \longrightarrow Y
+\]
+꼴의 마르코프 사슬 형태가 성립함을 뜻한다.
+
+### 4. 특수 사례
+- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.  
+- 또 \(X\)와 \(Y\)가 본래 독립이라도  
+  \[
+  H(X \mid g(Y)) = H(X) = H(X \mid Y)
+  \]
+  이므로 등호가 된다.  
+  이 두 경우는 포함되지만, **유일한 경우는 아닙니다.**
+
+---
+
+# 문제 42.(b)
+
+## 문제 42.  
+다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.  
+**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\).
+
+## 풀이
+
+### 1. 데이터 처리 부등식 II  
+이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여:
+\[
+I(g(X); Y) \le I(X; Y).
+\]
+
+### 2. 직관  
+- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,  
+- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →  
+- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다.
+
+### 3. 형식적 증명  
+\[
+\begin{aligned}
+I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\
+           &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
+           &= I(X; Y).
+\end{aligned}
+\]
+
+### 4. 등호 성립 조건  
+등호가 되려면  
+\[
+H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X).
+\]
+즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.  
+다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다.
 
 ### 2.4.5 Conditional Mutual Information