Insert * instead of #

Author: clp135

_posts/2025-08-04-02.Information-Theory.md

@@ -247,259 +247,230 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 
 ### 2.4.4 Properties of Mutual Information
 
-# 2.4.4 상호정보량의 성질
-
-## 정리 36 (데이터 처리 부등식 I)
-
+**정리 36 (데이터 처리 부등식 I)**
 **정리.** \(f\)가 결정론적 함수라면,
 \[
 H(X) \ge H(f(X))
 \]
 이다.
 
-**증명.**
+**증명.**  
 \[
-H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X) \tag{80--81}
+H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X)
 \]
 또한,
 \[
-H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X)) \tag{82--83}
+H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X))
 \]
-따라서 \(H(X) \ge H(f(X))\)이다.
+따라서 \(H(X) \ge H(f(X))\)이다.  
 (\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).)
 
 ---
 
-## 정리 37 (Mutual information은 대칭적이다)
-
-**정리.**
+**정리 37 (Mutual information은 대칭적이다)**
+**정리.**  
 \[
 I(X;Y) = I(Y;X)
 \]
 
-**증명.**
+**증명.**  
 \[
 \begin{aligned}
-I(X;Y) &= H(X) - H(X\mid Y) \tag{84} \\
-&= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \tag{85} \\
-&= H(X) + H(Y) - H(X,Y) \tag{86} \\
-&= I(Y;X) \tag{87}
+I(X;Y) &= H(X) - H(X\mid Y) \\
+       &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\
+       &= H(X) + H(Y) - H(X,Y) \\
+       &= I(Y;X)
 \end{aligned}
 \]
 
 ---
 
-## 정리 38 (Mutual information은 비음수이다)
-
-**정리.**
+**정리 38 (Mutual information은 비음수이다)**  
+**정리.**  
 \[
 I(X;Y) \ge 0
 \]
 
-**증명.**
-\[
+**증명.**  
+$$
 \begin{aligned}
 H(X) - H(X\mid Y)
-&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \tag{88} \\
-&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \tag{89} \\
-&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \tag{90} \\
-&= \sum*{x,y} p*{X,Y}(x,y) \log \frac{p*{X,Y}(x,y)}{p_X(x)p_Y(y)} \tag{91} \\
-&= D\!\left(p*{X,Y} \,\|\, p*X p_Y\right) \ge 0 \tag{92}
+&= \mathbb{E}\left[\log \frac{1}{p_X(X)}\right] - \mathbb{E}\left[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\right] \\
+&= \mathbb{E}\left[\log \frac{p_{X\mid Y}(X\mid Y)}{p_X(X)}\right] \\
+&= \mathbb{E}\left[\log \frac{p_{X,Y}(X,Y)}{p_X(X)p_Y(Y)}\right] \\
+&= \sum_{x,y} p_{X,Y}(x,y) \log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)} \\
+&= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 
 \end{aligned}
-\]
-따라서 \(I(X;Y) = D(p*{X,Y}\,\|\,p_X p_Y) \ge 0\).
-여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.
+$$
+따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\).  
+여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.  
 또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
 
 ---
 
-## 정리 39 (데이터 처리 부등식 II)
-
+**정리 39 (데이터 처리 부등식 II)**
 **정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다:
 \[
 I(X;Y) \ge I(f(X);Y)
 \]
 
-**증명.**
+**증명.**  
 \[
 \begin{aligned}
-I(X;Y) &= H(Y) - H(Y\mid X) \tag{93} \\
-&= H(Y) - H(Y\mid X, f(X)) \tag{94} \\
-&\ge H(Y) - H(Y\mid f(X)) \tag{95} \\
-&= I(f(X);Y) \tag{96}
+I(X;Y) &= H(Y) - H(Y\mid X) \\
+       &= H(Y) - H(Y\mid X, f(X)) \\
+       &\ge H(Y) - H(Y\mid f(X)) \\
+       &= I(f(X);Y)
 \end{aligned}
 \]
 
-**일반화.**
+**일반화.**  
 \(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
-
-1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\) \tag{97}
-2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다. \tag{98}
-3. 모든 \(x,y,z\)에 대해 \(p*{Z\mid X,Y}(z\mid x,y) = p*{Z\mid Y}(z\mid y)\). \tag{99}
+1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\)  
+2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다.  
+3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\).  
 
 ---
 
-## 정리 40 (데이터 처리 부등식 III)
-
-**정리.**
+**정리 40 (데이터 처리 부등식 III)** 
+**정리.**  
 만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면,
 \[
 I(X;Z) \le I(Y;Z)
 \]
 또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\).
 
-**증명.**
+**증명.**  
 \[
 \begin{aligned}
-I(Y;Z) &= H(Z) - H(Z\mid Y) \tag{100} \\
-&= H(Z) - H(Z\mid X, Y) \tag{101} \\
-&\ge H(Z) - H(Z\mid X) \tag{102} \\
-&= I(X;Z) \tag{103}
+I(Y;Z) &= H(Z) - H(Z\mid Y) \\
+       &= H(Z) - H(Z\mid X, Y) \\
+       &\ge H(Z) - H(Z\mid X) \\
+       &= I(X;Z)
 \end{aligned}
 \]
 따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다.
 
----
+**문제 29.(b)**
 
-# 문제 29.(b)
-
-## 문제 29.
-
-\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.
+\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
 **(b)** \(I(X, Y; Z) \ge I(X; Z)\).
 
-## 풀이
-
-### 1. 체인 룰(chain rule) 적용
+**풀이**
 
+**1. 체인 룰(chain rule) 적용**
 상호 정보의 체인 룰에 따르면:
 \[
 I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X).
 \]
-이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을
+이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을  
 먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다.
 
-### 2. 조건부 상호 정보의 비음성
-
-항상
+**2. 조건부 상호 정보의 비음성**
+항상  
 \[
 I(Y; Z \mid X) \ge 0
 \]
 이다. (KL 발산 형태로 증명할 수 있다.)
 
-### 3. 부등식 결론
-
+**3. 부등식 결론**
 따라서
 \[
 I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z).
 \]
 
-### 4. 등호 성립 조건
-
-등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면
+**4. 등호 성립 조건**
+등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면  
 \[
 I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X
 \]
-이어야 한다.
-즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.
+이어야 한다.  
+즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.  
 이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다.
 
 ---
 
-# 문제 31
-
-## 문제 31.
-
+**문제 31.**
 임의의 결정론적 함수 \(g\)에 대하여,
 \[
 H(X \mid g(Y)) = H(X \mid Y)
 \]
 이 성립하려면 어떤 조건이 필요한가?
 
-## 풀이
-
-### 1. 데이터 처리 부등식 I (조건부 형태)
+**풀이**
 
+**1. 데이터 처리 부등식 I (조건부 형태)**  
 이미 알고 있는 바:
 \[
 H(X \mid g(Y)) \ge H(X \mid Y),
 \]
 왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
 
-### 2. 등호 조건 분석
-
+**2. 등호 조건 분석**
 \[
 H(X \mid g(Y)) = H(X \mid Y)
 \]
 일 때, 양쪽 사이에 끼어 있는
 \[
 H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0
 \]
-이다.
+이다.  
 즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다.
 
-### 3. 마르코프 사슬 해석
-
+**3. 마르코프 사슬 해석**
 \[
 I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y).
 \]
-이는 바로
+이는 바로  
 \[
 X \longrightarrow g(Y) \longrightarrow Y
 \]
 꼴의 마르코프 사슬 형태가 성립함을 뜻한다.
 
-### 4. 특수 사례
-
-- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.
-- 또 \(X\)와 \(Y\)가 본래 독립이라도
+**4. 특수 사례**
+- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.  
+- 또 \(X\)와 \(Y\)가 본래 독립이라도  
   \[
   H(X \mid g(Y)) = H(X) = H(X \mid Y)
   \]
-  이므로 등호가 된다.
-  이 두 경우는 포함되지만, **유일한 경우는 아닙니다.**
+  이므로 등호가 된다.  
+  이 두 경우는 포함되지만, 유일한 경우는 아니다.
 
 ---
 
-# 문제 42.(b)
+**문제 42.(b)**
 
-## 문제 42.
-
-다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.
+다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.  
 **(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\).
 
-## 풀이
-
-### 1. 데이터 처리 부등식 II
+**풀이**
 
+**1. 데이터 처리 부등식 II**
 이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여:
 \[
 I(g(X); Y) \le I(X; Y).
 \]
 
-### 2. 직관
-
-- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,
-- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →
+**2. 직관**
+- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,  
+- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →  
 - \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다.
 
-### 3. 형식적 증명
-
+**3. 형식적 증명**
 \[
 \begin{aligned}
 I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\
-&\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
-&= I(X; Y).
+           &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
+           &= I(X; Y).
 \end{aligned}
 \]
 
-### 4. 등호 성립 조건
-
-등호가 되려면
+**4. 등호 성립 조건**
+등호가 되려면  
 \[
 H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X).
 \]
-즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.
+즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.  
 다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다.
 
 ### 2.4.5 Conditional Mutual Information