Merge pull request #13 from jungin7612/feature/4.4

change [ to $

Author: clp135

_posts/2025-08-04-02.Information-Theory.md

@@ -156,7 +156,7 @@ $$
 H(X) = \log_2 8 = 3
 $$
 
-$\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음.
+$\therefore$ 세 질문으로 $X$를 완벽하게 구분할 수 있음.
 
 ### 2.4.2 Conditional Entropy
 
@@ -282,48 +282,48 @@ $I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 
 ### 2.4.4 Properties of Mutual Information
 
 **정리 36 (데이터 처리 부등식 I)**
-**정리.** \(f\)가 결정론적 함수라면,
-\[
+**정리.** $f$가 결정론적 함수라면,
+$$
 H(X) \ge H(f(X))
-\]
+$$
 이다.
 
 **증명.**  
-\[
+$$
 H(X, f(X)) = H(X) + H(f(X)\mid X) = H(X)
-\]
+$$
 또한,
-\[
+$$
 H(X, f(X)) = H(f(X)) + H(X\mid f(X)) \ge H(f(X))
-\]
-따라서 \(H(X) \ge H(f(X))\)이다.  
-(\(f\)가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 \(H(X)=H(f(X))\).)
+$$
+따라서 $H(X) \ge H(f(X))$이다.  
+($f$가 일대일 대응이고 전사이면 역함수가 존재하므로 이 경우에는 $H(X)=H(f(X))$.)
 
 ---
 
 **정리 37 (Mutual information은 대칭적이다)**
 **정리.**  
-\[
+$$
 I(X;Y) = I(Y;X)
-\]
+$$
 
 **증명.**  
-\[
+$$
 \begin{aligned}
 I(X;Y) &= H(X) - H(X\mid Y) \\
        &= H(X) - \bigl(H(X,Y) - H(Y)\bigr) \\
        &= H(X) + H(Y) - H(X,Y) \\
        &= I(Y;X)
 \end{aligned}
-\]
+$$
 
 ---
 
 **정리 38 (Mutual information은 비음수이다)**  
 **정리.**  
-\[
+$$
 I(X;Y) \ge 0
-\]
+$$
 
 **증명.**  
 $$
@@ -336,176 +336,176 @@ H(X) - H(X\mid Y)
 &= D\!\left(p_{X,Y} \,\|\, p_X p_Y\right) \ge 0 
 \end{aligned}
 $$
-따라서 \(I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0\).  
-여기서 \(p_X p_Y\)는 \(X\)와 \(Y\)가 각각의 주변분포 \(p_X, p_Y\)를 가지지만 서로 독립인 \((X,Y)\)에 대한 분포이다.  
-또한 부등식 \(H(X) \ge H(X\mid Y)\)는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
+따라서 $I(X;Y) = D(p_{X,Y}\,\|\,p_X p_Y) \ge 0$.  
+여기서 $p_X p_Y$는 $X$와 $Y$가 각각의 주변분포 $p_X, p_Y$를 가지지만 서로 독립인 $(X,Y)$에 대한 분포이다.  
+또한 부등식 $H(X) \ge H(X\mid Y)$는 “조건부를 취하면 (불확실성이) 줄어들거나 유지된다”는 해석을 가질 수 있다.
 
 ---
 
 **정리 39 (데이터 처리 부등식 II)**
-**정리.** 임의의 함수 \(f: \mathcal{X} \to \mathbb{R}\)에 대해 다음이 성립한다:
-\[
+**정리.** 임의의 함수 $f: \mathcal{X} \to \mathbb{R}$에 대해 다음이 성립한다:
+$$
 I(X;Y) \ge I(f(X);Y)
-\]
+$$
 
 **증명.**  
-\[
+$$
 \begin{aligned}
 I(X;Y) &= H(Y) - H(Y\mid X) \\
        &= H(Y) - H(Y\mid X, f(X)) \\
        &\ge H(Y) - H(Y\mid f(X)) \\
        &= I(f(X);Y)
 \end{aligned}
-\]
+$$
 
 **일반화.**  
-\(X - Y - Z\)가 마르코프 체인(또는 \(X\)와 \(Z\)가 \(Y\)를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
-1. \(X - Y - Z \iff X\)와 \(Z\)가 \(Y\)를 주었을 때 독립이다. \((X \perp Z \mid Y)\)  
-2. \(Y\)가 알려져 있을 때 \(X\)는 \(Z\)를 추정하는 데 쓸모없다.  
-3. 모든 \(x,y,z\)에 대해 \(p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)\).  
+$X - Y - Z$가 마르코프 체인(또는 $X$와 $Z$가 $Y$를 조건으로 주었을 때 조건부 독립)일 때, 다음이 서로 동치이다:
+1. $X - Y - Z \iff X$와 $Z$가 $Y$를 주었을 때 독립이다. $(X \perp Z \mid Y)$  
+2. $Y$가 알려져 있을 때 $X$는 $Z$를 추정하는 데 쓸모없다.  
+3. 모든 $x,y,z$에 대해 $p_{Z\mid X,Y}(z\mid x,y) = p_{Z\mid Y}(z\mid y)$.  
 
 ---
 
 **정리 40 (데이터 처리 부등식 III)** 
 **정리.**  
-만약 \(X - Y - Z\)가 마르코프 체인을 이룬다면,
-\[
+만약 $X - Y - Z$가 마르코프 체인을 이룬다면,
+$$
 I(X;Z) \le I(Y;Z)
-\]
-또는 대칭적으로 \(I(Z;X) \le I(Z;Y)\).
+$$
+또는 대칭적으로 $I(Z;X) \le I(Z;Y)$.
 
 **증명.**  
-\[
+$$
 \begin{aligned}
 I(Y;Z) &= H(Z) - H(Z\mid Y) \\
        &= H(Z) - H(Z\mid X, Y) \\
        &\ge H(Z) - H(Z\mid X) \\
        &= I(X;Z)
 \end{aligned}
-\]
-따라서 \(I(Y;Z) \ge I(X;Z)\), 즉 \(I(Z;Y) \ge I(Z;X)\)이다.
+$$
+따라서 $I(Y;Z) \ge I(X;Z)$, 즉 $I(Z;Y) \ge I(Z;X)$이다.
 
 **문제 29.(b)**
 
-\(X, Y, Z\)가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
-**(b)** \(I(X, Y; Z) \ge I(X; Z)\).
+$X, Y, Z$가 결합 확률 분포를 가지는 임의의 확률 변수일 때, 다음 부등식을 증명하고 등호 성립 조건을 찾아라.  
+**(b)** $I(X, Y; Z) \ge I(X; Z)$.
 
 **풀이**
 
 **1. 체인 룰(chain rule) 적용**
 상호 정보의 체인 룰에 따르면:
-\[
+$$
 I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X).
-\]
-이는 “\(X, Y\)가 합쳐질 때 \(Z\)와 주고받는 정보량”을  
-먼저 \(X\)가 주는 정보량과, \(X\)를 알고 난 뒤 \(Y\)가 더 주는 추가 정보량으로 분해한 식이다.
+$$
+이는 “$X, Y$가 합쳐질 때 $Z$와 주고받는 정보량”을  
+먼저 $X$가 주는 정보량과, $X$를 알고 난 뒤 $Y$가 더 주는 추가 정보량으로 분해한 식이다.
 
 **2. 조건부 상호 정보의 비음성**
 항상  
-\[
+$$
 I(Y; Z \mid X) \ge 0
-\]
+$$
 이다. (KL 발산 형태로 증명할 수 있다.)
 
 **3. 부등식 결론**
 따라서
-\[
+$$
 I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) \ge I(X; Z).
-\]
+$$
 
 **4. 등호 성립 조건**
-등호 \(I(X, Y; Z) = I(X; Z)\)가 되려면  
-\[
+등호 $I(X, Y; Z) = I(X; Z)$가 되려면  
+$$
 I(Y; Z \mid X) = 0 \iff Y \perp Z \mid X
-\]
+$$
 이어야 한다.  
-즉 “\(X\)를 조건으로 두었을 때 \(Y\)와 \(Z\)가 독립”이어야 한다.  
-이 역시 \(Y \to X \to Z\) 형태의 마르코프 사슬과 동치이다.
+즉 “$X$를 조건으로 두었을 때 $Y$와 $Z$가 독립”이어야 한다.  
+이 역시 $Y \to X \to Z$ 형태의 마르코프 사슬과 동치이다.
 
 ---
 
 **문제 31.**
-임의의 결정론적 함수 \(g\)에 대하여,
-\[
+임의의 결정론적 함수 $g$에 대하여,
+$$
 H(X \mid g(Y)) = H(X \mid Y)
-\]
+$$
 이 성립하려면 어떤 조건이 필요한가?
 
 **풀이**
 
 **1. 데이터 처리 부등식 I (조건부 형태)**  
 이미 알고 있는 바:
-\[
+$$
 H(X \mid g(Y)) \ge H(X \mid Y),
-\]
-왜냐하면 “\(Y\)를 알면 \(g(Y)\)를 알 수 있지만, \(g(Y)\)를 안다고 해서 항상 \(Y\)가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
+$$
+왜냐하면 “$Y$를 알면 $g(Y)$를 알 수 있지만, $g(Y)$를 안다고 해서 항상 $Y$가 복원되지는 않으므로” 불확실성이 더 작아지거나 같기 때문이다.
 
 **2. 등호 조건 분석**
-\[
+$$
 H(X \mid g(Y)) = H(X \mid Y)
-\]
+$$
 일 때, 양쪽 사이에 끼어 있는
-\[
+$$
 H(X \mid Y) - H(X \mid g(Y)) = I(X;Y \mid g(Y)) = 0
-\]
+$$
 이다.  
-즉, “\(g(Y)\)를 조건으로 \(X\)와 \(Y\)가 독립”이어야 한다.
+즉, “$g(Y)$를 조건으로 $X$와 $Y$가 독립”이어야 한다.
 
 **3. 마르코프 사슬 해석**
-\[
+$$
 I(X;Y \mid g(Y)) = 0 \iff X \perp Y \mid g(Y).
-\]
+$$
 이는 바로  
-\[
+$$
 X \longrightarrow g(Y) \longrightarrow Y
-\]
+$$
 꼴의 마르코프 사슬 형태가 성립함을 뜻한다.
 
 **4. 특수 사례**
-- \(g\)가 일대일 대응(가역)이면 당연히 \(g(Y) \leftrightarrow Y\) 양방향 복원이 가능하므로 등호 성립.  
-- 또 \(X\)와 \(Y\)가 본래 독립이라도  
-  \[
+- $g$가 일대일 대응(가역)이면 당연히 $g(Y) \leftrightarrow Y$ 양방향 복원이 가능하므로 등호 성립.  
+- 또 $X$와 $Y$가 본래 독립이라도  
+  $$
   H(X \mid g(Y)) = H(X) = H(X \mid Y)
-  \]
+  $$
   이므로 등호가 된다.  
   이 두 경우는 포함되지만, 유일한 경우는 아니다.
 
 ---
 
 **문제 42.(b)**
 
-다음 부등식들 중 일반적으로 \( \ge, =, \le \) 중 어느 관계가 성립하는지 각각 표시하라.  
-**(b)** \(I(g(X); Y)\) vs. \(I(X; Y)\).
+다음 부등식들 중 일반적으로 $ \ge, =, \le $ 중 어느 관계가 성립하는지 각각 표시하라.  
+**(b)** $I(g(X); Y)$ vs. $I(X; Y)$.
 
 **풀이**
 
 **1. 데이터 처리 부등식 II**
-이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 \(g\)에 대하여:
-\[
+이것은 4.4절에서 나온 정리와 같다. 임의의 결정론적 함수 $g$에 대하여:
+$$
 I(g(X); Y) \le I(X; Y).
-\]
+$$
 
 **2. 직관**
-- \(X\)가 \(Y\)에 갖는 정보량이 \(I(X;Y)\)이고,  
-- \(X\)를 \(g\)로 가공한 \(g(X)\)는 \(X\)보다 “덜 상세”(또는 같음) →  
-- \(g(X)\)가 \(Y\)에 제공할 수 있는 정보도 당연히 \(I(X;Y)\) 이하여야 한다.
+- $X$가 $Y$에 갖는 정보량이 $I(X;Y)$이고,  
+- $X$를 $g$로 가공한 $g(X)$는 $X$보다 “덜 상세”(또는 같음) →  
+- $g(X)$가 $Y$에 제공할 수 있는 정보도 당연히 $I(X;Y)$ 이하여야 한다.
 
 **3. 형식적 증명**
-\[
+$$
 \begin{aligned}
 I(g(X); Y) &= H(Y) - H(Y \mid g(X)) \\
            &\le H(Y) - H(Y \mid X) \quad (\text{조건부 엔트로피 감소 } H(Y \mid g(X)) \ge H(Y \mid X)) \\
            &= I(X; Y).
 \end{aligned}
-\]
+$$
 
 **4. 등호 성립 조건**
 등호가 되려면  
-\[
+$$
 H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X).
-\]
-즉 “\(g(X)\)를 조건으로 \(X\)와 \(Y\)가 독립”일 때 등호가 된다.  
-다시 말해 \(g(X)\)를 기준으로 \(X\)와 \(Y\)는 더 이상의 상호 정보(조건부)가 없다.
+$$
+즉 “$g(X)$를 조건으로 $X$와 $Y$가 독립”일 때 등호가 된다.  
+다시 말해 $g(X)$를 기준으로 $X$와 $Y$는 더 이상의 상호 정보(조건부)가 없다.
 
 ### 2.4.5 Conditional Mutual Information