info-theory ch5 and 6

Author: csbinn

_posts/2025-08-04-02.Information-Theory.md

@@ -731,13 +731,13 @@ i.i.d. ←────────────|───────────
 $$
 P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}),
 $$
-이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다.
+이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다.
 
 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서
 $$
 P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1})
 $$
-이 성립합니다.
+이 성립한다.
 
 ### 2.5.4 Stationary Distribution
 
@@ -755,4 +755,70 @@ $$
 
 ### 2.6.5 Joint Differential Entropy
 
+## 6.5 Joint Differential Entropy
+
+**Theorem 61 (Chain Rule of Differential Entropy).**
+
+$$
+h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) 
+$$
+
+사실 discrete의 경우와 똑같다고 생각하면 된다.
+
+**Proof**  
+$( X_1, X_2, X_3, \ldots, X_n )$ 들을 $X$ 라고 정의하자. 그러면 우리는 joint distributions에 대한 differential entropy을 정의할 수 있다.
+
+예를 들어 $X_1$ 와 $X_2$ 가 연속적인 확률변수라면,
+
+$$
+h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] 
+$$
+
+$$
+= \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] 
+$$
+
+$$
+= h(X_1) + h(X_2 \mid X_1) 
+$$
+
+위와 같이 나타낼 수 있다. 이는 pmf(discrete)의 성질과 동일하다. 결합 확률은 주변확률과 조건부 확률의 곱으로 나타낼 수 있는데, pdf(continuous)에서도 동일하게 성립한다.
+
+**Theorem 62.**  
+$X$ 와 $Y$ 가 독립이라는 것은 다음과 필요충분조건이다.
+
+$$
+I(X; Y) = 0 
+$$
+
+
+**Theorem 63 (Data Processing Inequality).**  
+\( X - Y - Z \) 가 Markov chain을 형성한다면
+
+$$
+I(Z; Y) \geq I(Z; X) 
+$$
+
+**Proof**  
+조건은 엔트로피를 감소시키지않기 때문에
+
+$$
+I(Z; Y) = h(Z) - h(Z \mid Y)
+$$
+
+$$
+= h(Z) - h(Z \mid Y, Z)
+$$
+
+$$
+\geq h(Z) - h(Z \mid X)
+$$
+
+$$
+= I(X; Z)
+$$
+
+첫번째 등식은 Markov property $f(Z \mid Y) = f(Z \mid Y, X)$ 에서 나온다.
+
+
 ### 2.6.6 Maximum Differential Entropy