Merge pull request #9 from jungin7612/feature/4.3

add chapter 4.3 and 5.3

Author: 2024148034

_posts/2025-08-04-02.Information-Theory.md

@@ -245,6 +245,40 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 
 ### 2.4.3 Mutual Information
 
+![alt text](image.png)
+
+>**상호 정보량(Mutual Information)이란?**
+
+상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다.
+
+$$
+I(X; Y) = H(X) - H(X \mid Y), \quad I(Y; X) = H(Y) - H(Y \mid X)
+$$
+
+조건부 엔트로피와 상호 정보량의 관계는 위와 같은 도식으로도 표현 가능하다.
+특히 $I(X; X)$의 경우 아래와 같이 계산되며, 결과적으로 $H(X)$와 같다.
+
+$$
+\begin{align*}
+I(X; X) &= H(X) - H(X \mid X) \\
+        &= H(X)
+\end{align*}
+$$
+
+---
+
+만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해  $$I(X; Y) = 0$$임을 보일 수 있다.  
+또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다.
+
+상호 정보량은 다음과 같이 **KL divergence**로도 표현된다.
+
+$$
+I(X; Y) = D(p_{X,Y} \parallel p_X p_Y)
+$$
+
+위 식에서 볼 수 있듯이, 상호 정보량은 두 확률 분포 간의 거리 또는 발산 정도를 의미한다.
+$I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 된다.
+
 ### 2.4.4 Properties of Mutual Information
 
 **정리 36 (데이터 처리 부등식 I)**
@@ -693,6 +727,18 @@ i.i.d. ←────────────|───────────
 
 ### 2.5.3 kth Order Markov Process
 
+확률 과정 X에 대해,
+$$
+P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}),
+$$
+이 성립하는 시퀀스는 **k차 마르코프 과정(kth Order Markov Process)**를 따릅니다.
+
+즉, k차 마르코프 과정을 따르는 시퀀스에 대해서
+$$
+P_{X^n}(x^n) = \prod_{i=1}^{n} P_{X_i \mid X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1})
+$$
+이 성립합니다.
+
 ### 2.5.4 Stationary Distribution
 
 ### 2.5.5 Stationary Markov Process