Refactor Information Theory chapter by removing redundant lines and improving formatting for clarity in sections on Markov processes and joint differential entropy.

Author: jungin7612

_posts/2025-08-04-02.Information-Theory.md

@@ -797,11 +797,8 @@ $$
 P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}),
 $$
 
-
 이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다.
 
-
-
 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서
 
 $$
@@ -1158,12 +1155,10 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$
 
 ### 2.6.5 Joint Differential Entropy
 
-## 6.5 Joint Differential Entropy
-
 **Theorem 61 (Chain Rule of Differential Entropy).**
 
 $$
-h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1) 
+h(X_1, X_2) = h(X_1) + h(X_2 \mid X_1)
 $$
 
 사실 discrete의 경우와 똑같다고 생각하면 된다.
@@ -1174,15 +1169,15 @@ $( X_1, X_2, X_3, \ldots, X_n )$ 들을 $X$ 라고 정의하자. 그러면 우
 예를 들어 $X_1$ 와 $X_2$ 가 연속적인 확률변수라면,
 
 $$
-h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right] 
+h(X_1, X_2) = \mathbb{E} \left[ \log \frac{1}{f_{X_1,X_2}(X_1,X_2)} \right]
 $$
 
 $$
-= \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right] 
+= \mathbb{E} \left[ \log \frac{1}{f_{X_1}(X_1)} \right] + \mathbb{E} \left[ \log \frac{1}{f_{X_2 \mid X_1}(X_2 \mid X_1)} \right]
 $$
 
 $$
-= h(X_1) + h(X_2 \mid X_1) 
+= h(X_1) + h(X_2 \mid X_1)
 $$
 
 위와 같이 나타낼 수 있다. 이는 pmf(discrete)의 성질과 동일하다. 결합 확률은 주변확률과 조건부 확률의 곱으로 나타낼 수 있는데, pdf(continuous)에서도 동일하게 성립한다.
@@ -1191,15 +1186,14 @@ $$
 $X$ 와 $Y$ 가 독립이라는 것은 다음과 필요충분조건이다.
 
 $$
-I(X; Y) = 0 
+I(X; Y) = 0
 $$
 
-
 **Theorem 63 (Data Processing Inequality).**  
 \( X - Y - Z \) 가 Markov chain을 형성한다면
 
 $$
-I(Z; Y) \geq I(Z; X) 
+I(Z; Y) \geq I(Z; X)
 $$
 
 **Proof**  
@@ -1223,7 +1217,6 @@ $$
 
 첫번째 등식은 Markov property $f(Z \mid Y) = f(Z \mid Y, X)$ 에서 나온다.
 
-
 ### 2.6.6 Maximum Differential Entropy
 
 > **이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다.**