Merge pull request #23 from jungin7612/feature/6.4

6.4

Author: jungin7612

_posts/2025-08-04-02.Information-Theory.md

@@ -886,8 +886,10 @@ $$
 P_{X_i | X^{i-1}}(x_i \mid x^{i-1}) = P_{X_i | X_{i-k}^{i-1}}(x_i \mid x_{i-k}^{i-1}),
 $$
 
+
 이 성립하는 시퀀스는 k차 마르코프 과정(kth Order Markov Process)를 따른다.
 
+
 즉, k차 마르코프 과정을 따르는 시퀀스에 대해서
 
 $$
@@ -1241,9 +1243,46 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$
 예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면 $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다.
 
 ### 2.6.4 Properties of Differential Entropy
+**정리 60 (상호정보량의 스케일 불변성)**  
+**정리.**  
+$$
+I(aX;Y) = I(X;Y)
+$$
+
+**증명.**  
+$$
+\begin{aligned}
+I(aX;Y) &= h(aX) - h(aX \mid Y) \\
+        &= \big( h(X) + \log |a| \big) - \big( h(X \mid Y) + \log |a| \big) \\
+        &= h(X) - h(X \mid Y) \\
+        &= I(X;Y)
+\end{aligned}
+$$
+
+---
+
+**비고.**  
+수식 (3)에서,  
+$$
+\begin{aligned}
+h(aX \mid Y) 
+&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(aX \mid Y)} \right] \\
+&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(X \mid Y)} \right] + \log |a|
+\end{aligned}
+$$
+
+---
+
+**설명.**  
+- 이산(discrete) 변수의 경우, 1:1 변환 \( f(x) \)를 해도 엔트로피는 변하지 않는다.  
+- 연속(continuous) 변수의 경우, 스케일 변환 \( X \to aX \) 시 차분 엔트로피는 \(\log |a|\)만큼 변한다.  
+- 하지만 상호정보량은  
+  \( h(aX) \)와 \( h(aX\mid Y) \) 모두 \(\log |a|\)가 더해지므로 서로 상쇄되어 변하지 않는다.  
+- 즉, 단위 변화나 크기 스케일 변화에 대해서도 두 변수 간의 정보량은 동일하게 유지된다.
 
 ### 2.6.5 Joint Differential Entropy
 
+
 **Theorem 61 (Chain Rule of Differential Entropy).**
 
 $$