ch 6.4 summarize

Author: clp135

_posts/2025-08-04-02.Information-Theory.md

@@ -949,6 +949,42 @@ $\Delta$가 작아질수록 $H(X^\Delta)$는 더 커지는데, 이는 $\Delta$
 예를 들어 $U \sim \mathrm{Unif}(0, 1/2)$라면  $h(U) = -\log 2$가 된다. 이는 미분 엔트로피가 $\log\Delta$ 항을 포함하여 정규화되기 때문이다.
 
 ### 2.6.4 Properties of Differential Entropy
+**정리 60 (상호정보량의 스케일 불변성)**  
+**정리.**  
+$$
+I(aX;Y) = I(X;Y)
+$$
+
+**증명.**  
+$$
+\begin{aligned}
+I(aX;Y) &= h(aX) - h(aX \mid Y) \\
+        &= \big( h(X) + \log |a| \big) - \big( h(X \mid Y) + \log |a| \big) \\
+        &= h(X) - h(X \mid Y) \\
+        &= I(X;Y)
+\end{aligned}
+$$
+
+---
+
+**비고.**  
+수식 (3)에서,  
+$$
+\begin{aligned}
+h(aX \mid Y) 
+&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(aX \mid Y)} \right] \\
+&= \mathbb{E} \left[ \log \frac{1}{f_{X\mid Y}(X \mid Y)} \right] + \log |a|
+\end{aligned}
+$$
+
+---
+
+**설명.**  
+- 이산(discrete) 변수의 경우, 1:1 변환 \( f(x) \)를 해도 엔트로피는 변하지 않는다.  
+- 연속(continuous) 변수의 경우, 스케일 변환 \( X \to aX \) 시 차분 엔트로피는 \(\log |a|\)만큼 변한다.  
+- 하지만 상호정보량은  
+  \( h(aX) \)와 \( h(aX\mid Y) \) 모두 \(\log |a|\)가 더해지므로 서로 상쇄되어 변하지 않는다.  
+- 즉, 단위 변화나 크기 스케일 변화에 대해서도 두 변수 간의 정보량은 동일하게 유지된다.
 
 ### 2.6.5 Joint Differential Entropy