Add markdown summary for chapter 4.3

Author: 2024148034

_posts/2019-04-29-license.md

@@ -184,6 +184,40 @@ $H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 
 ### 2.4.3 Mutual Information
 
+![alt text](image.png)
+
+>**상호 정보량(Mutual Information)이란?**
+
+상호 정보량은 엔트로피와 조건부 엔트로피의 차이로 정의된다.
+
+$$
+I(X; Y) = H(X) - H(X \mid Y), \quad I(Y; X) = H(Y) - H(Y \mid X)
+$$
+
+조건부 엔트로피와 상호 정보량의 관계는 위와 같은 도식으로도 표현 가능하다.
+특히 $I(X; X)$의 경우 아래와 같이 계산되며, 결과적으로 $H(X)$와 같다.
+
+$$
+\begin{align*}
+I(X; X) &= H(X) - H(X \mid X) \\
+        &= H(X)
+\end{align*}
+$$
+
+---
+
+만약 $X$와 $Y$가 서로 **독립**이라면, 위 도식 혹은 정의에 의해  $$I(X; Y) = 0$$임을 보일 수 있다.  
+또한, $I(X; Y) = 0$이면 $X$와 $Y$는 독립이다.
+
+상호 정보량은 다음과 같이 **KL divergence**로도 표현된다.
+
+$$
+I(X; Y) = D(p_{X,Y} \parallel p_X p_Y)
+$$
+
+위 식에서 볼 수 있듯이, 상호 정보량은 두 확률 분포 간의 거리 또는 발산 정도를 의미한다.
+$I(X; Y) = 0$이라면, $p_{X,Y} = p_X p_Y$가 되어 $X$와 $Y$는 독립이 된다.
+
 ### 2.4.4 Properties of Mutual Information
 
 ### 2.4.5 Conditional Mutual Information