Add definitions and properties of Gaussian distributions, including univariate, bivariate, and multivariate cases, along with conditional distributions and linear transformations in the Information Theory chapter.

Author: jungin7612

_posts/2025-08-04-02.Information-Theory.md

@@ -958,6 +958,99 @@ $$
 
 ### 2.6.2 Gaussian
 
+**정의 54. 단일 가우시안 분포**  
+평균이 $\mu$, 분산이 $\sigma^2$인 가우시안 분포를 $X \sim \mathcal{N}(\mu, \sigma^2)$라고 하며, 확률밀도함수(pdf)는 다음과 같다.
+
+$$
+f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)
+$$
+
+---
+
+**정의 55. 2차원(이변량) 가우시안 분포**  
+$X_1, X_2$가 평균 $\mu = (\mu_1, \mu_2)$, 공분산 행렬
+
+$$
+\Sigma = \begin{pmatrix}
+\sigma_1^2 & \rho\sigma_1\sigma_2 \\
+\rho\sigma_1\sigma_2 & \sigma_2^2
+\end{pmatrix}
+$$
+
+를 가지면, $(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는
+
+$$
+f_{X_1, X_2}(x_1, x_2) =
+\frac{1}{(2\pi)^2 \det(\Sigma)} \exp\left(
+-\frac{1}{2} (x - \mu)^\top \Sigma^{-1} (x - \mu)
+\right),
+$$
+
+여기서 $x = (x_1, x_2)$이다.
+
+---
+
+**정리 56. 조건부 분포의 가우시안성**  
+$(X_1, X_2) \sim \mathcal{N}(\mu, \Sigma)$이면, $X_1 \mid X_2$도 가우시안이며,
+
+- 조건부 평균:
+
+  $$
+  \mathbb{E}[X_1 \mid X_2 = x_2] = \mu_1 + \frac{\sigma_{12}}{\sigma_{22}} (x_2 - \mu_2)
+  $$
+
+- 조건부 분산:
+  $$
+  \mathrm{Var}(X_1 \mid X_2) = \sigma_{11} - \frac{\sigma_{12}\sigma_{21}}{\sigma_{22}}
+  $$
+
+여기서
+
+$$
+\Sigma =
+\begin{pmatrix}
+\sigma_{11} & \sigma_{12} \\
+\sigma_{21} & \sigma_{22}
+\end{pmatrix}
+$$
+
+---
+
+**정의 57. $n$차원(다변량) 가우시안 분포**  
+$X_n = (X_1, X_2, \dots, X_n)$이 평균 $\mu = (\mu_1, \mu_2, \dots, \mu_n)$, 공분산 행렬 $\Sigma$를 가지면,  
+$X_n \sim \mathcal{N}(\mu, \Sigma)$라 하고, 결합 확률밀도함수(pdf)는
+
+$$
+f_{X_n}(x_n) =
+\frac{1}{(2\pi)^n \det(\Sigma)}
+\exp\left(
+-\frac{1}{2} (x_n - \mu)^\top \Sigma^{-1} (x_n - \mu)
+\right)
+$$
+
+이다.
+
+---
+
+**성질**  
+독립 가우시안 $X_1 \sim \mathcal{N}(\mu_1, \sigma_1^2)$, $X_2 \sim \mathcal{N}(\mu_2, \sigma_2^2)$에 대해,  
+합 $X_1 + X_2$도 가우시안이며,
+
+$$
+X_1 + X_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
+$$
+
+---
+
+**정리 58. 선형 변환의 가우시안성**  
+$X_n$이 가우시안 벡터이면, 임의의 행렬 $A \in \mathbb{R}^{m \times n}$에 대해
+
+$$
+Y_m = A X_n
+$$
+
+또한 가우시안 벡터이다.
+
 ### 2.6.3 Differential Entropy
 
 이산(discrete)적인 상황에서는, 확률 분포가 균일(uniform)할 때 엔트로피가 최대가 된다. 그리고 사건(event)의 개수가 많아질수록 엔트로피가 증가한다.