5.2

Author: rammmaa

_posts/2025-08-04-02.Information-Theory.md

@@ -732,7 +732,6 @@ $P(X_i \mid X_{i-1}, X_{i-2}, \dots, X_1) = P(X_i \mid X_{i-1})$를 만족하는
 
 $\therefore$ 현재 상태 $X_i$는 직전 상태 $X_{i-1}$에만 의존하고, 그 이전 상태들과는 무관하다.
 
-> [! ]
 >모든 가능한 sequence tuple들의 결합 확률 분포를 $P_{X^n}(x^n) = P_{X_1, \cdots, X_n}(x_1, \dots, x_n)$라고 할 때, 1차 마르코프 과정은 다음을 만족한다. 
 >
 $>P_{X^n}(x^n) = \prod_{i=1}^n P_{X_i \mid X_{i-1}}(x_i \mid x_{i-1})$
@@ -843,71 +842,3 @@ $$
 
 ### 2.6.6 Maximum Differential Entropy
 
-> [! ] 이산 변수에서 최대 엔트로피는 균등 분포에서 달성된다. 
-> 
-> 이산 확률 변수 \( X \in \{1, 2, \dots, K\} \)의 엔트로피는 다음 부등식을 만족한다.
-> $H(X) \leq \log_2 K$
-> 
->등호는 균등 분포일 때 성립한다. 
-
-
-> 2차 모멘트 제약 조건
-
-확률 변수 $X$가 다음을 만족한다고 가정한다.
-
-$$
-\mathbb{E}[X^2] \leq P
-$$
-
-이 조건 하에서, 미분 엔트로피가 최대가 되는 분포는 무엇인가?
-
----
-
-**정리65. 가우시안 분포가 최대 미분 엔트로피를 가진다.**
-
-*proof.*
-
-$X$의 확률 밀도 함수를 $f_X$,  
-평균 0, 분산 $P$인 가우시안 확률 변수 $X' \sim \mathcal{N}(0, P)$의 pdf를
-
-$$
-g(x) = \frac{1}{\sqrt{2 \pi P}} \exp\left(-\frac{x^2}{2P}\right)
-$$
-
-라고 하자.  
-
-
-KL 발산의 정의에 의해,
-
-$$
-D(f \| g) = \mathbb{E}_f \left[\log \frac{f_X(X)}{g(X)}\right]
-$$
-
-$$
-D(f \| g) = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - \mathbb{E}_f \left[\log \frac{1}{f_X(X)}\right] = \mathbb{E}_f \left[\log \frac{1}{g(X)}\right] - h(f_X)
-$$
-
-여기서 $h(f_X)$는 확률 변수 $X \sim f_X$의 미분 엔트로피이다.
-
-$$
-\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{\mathbb{E}_f [X^2]}{2P}
-$$
-
-그리고 $\mathbb{E}_f[X^2] = \mathbb{E}_g[X^2] = P$이므로,
-
-$$
-\mathbb{E}_f \left[\log \frac{1}{g(X)}\right] = \log \sqrt{2 \pi P} + \frac{P}{2P} = \log \sqrt{2 \pi P} + \frac{1}{2} = h(g)
-$$
-
-
-$$
-D(f \| g) = h(g) - h(f_X) \geq 0
-$$
-
-$D(f \| g)$은 K-L Divergence이므로 항상 0 이상이다.
-
-$$
-h(g) \geq h(f_X)
-$$
-
-$\therefore$ 2차 모멘트 제약 조건 하에서 가우시안 분포가 최대 미분 엔트로피를 가진다.