@@ -511,95 +511,95 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X)
511511
512512> ** 조건부 상호정보량이란?**
513513
514- 조건부 상호정보량은 변수 \\ ( Y \\ ) 가 주어졌을 때, \\ ( X \\ )와 \\ ( Z \\ ) 사이의 상호정보량을 의미한다.
514+ 조건부 상호정보량은 변수 $Y$ 가 주어졌을 때, $X$와 $Z$ 사이의 상호정보량을 의미한다.
515515
516- \\ [
516+ $$
517517I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z)
518- \\ ]
518+ $$
519519
520520또는 다음과 같이도 표현된다.
521521
522- \\ [
522+ $$
523523I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X)
524- \\ ]
524+ $$
525525
526- 이는 \\ ( Z \\ ) 를 알면 \\ ( X \\ ) 의 불확실성이 얼마나 줄어드는지를 나타낸다.
526+ 이는 $Z$ 를 알면 $X$ 의 불확실성이 얼마나 줄어드는지를 나타낸다.
527527
528528---
529529
530530> ** 조건부 상호정보량이 0이 되는 조건**
531531
532- 조건부 상호정보량이 0이 되려면, \\ ( X \\ )와 \\ ( Z \\ )가 \\ ( Y \\ ) 가 주어졌을 때 조건부 독립이어야 한다.
532+ 조건부 상호정보량이 0이 되려면, $X$와 $Z$가 $Y$ 가 주어졌을 때 조건부 독립이어야 한다.
533533
534- \\ [
534+ $$
535535P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y)
536- \\ ]
536+ $$
537537
538- 이는 마코프 체인 구조인 \\ ( X \rightarrow Y \rightarrow Z \\ ) 와 동일하다.
538+ 이는 마코프 체인 구조인 $ X \rightarrow Y \rightarrow Z$ 와 동일하다.
539539
540540---
541541
542542> [ !warning]
543- > 조건부 상호정보량 \\ ( I(X; Z \mid Y) \\ ) 와 일반 상호정보량 \\ ( I(X; Z) \\ ) 는 일반적으로 관계가 없다.
543+ > 조건부 상호정보량 $ I(X; Z \mid Y)$ 와 일반 상호정보량 $ I(X; Z)$ 는 일반적으로 관계가 없다.
544544
545545예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다.
546546
547- \\ [
547+ $$
548548I(X; Z \mid Y) > I(X; Z)
549- \\ ]
549+ $$
550550
551- - \\ ( X \in \{ 0, 1\} \\ ), \\ ( Z \in \{ 0, 1\} \\ )
551+ - $ X \in \{ 0, 1\} $, $ Z \in \{ 0, 1\} $
552552- 각 확률은 다음과 같다:
553553
554- \\ [
554+ $$
555555P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2}
556- \\ ]
556+ $$
557557
558- - \\ ( Y = X \oplus Z \\ ) (XOR 연산)
558+ - $ Y = X \oplus Z$ (XOR 연산)
559559
560560이 경우 다음이 성립한다:
561561
562- \\ [
562+ $$
563563I(X; Z) = 0, \quad I(X; Z \mid Y) = 1
564- \\ ]
564+ $$
565565
566- 즉, 조건 없이 보면 \\ ( X \\ )와 \\ ( Z \\ ) 는 독립이지만, \\ ( Y \\ ) 를 알면 종속이 된다.
566+ 즉, 조건 없이 보면 $X$와 $Z$ 는 독립이지만, $Y$ 를 알면 종속이 된다.
567567
568568---
569569
570570예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우
571571
572- \\ [
572+ $$
573573I(X; Z) > 0, \quad I(X; Z \mid Y) = 0
574- \\ ]
574+ $$
575575
576- 이는 마코프 체인 \\ ( X \rightarrow Y \rightarrow Z \\ ) 구조에서 발생한다.
576+ 이는 마코프 체인 $ X \rightarrow Y \rightarrow Z$ 구조에서 발생한다.
577577
578578---
579579
580580> ** 여러 변수에 대한 상호정보량**
581581
582- 두 변수 \\ ( X, Y \\ ) 와 \\ ( Z \\ ) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.
582+ 두 변수 $ X, Y$ 와 $Z$ 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.
583583
584- \\ [
584+ $$
585585I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X)
586- \\ ]
586+ $$
587587
588588---
589589
590590> ** 상호정보량의 체인 분해**
591591
592- 여러 변수 \\ ( X_1, X_2, \dots, X_n \\ ) 과 \\ ( Y \\ ) 간의 상호정보량은 다음과 같이 분해된다.
592+ 여러 변수 $ X_1, X_2, \dots, X_n$ 과 $Y$ 간의 상호정보량은 다음과 같이 분해된다.
593593
594- \\ [
594+ $$
595595I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots
596- \\ ]
596+ $$
597597
598598또는 일반화하여 다음과 같이 표현된다:
599599
600- \\ [
600+ $$
601601I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1})
602- \\ ]
602+ $$
603603
604604## 2.5 Random Process
605605
0 commit comments