Skip to content

Commit e4da9b7

Browse files
authored
Merge pull request #11 from jungin7612/feature/4.4
change \[ to $
2 parents 77c8eb8 + 7002049 commit e4da9b7

1 file changed

Lines changed: 31 additions & 31 deletions

File tree

_posts/2025-08-04-02.Information-Theory.md

Lines changed: 31 additions & 31 deletions
Original file line numberDiff line numberDiff line change
@@ -511,95 +511,95 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X)
511511

512512
> **조건부 상호정보량이란?**
513513
514-
조건부 상호정보량은 변수 \\( Y \\)가 주어졌을 때, \\( X \\)와 \\( Z \\) 사이의 상호정보량을 의미한다.
514+
조건부 상호정보량은 변수 $Y$가 주어졌을 때, $X$와 $Z$ 사이의 상호정보량을 의미한다.
515515

516-
\\[
516+
$$
517517
I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z)
518-
\\]
518+
$$
519519

520520
또는 다음과 같이도 표현된다.
521521

522-
\\[
522+
$$
523523
I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X)
524-
\\]
524+
$$
525525

526-
이는 \\( Z \\)를 알면 \\( X \\)의 불확실성이 얼마나 줄어드는지를 나타낸다.
526+
이는 $Z$를 알면 $X$의 불확실성이 얼마나 줄어드는지를 나타낸다.
527527

528528
---
529529

530530
> **조건부 상호정보량이 0이 되는 조건**
531531
532-
조건부 상호정보량이 0이 되려면, \\( X \\)와 \\( Z \\)가 \\( Y \\)가 주어졌을 때 조건부 독립이어야 한다.
532+
조건부 상호정보량이 0이 되려면, $X$와 $Z$가 $Y$가 주어졌을 때 조건부 독립이어야 한다.
533533

534-
\\[
534+
$$
535535
P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y)
536-
\\]
536+
$$
537537

538-
이는 마코프 체인 구조인 \\( X \rightarrow Y \rightarrow Z \\)와 동일하다.
538+
이는 마코프 체인 구조인 $X \rightarrow Y \rightarrow Z$와 동일하다.
539539

540540
---
541541

542542
> [!warning]
543-
> 조건부 상호정보량 \\( I(X; Z \mid Y) \\) 와 일반 상호정보량 \\( I(X; Z) \\)는 일반적으로 관계가 없다.
543+
> 조건부 상호정보량 $I(X; Z \mid Y)$ 와 일반 상호정보량 $I(X; Z)$는 일반적으로 관계가 없다.
544544
545545
예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다.
546546

547-
\\[
547+
$$
548548
I(X; Z \mid Y) > I(X; Z)
549-
\\]
549+
$$
550550

551-
- \\( X \in \{0, 1\} \\), \\( Z \in \{0, 1\} \\)
551+
- $X \in \{0, 1\}$, $Z \in \{0, 1\}$
552552
- 각 확률은 다음과 같다:
553553

554-
\\[
554+
$$
555555
P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2}
556-
\\]
556+
$$
557557

558-
- \\( Y = X \oplus Z \\) (XOR 연산)
558+
- $Y = X \oplus Z$ (XOR 연산)
559559

560560
이 경우 다음이 성립한다:
561561

562-
\\[
562+
$$
563563
I(X; Z) = 0, \quad I(X; Z \mid Y) = 1
564-
\\]
564+
$$
565565

566-
즉, 조건 없이 보면 \\( X \\)와 \\( Z \\)는 독립이지만, \\( Y \\)를 알면 종속이 된다.
566+
즉, 조건 없이 보면 $X$와 $Z$는 독립이지만, $Y$를 알면 종속이 된다.
567567

568568
---
569569

570570
예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우
571571

572-
\\[
572+
$$
573573
I(X; Z) > 0, \quad I(X; Z \mid Y) = 0
574-
\\]
574+
$$
575575

576-
이는 마코프 체인 \\( X \rightarrow Y \rightarrow Z \\) 구조에서 발생한다.
576+
이는 마코프 체인 $X \rightarrow Y \rightarrow Z$ 구조에서 발생한다.
577577

578578
---
579579

580580
> **여러 변수에 대한 상호정보량**
581581
582-
두 변수 \\( X, Y \\) 와 \\( Z \\) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.
582+
두 변수 $X, Y$ 와 $Z$ 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.
583583

584-
\\[
584+
$$
585585
I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X)
586-
\\]
586+
$$
587587

588588
---
589589

590590
> **상호정보량의 체인 분해**
591591
592-
여러 변수 \\( X_1, X_2, \dots, X_n \\) 과 \\( Y \\) 간의 상호정보량은 다음과 같이 분해된다.
592+
여러 변수 $X_1, X_2, \dots, X_n$ 과 $Y$ 간의 상호정보량은 다음과 같이 분해된다.
593593

594-
\\[
594+
$$
595595
I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots
596-
\\]
596+
$$
597597

598598
또는 일반화하여 다음과 같이 표현된다:
599599

600-
\\[
600+
$$
601601
I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1})
602-
\\]
602+
$$
603603

604604
## 2.5 Random Process
605605

0 commit comments

Comments
 (0)