Fix: minor edit update

Author: csbinn

_posts/2025-08-04-02.Information-Theory.md

@@ -164,37 +164,37 @@ $\therefore$ 세 질문으로 \(X\)를 완벽하게 구분할 수 있음.
 
 이미 알고 있는 정보가 존재할 때, 추가로 모르는 정보가 주는 정보량이다.
 
-이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X|Y)$$와 같이 나타내고 아래와 같이 정의된다.
+이미 알고 있는 정보 $Y$가 주어졌을 때, $X$에 관한 정보량은 $$H(X\mid Y)$$와 같이 나타내고 아래와 같이 정의된다.
 
 $$
-H(X|Y) = \mathbb{E}\Big[\log \frac{1}{p_{X|Y}(X|Y)}\Big]
-= \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X|Y}(x|y)}.
+H(X\mid Y) = \mathbb{E}\Big[\log \frac{1}{p_{X\mid Y}(X\mid Y)}\Big]
+= \sum_{x,y} p_{X,Y}(x,y) \log \frac{1}{p_{X\mid Y}(x\mid y)}.
 $$
 
-위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X|Y}(X|Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다.
+위의 경우에서 우리가 기댓값을 계산하고자 하는 함수는 $\log \frac{1}{p_{X\mid Y}(X\mid Y)}$이며 $x$ ,$y$의 확률은 joint distribution $p_{X,Y}(X,Y)$로 나타낼 수 있다.
 
 우리는 기대값을 계산하기 위해 변수 $X$와 $Y$를 고려하고 있다. 결합 엔트로피(joint entropy)는 개별 엔트로피의 합이며, 각각의 $y$와 전체 엔트로피에 대한 각각의 기여(contribution)를 고려할 때 명확해진다. 특정 조건 y를 고정하는 경우를 생각해 보면 다음과 같이 나타낼 수 있다.
 
 $$
-H(X|Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X|Y}(X|Y = y)} \Big]
+H(X\mid Y = y) = \mathbb{E}\Big[ \log \frac{1}{p_{X\mid Y}(X\mid Y = y)} \Big]
 $$
 
 이제 위 수식에서 $X$만이 유일한 변수이다. 그러므로 위 수식을 다음과 같이 나타낼 수 있다.
 
 $$
-= \sum_{x} p_{X|Y}(x|y) \log \frac{1}{p_{X|Y}(x|y)}
+= \sum_{x} p_{X\mid Y}(x\mid y) \log \frac{1}{p_{X\mid Y}(x\mid y)}
 $$
 
 만약 우리가 특정 조건 $y$에 대한 모든 가능한 조건부 엔트로피를 합하면, $Y$에 주어진 $X$의 전체 조건부 엔트로피를 다음과 같이 나타낼 수 있다
 
 $$
-H(X|Y) = \sum_{y} p_Y(y) H(X|Y = y)
+H(X\mid Y) = \sum_{y} p_Y(y) H(X\mid Y = y)
 $$
 
-이제 엔트로피 $H(X)$와 $H(Y|X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y|X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y|X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다.
+이제 엔트로피 $H(X)$와 $H(Y\mid X)$를 고려해보자. $H(X)$는 $X$에 대한 정보이고, $H(Y\mid X)$는 $X$의 정보가 주어졌을 때 $H(X,Y)$에서의 '남은'정보이다. 따라서 우리는 $H(X) + H(Y\mid X) = H(X,Y)$라고 기대할 수 있고 아래와 같이 증명가능하다.
 
 $$
-\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y|X}(Y|X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y|X}(Y|X)} \Big]
+\mathbb{E}\Big[ \log \frac{1}{p_X(X)} \Big]+ \mathbb{E}\Big[ \log \frac{1}{p_{Y\mid X}(Y\mid X)} \Big]= \mathbb{E}\Big[ \log \frac{1}{p_X(X) p_{Y\mid X}(Y\mid X)} \Big]
 $$
 
 $$
@@ -205,17 +205,17 @@ $$
 = H(X,Y).
 $$
 
-$p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$
+$p_{Y\mid X}(Y\mid X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$
 를 이용하면 위 증명이 성립함을 쉽게 알 수 있다.
 
 **Exercise 35. 위의 추론 게임(guess game)에서 다음을 계산하여라**
 
-1.  $H(Y2|Y1)$
-2.  $H(Y4|Y1)$
+1.  $H(Y2\mid Y1)$
+2.  $H(Y4\mid Y1)$
 
 풀이:
 
-1.  $\mathbb{E}\Big[ \log \frac{1}{p_{Y2|Y1}(Y2|Y1)} \Big]$을 구하면 된다.
+1.  $\mathbb{E}\Big[ \log \frac{1}{p_{Y2\mid Y1}(Y2\mid Y1)} \Big]$을 구하면 된다.
 
 이 경우에서는 $Y1$과 $Y2$가 독립이므로 $\mathbb{E}\Big[ \log \frac{1}{p_{Y2}(Y2)} \Big]$를 구하면 된다.
 
@@ -225,19 +225,19 @@ $p_{Y|X}(Y|X) = \frac{p_{X,Y}(X,Y)}{p_X(X)}$
 
 2.
 
-$p_{}(Y4=0|Y1=0) = 3/4$
+$p_{}(Y4=0\mid Y1=0) = 3/4$
 
-$p_{}(Y4=1|Y1=0) = 1/4$
+$p_{}(Y4=1\mid Y1=0) = 1/4$
 
-$p_{}(Y4=0|Y1=1) = 1/4$
+$p_{}(Y4=0\mid Y1=1) = 1/4$
 
-$p_{}(Y4=1|Y1=1) = 3/4$
+$p_{}(Y4=1\mid Y1=1) = 3/4$
 
-를 이용하면 $H(Y4|Y1=0)$은 $3/4\log4/3+1/4\log4$이고
+를 이용하면 $H(Y4\mid Y1=0)$은 $3/4\log4/3+1/4\log4$이고
 
-$H(Y4|Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
+$H(Y4\mid Y1=1)$은 $3/4\log4/3+1/4\log4$이다.
 
-따라서 $H(Y4|Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다.
+따라서 $H(Y4\mid Y1)$은 ($1/2$)($3/4\log4/3+1/4\log4$)+($1/2$) ($3/4\log4/3+1/4\log4$)이다.
 
 이를 $H(Y4)=1$와 비교해보면 더 작은 것을 알 수 있다.