Skip to content

Commit 2824f29

Browse files
committed
Add content on random processes and i.i.d. processes to license.md
1 parent 1e06c86 commit 2824f29

1 file changed

Lines changed: 50 additions & 0 deletions

File tree

_posts/2019-04-29-license.md

Lines changed: 50 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -47,6 +47,56 @@ long contents .....
4747

4848
## 2.5 Random Process
4949

50+
**확률 과정(Random Process)이란?**
51+
52+
확률 과정은 다음과 같이 정의됩니다:
53+
54+
$$
55+
X = \{X_n\}_{n=1}^{\infty}
56+
$$
57+
58+
이것은 순서를 가진 확률 변수들의 집합이며, 각 $X_n$은 특정 확률 분포를 따릅니다.
59+
60+
- 여기서 $n$은 꼭 시간(time)을 의미하지 않아도 됩니다.
61+
- 예시:
62+
- 텍스트: $X_1$은 첫 번째 문자, $X_2$는 두 번째 문자 등
63+
- 이미지: $X_{i,j}$는 $i$행 $j$열 픽셀의 밝기
64+
- 시계열: $X_t$는 $t$초 후의 값
65+
66+
**핵심**: 인덱스가 시간일 필요는 없으며, **순서만 있으면 확률 과정**이 됩니다.
67+
68+
---
69+
70+
**i.i.d. 과정이란?**
71+
72+
i.i.d.는 independent and identically distributed의 약자입니다.
73+
74+
- **독립(independent)**: 각 $X_n$이 서로 영향을 주지 않음
75+
- **동일 분포(identically distributed)**: 모든 $X_n$이 동일한 확률 분포를 따름
76+
77+
전체 확률은 다음처럼 단순 곱으로 계산할 수 있습니다:
78+
79+
$$
80+
P(X_1 = x_1, \dots, X_n = x_n) = \prod_{i=1}^{n} P(X_i = x_i)
81+
$$
82+
83+
---
84+
85+
**현실은 대부분 i.i.d.가 아님**
86+
87+
예: 텍스트
88+
89+
- "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음
90+
- 이는 앞뒤 문맥이 영향을 주기 때문 → 요소들 간에 **의존성 존재**
91+
92+
**결론**: 현실의 데이터는 보통 독립적이지 않고, 앞뒤 요소에 영향을 받습니다.
93+
94+
i.i.d.가 아닌 경우 사용하는 모델들:
95+
96+
- 마르코프 모델 (Markov Model)
97+
- 순환 신경망 (Recurrent Neural Network, RNN)
98+
- 트랜스포머 (Transformer)
99+
50100
### 2.5.1 What is Markovian?
51101

52102
### 2.5.2 1st Order Markov Process

0 commit comments

Comments
 (0)