File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -47,6 +47,56 @@ long contents .....
4747
4848## 2.5 Random Process
4949
50+ ** 확률 과정(Random Process)이란?**
51+
52+ 확률 과정은 다음과 같이 정의됩니다:
53+
54+ $$
55+ X = \{X_n\}_{n=1}^{\infty}
56+ $$
57+
58+ 이것은 순서를 가진 확률 변수들의 집합이며, 각 $X_n$은 특정 확률 분포를 따릅니다.
59+
60+ - 여기서 $n$은 꼭 시간(time)을 의미하지 않아도 됩니다.
61+ - 예시:
62+ - 텍스트: $X_1$은 첫 번째 문자, $X_2$는 두 번째 문자 등
63+ - 이미지: $X_ {i,j}$는 $i$행 $j$열 픽셀의 밝기
64+ - 시계열: $X_t$는 $t$초 후의 값
65+
66+ ** 핵심** : 인덱스가 시간일 필요는 없으며, ** 순서만 있으면 확률 과정** 이 됩니다.
67+
68+ ---
69+
70+ ** i.i.d. 과정이란?**
71+
72+ i.i.d.는 independent and identically distributed의 약자입니다.
73+
74+ - ** 독립(independent)** : 각 $X_n$이 서로 영향을 주지 않음
75+ - ** 동일 분포(identically distributed)** : 모든 $X_n$이 동일한 확률 분포를 따름
76+
77+ 전체 확률은 다음처럼 단순 곱으로 계산할 수 있습니다:
78+
79+ $$
80+ P(X_1 = x_1, \dots, X_n = x_n) = \prod_{i=1}^{n} P(X_i = x_i)
81+ $$
82+
83+ ---
84+
85+ ** 현실은 대부분 i.i.d.가 아님**
86+
87+ 예: 텍스트
88+
89+ - "progra_ing"이라는 단어에서 빈칸에 'm'이 올 가능성이 높다고 판단할 수 있음
90+ - 이는 앞뒤 문맥이 영향을 주기 때문 → 요소들 간에 ** 의존성 존재**
91+
92+ ** 결론** : 현실의 데이터는 보통 독립적이지 않고, 앞뒤 요소에 영향을 받습니다.
93+
94+ i.i.d.가 아닌 경우 사용하는 모델들:
95+
96+ - 마르코프 모델 (Markov Model)
97+ - 순환 신경망 (Recurrent Neural Network, RNN)
98+ - 트랜스포머 (Transformer)
99+
50100### 2.5.1 What is Markovian?
51101
52102### 2.5.2 1st Order Markov Process
You can’t perform that action at this time.
0 commit comments