0. Notation

• 랜덤변수는 대문자로 표기 ex) W, X, Y, Z, ....
• 랜덤 변수의 값은 소문자로 표기 ex) w, x, y, z...

1. Definition

• 랜덤 변수 : sample space S의 원소를 실수평면에 연결할 수 있도록 하는 함수
  • ex. 동전 던지기 - head를 1로, tail을 2로 정의한다.
  • P(X = a) = P( {s | X(s) = a} )
• 랜덤변수의 조건
  • x가 실수라면, $\{ s:X(s \leq x)\}$는 이벤트여야 한다.
  • 즉 $P(X\leq x) = P(\{s\in S : X(s)\leq x\})$
  • $P(X=-\infty) = P(X=\infty) = 0$ : R.V는 적정 범위 내에 있다.
• 이산/연속 랜덤변수
  • 이산 랜덤변수 : PMF(확률질량함수)
  • 연속 랜덤변수 : PDF(확률밀도함수)
• 랜덤 변수의 정의
  • Sample Space S = {1, 2, 3, 4} 가 있다고 생각한다.
  • 랜덤 변수 X는 X=X(s)=$s^3$으로 정의되어 있다.
  • S의 원소에 대한 확률을 다음과 같이 정의한다.
    • P({1}) = 4/24, P({2}) = 3/24, P({3}) = 7/24, P({4}) = 10/24
  • 이 때 랜덤변수 값의 확률은 다음과 같다.
    • P({X = 1}) = 4/24, P({X = 8}) = 3/24, P({X = 27}) = 7/24, P({X = 64}) = 10/24
    • X = $s^3$ = 8 이므로 s = 2, 즉 Sample space의 원소 {2}의 확률 3/24가 된다.

2. Distribution Function

• CDF(Cumulative probability Distribution Fuction) : 누적확률분포
  • $F_X(x) = P(X\leq x)$
  • $F_X(-\infty) = 0, F_X(\infty) = 1$
  • $F_X(x)$는 0과 1 사이, x는 실수
  • $F_X(x)$는 증가하는 함수이다
  • $P(x_1<X\leqq x_2) = F_X(x_2) - F_X(x_1)$
  • $F_X(x^+) = F_X(x)$ : right continuous
• Discrete R.V.에 대해
  • $F_X(x) = \sum_{i=1}^N P(x_i)u(x-x_i);$
  • $P(x_i) = P(X=x_i)$ : 확률질량함수(PMF)

3. Density Function

• PDF(probability Density Function) $f_X(x)$ : CDF의 미분형
• $f_X(x) = \frac{dF_X(x)}{dx}$
• 그냥 밀도함수라고도 부름
• PDF의 성질
  • $f_X(x)>0$일 때 x는 실수
  • $\int^\infty_{-\infty}f_X(x)dx = 1$
  • $F_X(x)=\int^x_{-\infty}f_X(x)dx$ : CDF는 PDF의 적분!
  • $P(x_1<X\leqq x_2) = \int^{x_2}_{x_1}f_X(x)dx$

4. Gaussian Distribution

• 노이즈 모델링 등에 사용 : 자연계 현상들은 미세 요소들의 중첩
• 정상 분포라고도 함(normal distribution)
• Gaussian PDF $f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
  $\mu$ : 평균, $\sigma^2$ : 분산 ( $\sigma$ : 표준편차 )
• CDF : $F_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\int^x_{-\infty}f_X(t)dt$

  • special case : $a_X=0, \sigma_X=1$인 경우
    $F(x)=\frac{1}{\sqrt{2\pi}}\int^x_{-\infty}exp(-\xi^2/2)d\xi$

  • F(x)는 x에만 영향을 받는다

  • Normalization

    • $u=(\xi -a_X)/\Sigma_X$
    • $F_X(x) = F(\frac{x-a_X}{\sigma_X})$
    • ex. 평균 3, 표준편차 2를 갖는 가우시안 랜덤변수에 대해 event $\{X\leqq5.5\}$의 확률을 구하라.
      • $\frac{x-a_X}{\sigma_X}=\frac{5.5-3}{2}$ = 1.25
      • $P\{X\leqq5.5\} = F_X(5.5) = F(1.25) = 0.8944$

• Standard Cumulative normal table

5. Distribution

binomial distribution(이항분포)

• binomial density function
  • $f_X(x) = \sum^N_{k=0}\binom{N}{k}p^k(1-p)^{N-k}\delta(x-k)$
• binomial distribution function
  • $F_X(x) = \sum^N_{k=0}\binom{N}{k}p^k(1-p)^{N-k}u(x-k)$
• poisson distribution
  • 이산 랜덤변수에 대해 회수 N을 무한으로 늘렸을 때의 분포
  • 평균 확률을 $\lambda$, 구간을 T로 정의
  • $P(X=k) = \lim_{x\to\infty}\binom{N}{k}(\frac{\lambda T}{N})^k(1-\frac{\lambda T}{N})^{N-k}$

Uniform Distribution

• PDF $f_X(x)=\begin{cases} \frac{1}{b-a}\ (a\leq x\leq b)\\ 0\ (other) \end{cases}$
• CDF $F_X(x)=\begin{cases} 0\ (x<a)\\ \frac{x-a}{b-a}\ (a\leq x\leq b)\\ 1\ (x\geq b) \end{cases}$

Exponential Distribution

• PDF $f_X(x)=\begin{cases} \lambda e^{-\lambda x}\ (x \geq 0)\\ 0\ (X < 0) \end{cases}$
• CDF $F_X(x)=\begin{cases} 1-e^{-\lambda x}\ (x \geq 0)\\ 0\ (X < 0) \end{cases}$

Rayleigh Distribution

• x, y축 성분이 각각 가우시안 분포일 때 확률분포
• PDF $f_X(x)=\begin{cases} \frac{2}{b}(x-a)e^{-(x-a)^2/b}\ (x \geq a)\\ 0\ (X < a) \end{cases}$
• CDF $F_X(x)=\begin{cases} 1-e^{-(x-a)^2/b}\ (x \geq a)\\ 0\ (X < a) \end{cases}$

Conditional Distribution

• CDF $F_X(x|B) = \frac{P(\{X\leq x\}\cap B)}{P(B)} = P(X\leq x|B)$

  • Property
  1. $F_X(-\infty|B)=0$ (공집합)
  2. $F_X(\infty|B)=1$ (sample space)
  3. $x_1\leq x_2\ then\ F_X(x_1|B)\leq F_X(x_2|B)$
  4. $P({x_1<X\leq x_2}|B) = F_X(x_2|B)-F_X(x_1|B)$
  5. $F_X(x^+|B) = F_X(x|B)$

• PDF $f_x(X|B) = \frac{dF_X(x|B)}{dx}$

  • property
  1. $f_X(x|B) \geq 0$
  2. $\int^\infty_{-\infty}f_X(x|B)dx=1$
  3. $F_X(x|B)=\int^x_{-\infty}f_X(t|B)dt$
  4. $P({x_1<X\leq x_2}|B)=\int^{x_2}_{x_1}f_X(t|B)dt$

• Case 1. $B=\{X\leq b\}$

  • $F_X(x|B) = \frac{P({\{X\leq x\} }\cap \{X\leq b\})}{P(\{X\leq b\})}$

  • $F_X(x|B) = \begin{cases} \frac{F_X(x)}{F_X(b)}(x<b)\\ 1(x\geq b) \end{cases}$

  • $f_X(x|B) = \begin{cases} \frac{f_X(x)}{F_X(b)}(x<b)\\ 1(x\geq b) \end{cases}$

• Case 2. $B=\{X=a\}$

  • $F_X(x|B) = \begin{cases} 0(x<a)\\ 1(x\geq a) \end{cases}$

1. Set Definitions

• set(집합) : 원소의 모음
  • 유한 vs 무한 (셀 수 있는가 vs 없는가)
  • 셀 수 있는 무한집합 : 정수, 자연수, 유리수, 짝수, 홀수, ...
  • 셀 수 없는 무한집합 : 실수집합

2. Mathematical Model of Probability

• Sample space : 모든 가능한 결과의 집합

• Event : Sample space의 부분집합 (무한집합에서 효과적으로 사용)

• Probability : Event의 존재 확률

  • ex) 동전 던지기
  • Sample Space $U = \{앞, 뒤\}$
  • Event $A = \{\phi, \{앞\},\{뒤\},\{앞, 뒤\}$ ( $\{앞, 뒤\} : 앞면 or 뒷면$ )
  • Probability : $\phi = 0\ /\ {앞}={뒤}=\frac{1}{2}\ /\ {앞, 뒤} = 1$ (합집합 개념)

• Properties of probability

  1. sample space의 모든 event에서 $0\leq P(A)\leq 1$
  2. subset이 Sample Space와 동일할 때 $P(S)=1$
  3. $P(\cup^N_{n=1}A_n)=\sum^N_{n=1}P(A_n)$ (조건 : $A_m\cap A_n=\phi$)

• 확률(P)이 0이라도 이벤트(A)는 존재할 수 있다.

  • [0, 1] 범위의 실수 중 자연수 1을 뽑는다고 가정
  • 확률은 $1/\infty$이므로 0이지만, 1을 뽑는 사건은 존재

• 실제 실험에서의 수학적 모델

  1. sample space의 할당
  2. event의 정의
  3. 공리를 만족하도록 확률 할당
  • 현실에서의 확률 = 상대적 빈도
  • 실험을 통해 예측되는 확률과 진짜(real true) 확률의 구분이 필요

3. Joint and Conditional Probability

• Joint(교집합) : $P(A\cap B = P(A)+P(B)-P(A\cup B)$
• Conditional(조건부) : $P(A|B):=\frac{P(A\cap B)}{P(B)}$
  • A, B집합이 exclusive한 경우, $P(A|B)=0$

Bayes Theorem

• P(A) : 관찰된 것
• $P(B|A)$ : 사후 확률
• $P(A|B)$ : likelihood - 인과관계
• P(B) : 사전 확률 - 실험 전 일반적인 확률

• ex) binary communication system

• $P(B_1|A_1)$ : 결과값 $A_1$이 $B_1$에서 온 값일 확률
• $P(A_1)=P(A_1|B_1)P(B_1) + P(A_1|B_2)P(B_2)$
  $= 0.9\times0.6+0.1\times0.4=0.58$
  $\therefore P(B_1|A_1)=P(A_1|B_1)P(B_1)/P(A_1)=0.9\times0.6/0.58\simeq0.931$

4. Independent Events

• 두 사건이 통계적으로 독립적이라는 것은
• $P(A|B) = P(A),\ P(B|A) = P(B)$이고 $P(A\cup B)=P(A)P(B)$ 이다.
• 또한 두 사건의 교집합은 공집합이 아니어야 한다.
• Multiple Events
  • N개의 사건이 있을 때 독립이기 위해 아래 조건을 충족해야 한다.

5. Combined Experiment

• 2개의 sample space가 중첩된 경우
• $S = S_1 \times S_2$
• 즉 sample space $S = \{s_1, s_2)|s_1\in A\ and\ s_2\in B\}$
• $P(A\times B) = P(A)P(B)$

• Permutation
  • 순열 $_nP_r=\frac{n!}{(n-r)!}$
  • 중복순열 $_n\Pi_r=n^r$
• Combination
  • 조합 $_nC_r=\binom{n}{r}=\frac{_nP_r}{_rP_r}=\frac{n!}{(n-r)!r!}$
  • 중복조합 $_nH_r =\binom{n+r-1}{n-1}=\binom{n+r-1}{r}$

Bernoulli Trials

• 2개의 사건 $A : P(A)=p,\ \overline{A} : P(\overline{A})=1-p$일 때
• N번의 실행을 한다면

  • 1회차의 발생 확률 : $p^k(1-p)^{N-k}$

  • A가 k번 나타나는 시도 : $\binom{N}{k}$

  • P(A가 k번 나타날 확률) = $\binom{N}{k}p^k(1-p)^{N-k}$

• 많은 회수 N번 시도하였을 때의 확률 : De Moivre-Laplace approximation

  • $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{1}{\sqrt{2\pi Np(1-p)}}exp(-\frac{(k-Np)^2}{2Np(1-p)})$

  • $\mu$ : 평균, $\sigma^2$ : 분산일 때 가우시안 분포 $\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

  • 다회 반복에 대해서 베르누이 분포 확률은 가우시안 분포와 유사한 값을 띈다

  • 확률 $\mu = Np$, 분산 $\sigma^2 = Np(1-p)$

• Poisson approx. : De Moivre-Laplace Approx. 에서 충분히 작은 p값에 대해
  • $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{(Np)^{k_e-N_p}}{k!}$