[확률 및 랜덤변수] 1. Probability

1. Set Definitions

• set(집합) : 원소의 모음
  • 유한 vs 무한 (셀 수 있는가 vs 없는가)
  • 셀 수 있는 무한집합 : 정수, 자연수, 유리수, 짝수, 홀수, ...
  • 셀 수 없는 무한집합 : 실수집합

2. Mathematical Model of Probability

• Sample space : 모든 가능한 결과의 집합

• Event : Sample space의 부분집합 (무한집합에서 효과적으로 사용)

• Probability : Event의 존재 확률

  • ex) 동전 던지기
  • Sample Space $U = \{앞, 뒤\}$
  • Event $A = \{\phi, \{앞\},\{뒤\},\{앞, 뒤\}$ ( $\{앞, 뒤\} : 앞면 or 뒷면$ )
  • Probability : $\phi = 0\ /\ {앞}={뒤}=\frac{1}{2}\ /\ {앞, 뒤} = 1$ (합집합 개념)

• Properties of probability

  1. sample space의 모든 event에서 $0\leq P(A)\leq 1$
  2. subset이 Sample Space와 동일할 때 $P(S)=1$
  3. $P(\cup^N_{n=1}A_n)=\sum^N_{n=1}P(A_n)$ (조건 : $A_m\cap A_n=\phi$)

• 확률(P)이 0이라도 이벤트(A)는 존재할 수 있다.

  • [0, 1] 범위의 실수 중 자연수 1을 뽑는다고 가정
  • 확률은 $1/\infty$이므로 0이지만, 1을 뽑는 사건은 존재

• 실제 실험에서의 수학적 모델

  1. sample space의 할당
  2. event의 정의
  3. 공리를 만족하도록 확률 할당
  • 현실에서의 확률 = 상대적 빈도
  • 실험을 통해 예측되는 확률과 진짜(real true) 확률의 구분이 필요

3. Joint and Conditional Probability

• Joint(교집합) : $P(A\cap B = P(A)+P(B)-P(A\cup B)$
• Conditional(조건부) : $P(A|B):=\frac{P(A\cap B)}{P(B)}$
  • A, B집합이 exclusive한 경우, $P(A|B)=0$

Bayes Theorem

• P(A) : 관찰된 것
• $P(B|A)$ : 사후 확률
• $P(A|B)$ : likelihood - 인과관계
• P(B) : 사전 확률 - 실험 전 일반적인 확률

---

• ex) binary communication system

• $P(B_1|A_1)$ : 결과값 $A_1$이 $B_1$에서 온 값일 확률
• $P(A_1)=P(A_1|B_1)P(B_1) + P(A_1|B_2)P(B_2)$
  $= 0.9\times0.6+0.1\times0.4=0.58$
  $\therefore P(B_1|A_1)=P(A_1|B_1)P(B_1)/P(A_1)=0.9\times0.6/0.58\simeq0.931$

4. Independent Events

• 두 사건이 통계적으로 독립적이라는 것은
• $P(A|B) = P(A),\ P(B|A) = P(B)$이고 $P(A\cup B)=P(A)P(B)$ 이다.
• 또한 두 사건의 교집합은 공집합이 아니어야 한다.
• Multiple Events
  • N개의 사건이 있을 때 독립이기 위해 아래 조건을 충족해야 한다.

5. Combined Experiment

• 2개의 sample space가 중첩된 경우
• $S = S_1 \times S_2$
• 즉 sample space $S = \{s_1, s_2)|s_1\in A\ and\ s_2\in B\}$
• $P(A\times B) = P(A)P(B)$

• Permutation
  • 순열 $_nP_r=\frac{n!}{(n-r)!}$
  • 중복순열 $_n\Pi_r=n^r$
• Combination
  • 조합 $_nC_r=\binom{n}{r}=\frac{_nP_r}{_rP_r}=\frac{n!}{(n-r)!r!}$
  • 중복조합 $_nH_r =\binom{n+r-1}{n-1}=\binom{n+r-1}{r}$

Bernoulli Trials

• 2개의 사건 $A : P(A)=p,\ \overline{A} : P(\overline{A})=1-p$일 때
• N번의 실행을 한다면

  • 1회차의 발생 확률 : $p^k(1-p)^{N-k}$

  • A가 k번 나타나는 시도 : $\binom{N}{k}$

  • P(A가 k번 나타날 확률) = $\binom{N}{k}p^k(1-p)^{N-k}$

• 많은 회수 N번 시도하였을 때의 확률 : De Moivre-Laplace approximation

  • $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{1}{\sqrt{2\pi Np(1-p)}}exp(-\frac{(k-Np)^2}{2Np(1-p)})$

  • $\mu$ : 평균, $\sigma^2$ : 분산일 때 가우시안 분포 $\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

  • 다회 반복에 대해서 베르누이 분포 확률은 가우시안 분포와 유사한 값을 띈다

  • 확률 $\mu = Np$, 분산 $\sigma^2 = Np(1-p)$

• Poisson approx. : De Moivre-Laplace Approx. 에서 충분히 작은 p값에 대해
  • $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{(Np)^{k_e-N_p}}{k!}$