[확률 및 랜덤변수] 3. Random Variable (2)

1. Expectation

• 주어진 랜덤 변수에 대한 평균값

• $E[X]=\overline{X}=\begin{cases} \int xf_X(x)dx (continuous\ R.V.)\\ \sum_{i=1}^\infty x_iP(x_i) (discrete\ R.V.) \end{cases}$

  • ex. 주사위 던지기
    • $E[X]=\frac{1}{6}(1+2+3+4+5+6)=3.5$
  • ex2. 가우시안 분포
    • $f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
    • $E[X]=\int^\infty_{-\infty}\frac{x}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})dx$
    • (치환적분 $t=x-\mu$) $=\int^\infty_{-\infty}\frac{t+\mu}{\sqrt{2\pi\sigma^2}}exp(-\frac{t^2}{2\sigma^2})dt$
    • $(\because\int^\infty_{-\infty}t\ exp(-t^2)dt=0)\ \mu\int^\infty_{-\infty}\frac{exp(-\frac{t^2}{2\sigma^2})}{\sqrt{2\pi\sigma^2}}dt$ - 평균 0, 분산$\sigma^2$인 가우시안 분포
    • $\therefore E[X]=\mu$

• 랜덤변수 X, Y / 상수값 c에 대해

  • $E[X+Y]=E[X]+E[Y]$
  • $E[cX]=cE[X]$

• 조건부 기댓값

  • $E[X|B]=\int^\infty_{-\infty}xf_X(x|B)dx$

---

• Moment
  • 확률분포 상의 통계량에 대한 일반화
  • $m_n=E[X^n]=\int^\infty_{-\infty}x^nf_X(x)dx$
  • $m_1=E[X]$ : 평균값
  • 분산 $E[(X-m_1)^2]$
    $=E[X^2-2m_1X+m_1^2] = E[X^2]-(E[X])^2$
    $\therefore m_2=E[X^2]=Var(X)+(E[X])^2$
• Central Moment
  • X의 평균에 대한 moment
  • $\mu_n=E[(X-\overline{X})^n]=\int^\infty_{-\infty}(x-\overline{X})f_X(x)dx$
  • $\mu_0=1, \mu_1=0$
  • $\mu_2=E[(X-\overline{X})^2]$ : 분산
  • 왜도(skewness) : $\mu_3/\sigma_3^3$
  • 첨도(kurtosis) : $(mu_4/\sigma_4^4) - 3$

2. Inequality

• chebychev's Inequality

  • $P(|X-\overline{X}|\geq\epsilon)\leq\frac{\sigma_X^2}{\epsilon^2}(\epsilon\geq0)$
  • 평균 주변의 일정 범위 ($\epsilon$) 바깥에 위치할 확률은 표준편차에 비례

• Markov's Inequality

  • $a>0, X\geq0$일 때
  • $P(X\geq a)\leq\frac{E[X]]}{a}$

3. Characteristic Function

• $\Phi_X(w)\equiv E[e^{jwX}]=\int^\infty_{-\infty}f_X(x)e^{jwx}dx$
• (inverse) $f_X(x)=\frac{1}{2\pi}\int^\infty_{-\infty}\Phi_X(w)e^{-jwx}dw$
• moment $m_n=(-j)^n\frac{d^n\Phi_X(w)}{dw^n}|_{w=0}$
• $|\Phi_X(w)|\leq\Phi_X(0)=1$

---

Moment Generating Function

• $M_X(v)\equiv E[e^{vX}]=\int^\infty_{-\infty}f_X(x)e^{vx}dx$
• moment $m_n=\frac{d^nM_X(v)}{dv^n}|_{v=0}$
• X가 평균 $\mu$, 분산 $\sigma^2$을 갖는 정규분포일 때
  $M_X(v)=e^{\mu v+\frac{1}{2}\sigma^2v^2}$
• Chernoff Inequality : $P(X\geq a)\leq e^{-va}M_X(v)$

4. Transformations of R.V.

• Monotonic Transformation of R.V.

  

  • $Y=T(X)$는 랜덤변수
  • $f_X\not ={0}$인 경우 T는 연속적이며 미분 가능
  • T는 단조함수(monotonic) - 계속해서 증가 or 감소
  • Y의 pdf $f_Y(y)=f_X(x)|\frac{dx}{dy}|=\frac{f_X(x)}{T'(x)}$
    • ex. x : uniform dist, y : $\sqrt{x}$일 때
      • $f_Y(y)=f_X(x)/|\frac{dy}{dx}|=2\sqrt{x}f_X(x)=2yf_X(x)=2y$
  • 랜덤변수 X가 가우시안 분포, Y=aX + b의 형태가 되면 랜덤변수 Y 역시 가우시안 분포이다.
    • 평균 = $a\mu_x + b$
    • 분산 $\sigma_Y^2=a^2\sigma_X^2$
• Non-Monotonic Transformation of R.V.
  • 랜덤변수 Y의 함수 T가 monotonic하지 않은 경우
  • ex. $f_X(x) = (x-x_1)(x-x_2)(x-x_3)$
    • $F_Y(y_0) = P(Y\leq y_0) = P(X\leq x_1) + P(x_2\leq X\leq x_3)\\ = F_X(x_1)+[F_X(x_3)-F_X(x_2)]$
    • $f_Y(y)=f_X(x_1)|\frac{dx_1}{dy}|+f_X(x_1)|\frac{dx_1}{dy}|+[f_X(x_3)|\frac{dx_3}{dy}|-f_X(x_2)|\frac{dx_2}{dy}|]$