[확률 및 랜덤변수] 5. Random Vector (2)

1. Expected Value of R.V function

• N개 R.V. 함수에 대해서
  • $E[X]=\int xf_X(x)dx$
  • R.V. Z=X+Y일 때 $E[Z]=\int^\infty_{-\infty}\int^\infty_{-\infty}(X+Y)f_{X,Y}(x,y)dxdy=E[X]+E[Y]$
  • 함수 g(x,y)에 대해 $\overline{g}=E_{X,Y}[g(x,y)]=\int^\infty_{-\infty}\int^\infty_{-\infty}g(x,y)f_{X,Y}(x,y)dxdy$
  • $E[\sum_i\alpha_iX_i]=\sum_i\alpha_iE[X_i]$

---

결합 Moment

• $m_{nk}\equiv E_{X,Y}[X^nY^k]=\int^\infty_{-\infty}\int^\infty_{-\infty}x^ny^kf_{X,Y}(x,y)dxdy$
• $m_{n0}=E[X^n]$, $m_{0k}=E[Y^k]$
• n+k = moment의 차수
• Correlation(상관관계) : $R_{XY}=m_{11}=E_{X,Y}[XY]$
  • $E[XY]=E[X]E[Y]$면 uncorrelated
  • 독립시행이면 uncorrelated
  • correlated면 독립이 아님
  • 하지만 uncorrelated라고 해서 독립인 것은 아님
  • $R_{XY}=0$이면 X와 Y는 직교(orthogonal)한다고 표현

---

결합 Central Moment

• $\mu_{nk}=E_{X,Y}[(X-\overline{X})^n(Y-\overline{Y})^k]$
• 랜덤변수의 분산 : $\mu_{20}=\sigma_X^2$, $\mu_{02}=\sigma_Y^@$
• Covariance : $C_{XY}=C_{YX}=\mu_{11}$
  $=E[(X-\overline{X})(Y-\overline{Y})]=E[XY]-\overline{XY}=R_{XY}-\overline{XY}$
  • $C_{XY}=0$이면 uncorrelated
  • $C_{XY}=-E[X]E[Y]$면 orthogonal
  • 상관계수(Correlation Coefficient) : $\rho=\frac{\mu_{11}}{\sqrt{\mu_{20}\mu_{02}{}}}=\frac{C_{XY}}{\sigma_X\sigma_Y}=E[\frac{x-\mu_x}{\sigma_x}\frac{y-\mu_y}{\sigma_y}]$
    • 상관계수의 크기는 항상 1보다 작음

• 증명 : Cauchy-Schwarz inequality
  

  

  
  $f(x)=\frac{x-\mu_x}{\sigma_x}f_{X,Y}(x,y)$, $g(y)=\frac{y-\mu_y}{\sigma_y}f_{X,Y}(x,y)$
  가우스 분포이므로 우변은 1이 됨. $\therefore -1\leq|\rho|\leq1$

2. Joint Characteristic Function

• $\Phi_{X,Y}(w_1, w_2)=E[\ exp[jw_1X+jw_2Y]\ ]$
  $=\int^\infty_{-\infty}\int^\infty_{-\infty}f_{X,Y}(x,y)exp[jw_1X+jw_2Y]dxdy$
• inverse Ch. : $f_{X,Y}(x,y)=\frac{1}{(2\pi)^2}\int^\infty_{-\infty}\int^\infty_{-\infty}\Phi_{X,Y}(w_1,w_2)exp[-(jw_1X+jw_2Y)]dw_1dw_2$
• marginality : $\Phi_X(w)=\Phi_{X,Y}(w,0)$
• Joint Moment : $m_{n,k}=(-j)^{n+k}\frac{\partial^{n+k}\Phi_{X,Y}(w_1,w_2)}{\partial w_1^n\partial w_2^k}|_{w1=w2=0}$

3. Joint Gaussian Random Variable

• $f_{\it{X}}(x)=\large{\frac{1}{\sqrt{(2\pi)^n(det\sum)}}exp[-\frac{1}{2}(X-\mu)^{T}\sum^{-1}(X-\mu)]}$
• 2차원 Gaussian R.V.에 대해
  • $\sum=\begin{bmatrix} \sigma_x^2&\rho\sigma_x\sigma_y\\ \rho\sigma_x\sigma_y&\sigma_y^2 \end{bmatrix}$
  • $\sum^{-1}=\frac{1}{1-\rho^2}\begin{bmatrix} \frac{1}{\sigma_x^2}&-\frac{\rho}{\sigma_x\sigma_y}\\ -\frac{\rho}{\sigma_x\sigma_y}&\frac{1}{\sigma_y^2} \end{bmatrix}$
  • $det\sum=\sigma_X^2\sigma_Y^2(1-\rho^2)$
  • $f_{X,Y}(x,y)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}exp[-\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_x}{\sigma_X})^2-2\rho(\frac{x-\mu_x}{\sigma_X})(\frac{y-\mu_y}{\sigma_Y})+(\frac{y-\mu_y}{\sigma_Y})^2]]$

---

• property : 2차원 joint gaussian R.V $f_{X,Y}(x,y)$
  • $X$~$N(\mu_x,\sigma_X^2)$
  • $E[(X-\mu_x)(Y-\mu_y)]=\rho\sigma_X\sigma Y$(Covariance)
  • $E[XY]=\rho\sigma_X\sigma Y+\mu_x\mu_y$
• X,Y가 joint Gaussian이고 $\rho=0$이면 uncorrelated
• 임의의 uncorrelated한 gaussian R.V.는 독립
• 가우시안의 선형 transform, marginal, conditional distribution은 모두 gaussian

---

• Linear Transform(Coordination Rotation)
  • 랜덤변수 X, Y를 uncorrelated한 랜덤변수로 선형 변환(각도 $\theta$로 회전)
  • $\begin{bmatrix} Y_1\\ Y_2 \end{bmatrix}$$=\begin{bmatrix} cos\theta&sin\theta\\ sin\theta&cos\theta \end{bmatrix}$ $\begin{bmatrix} X\\ Y \end{bmatrix}$
  • $C_{Y_1Y_2}=(\sigma_Y^2-sigma_X^2)\frac{sin2\theta}{2}+C_{XY}cos2\theta$
    • 위 식이 0일 때 uncorrelated
    • $\theta=\frac{1}{2}tan^{-1}[\frac{2\rho\sigma_X\sigma_ Y}{\sigma_X^2-\sigma_Y^2}]$

4. Transformation of Multiple Random Variables

• N차원 랜덤변수 $T\ :\ Y=g(X_1,X_2,....X_N)$이 있다고 할 때
  • $F_Y(y)=P(g()\leq y)$
    $\int...\int f_{X_1,...,X_N}(x_1,...,x_N)dx_1...dx_N$
  • $f_Y(y)=\frac{dF_Y(y)}{dy}$
    $=f_X(x_1,...x_N)|J|$
    • $x_1=T^{-1}(y),...,x_N=T_N^{-1}(y)$
    • $y=[y_1,...y_N]^T$
    • $J=\begin{bmatrix} \frac{\partial T_1^{-1}}{\partial y_1}&...&\frac{\partial T_1^{-1}}{\partial y_N}\\ ...&...&...\\ \frac{\partial T_N^{-1}}{\partial y_1}&...&\frac{\partial T_N^{-1}}{\partial y_N} \end{bmatrix}$
    • J : Jacobian determinant
      • 실수값 p에대해 J가 0이 아니면 함수 f는 역함수가 존재
      • p에서 J의 절대값은 그 점에서의 수축/확산에 대한 정보를 제공

---

• ex.$\begin{cases} Y_1=aX_1+bX_2\\ Y_2=cX_1+dX_2 \end{cases}$ : $\begin{bmatrix} Y_1\\ Y_2 \end{bmatrix}$ $=\begin{bmatrix} a&b\\ c&d \end{bmatrix}$ $\begin{bmatrix} X_1\\ X_2 \end{bmatrix}$
  • $f_{Y_1,Y_2}(y_1,y_2)=f_{X_1,X_2}(x_1,x_2)|\frac{\partial(x_1,x_2)}{\partial(y_1,y_2)}|$
    $=f_{X_1,X_2}(x_1,x_2)\ /\ |\frac{\partial(y_1,y_2)}{\partial(x_1,x_2)}|=f_{X_1,X_2}(x_1,x_2)\ /\ |\begin{bmatrix} a&b\\ c&d \end{bmatrix}|$
    $=\frac{1}{|ad-bc|}f_{X_1,X_2}(\frac{dy_1-by_2}{ad-bc},\frac{-cy_1+ay_2}{ad-bc})$

5. Estimation

Estimation of Mean

• 랜덤한 N개 값에서의 sample mean :
  • $\hat{\overline{x_N}}=\frac{1}{N}\sum^N_{n=1}x_n$
• N개 random variable에서 추정한 sample mean :
  • $\hat{\overline{X_N}}=\frac{1}{N}\sum^N_{n=1}X_n$
• 좋은 Estimate의 조건
  • unbiased : 예측값의 평균이 실제 평균으로 수렴할 것
    • $E[\hat{\overline{X_N}}]=E[\frac{1}{N}\sum X_n]=\frac{1}{N}\sum E[X_n]=\overline{X}$
  • 예측값의 분산이 최소값이 될 것
    • $E[(\hat{\overline{X_N}}-\overline{X})^2]=E[\hat{\overline{X_N}}^2]-\overline{X}^2=\frac{\sigma_X^2}{N}$
    • sample 개수 N이 충분히 커지면 sample 분산은 0으로 수렴
• Chebychev's Inequality
  • $P(|\hat{\overline{X_N}}-\overline{X}|<\epsilon)\geq1-\frac{\sigma_{\hat{\overline{X_N}}}^2}{\epsilon^2}=1-\frac{\sigma_X^2}{N\epsilon^2}$
  • N이 충분히 큰 상태에서 sample mean과 X의 실제 mean이 같을 확률은 1로 수렴

---

Estimation of Variance

• sample variance $V_N\equiv\frac{1}{N}\sum(X_n-\hat{\overline{X_N}})^2$으로 sample variance를 가정
• $E[V_N]=\frac{N-1}{N}\sigma_X$이므로 not unbiased
  • 양변에 $\frac{1}{N-1}$을 곱해 unbiased인 분산의 예측값을 계산 가능
  • $\hat{\sigma_X}^2=\frac{1}{N-1}\sum(X_n-\hat{\overline{X_N}})^2$

---

Law of large numbers

• weak law : 충분히 큰 N에 대해서 sample mean은 실제 평균과 동일
• strong law : 충분히 큰 N에 대해서 sample mean이 실제 평균과 동일할 확률이 1로 수렴