728x90

1. Expected Value of R.V function

N개 R.V. 함수에 대해서
- $E[X]=\int xf_X(x)dx$
- R.V. Z=X+Y일 때 $E[Z]=\int^\infty_{-\infty}\int^\infty_{-\infty}(X+Y)f_{X,Y}(x,y)dxdy=E[X]+E[Y]$
- 함수 g(x,y)에 대해 $\overline{g}=E_{X,Y}[g(x,y)]=\int^\infty_{-\infty}\int^\infty_{-\infty}g(x,y)f_{X,Y}(x,y)dxdy$
- $E[\sum_i\alpha_iX_i]=\sum_i\alpha_iE[X_i]$

결합 Moment

$m_{nk}\equiv E_{X,Y}[X^nY^k]=\int^\infty_{-\infty}\int^\infty_{-\infty}x^ny^kf_{X,Y}(x,y)dxdy$
$m_{n0}=E[X^n]$ , $m_{0k}=E[Y^k]$
n+k = moment의 차수
Correlation(상관관계) : $R_{XY}=m_{11}=E_{X,Y}[XY]$ $R_{X Y} = m_{11} = E_{X, Y} [X Y]$
- $E[XY]=E[X]E[Y]$ 면 uncorrelated
- 독립시행이면 uncorrelated
- correlated면 독립이 아님
- 하지만 uncorrelated라고 해서 독립인 것은 아님
- $R_{XY}=0$ 이면 X와 Y는 직교(orthogonal)한다고 표현

결합 Central Moment

$\mu_{nk}=E_{X,Y}[(X-\overline{X})^n(Y-\overline{Y})^k]$
랜덤변수의 분산 : $\mu_{20}=\sigma_X^2$ , $\mu_{02}=\sigma_Y^@$
Covariance : $C_{XY}=C_{YX}=\mu_{11}$ $C_{X Y} = C_{Y X} = μ_{11}$
$=E[(X-\overline{X})(Y-\overline{Y})]=E[XY]-\overline{XY}=R_{XY}-\overline{XY}$ $= E [(X - \overline{X}) (Y - \overline{Y})] = E [X Y] - \overline{X Y} = R_{X Y} - \overline{X Y}$
- $C_{XY}=0$ 이면 uncorrelated
- $C_{XY}=-E[X]E[Y]$ 면 orthogonal
- 상관계수(Correlation Coefficient) : $\rho=\frac{\mu_{11}}{\sqrt{\mu_{20}\mu_{02}{}}}=\frac{C_{XY}}{\sigma_X\sigma_Y}=E[\frac{x-\mu_x}{\sigma_x}\frac{y-\mu_y}{\sigma_y}]$ $ρ = \frac{μ _{11}}{μ _{20} μ _{02}} = \frac{C _{X Y}}{σ _{X} σ _{Y}} = E [\frac{x - μ _{x}}{σ _{x}} \frac{y - μ _{y}}{σ _{y}}]$
  - 상관계수의 크기는 항상 1보다 작음

증명 : Cauchy-Schwarz inequality

$f(x)=\frac{x-\mu_x}{\sigma_x}f_{X,Y}(x,y)$ , $g(y)=\frac{y-\mu_y}{\sigma_y}f_{X,Y}(x,y)$
가우스 분포이므로 우변은 1이 됨. $\therefore -1\leq|\rho|\leq1$

2. Joint Characteristic Function

$\Phi_{X,Y}(w_1, w_2)=E[\ exp[jw_1X+jw_2Y]\ ]$
$=\int^\infty_{-\infty}\int^\infty_{-\infty}f_{X,Y}(x,y)exp[jw_1X+jw_2Y]dxdy$
inverse Ch. : $f_{X,Y}(x,y)=\frac{1}{(2\pi)^2}\int^\infty_{-\infty}\int^\infty_{-\infty}\Phi_{X,Y}(w_1,w_2)exp[-(jw_1X+jw_2Y)]dw_1dw_2$
marginality : $\Phi_X(w)=\Phi_{X,Y}(w,0)$
Joint Moment : $m_{n,k}=(-j)^{n+k}\frac{\partial^{n+k}\Phi_{X,Y}(w_1,w_2)}{\partial w_1^n\partial w_2^k}|_{w1=w2=0}$

3. Joint Gaussian Random Variable

$f_{\it{X}}(x)=\large{\frac{1}{\sqrt{(2\pi)^n(det\sum)}}exp[-\frac{1}{2}(X-\mu)^{T}\sum^{-1}(X-\mu)]}$
2차원 Gaussian R.V.에 대해
- $\sum=\begin{bmatrix} \sigma_x^2&\rho\sigma_x\sigma_y\\ \rho\sigma_x\sigma_y&\sigma_y^2 \end{bmatrix}$
- $\sum^{-1}=\frac{1}{1-\rho^2}\begin{bmatrix} \frac{1}{\sigma_x^2}&-\frac{\rho}{\sigma_x\sigma_y}\\ -\frac{\rho}{\sigma_x\sigma_y}&\frac{1}{\sigma_y^2} \end{bmatrix}$
- $det\sum=\sigma_X^2\sigma_Y^2(1-\rho^2)$
- $f_{X,Y}(x,y)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}exp[-\frac{1}{2(1-\rho^2)}[(\frac{x-\mu_x}{\sigma_X})^2-2\rho(\frac{x-\mu_x}{\sigma_X})(\frac{y-\mu_y}{\sigma_Y})+(\frac{y-\mu_y}{\sigma_Y})^2]]$

property : 2차원 joint gaussian R.V $f_{X,Y}(x,y)$ $f_{X, Y} (x, y)$
- $X$ ~ $N(\mu_x,\sigma_X^2)$
- $E[(X-\mu_x)(Y-\mu_y)]=\rho\sigma_X\sigma Y$ (Covariance)
- $E[XY]=\rho\sigma_X\sigma Y+\mu_x\mu_y$
X,Y가 joint Gaussian이고 $\rho=0$ 이면 uncorrelated
임의의 uncorrelated한 gaussian R.V.는 독립
가우시안의 선형 transform, marginal, conditional distribution은 모두 gaussian

Linear Transform(Coordination Rotation)
- 랜덤변수 X, Y를 uncorrelated한 랜덤변수로 선형 변환(각도 $\theta$ 로 회전)
- $\begin{bmatrix} Y_1\\ Y_2 \end{bmatrix}$ $=\begin{bmatrix} cos\theta&sin\theta\\ sin\theta&cos\theta \end{bmatrix}$ $\begin{bmatrix} X\\ Y \end{bmatrix}$
- $C_{Y_1Y_2}=(\sigma_Y^2-sigma_X^2)\frac{sin2\theta}{2}+C_{XY}cos2\theta$ $C_{Y_{1} Y_{2}} = (σ_{Y}^{2} - s i g m a_{X}^{2}) \frac{s i n 2 θ}{2} + C_{X Y} c o s 2 θ$
  - 위 식이 0일 때 uncorrelated
  - $\theta=\frac{1}{2}tan^{-1}[\frac{2\rho\sigma_X\sigma_ Y}{\sigma_X^2-\sigma_Y^2}]$

4. Transformation of Multiple Random Variables

N차원 랜덤변수 $T\ :\ Y=g(X_1,X_2,....X_N)$ $T : Y = g (X_{1}, X_{2}, . . . . X_{N})$ 이 있다고 할 때
- $F_Y(y)=P(g()\leq y)$
  $\int...\int f_{X_1,...,X_N}(x_1,...,x_N)dx_1...dx_N$
- $f_Y(y)=\frac{dF_Y(y)}{dy}$ $f_{Y} (y) = \frac{d F _{Y} ( y )}{d y}$
  $=f_X(x_1,...x_N)|J|$ $= f_{X} (x_{1}, . . . x_{N}) ∣ J ∣$
  - $x_1=T^{-1}(y),...,x_N=T_N^{-1}(y)$
  - $y=[y_1,...y_N]^T$
  - $J=\begin{bmatrix} \frac{\partial T_1^{-1}}{\partial y_1}&...&\frac{\partial T_1^{-1}}{\partial y_N}\\ ...&...&...\\ \frac{\partial T_N^{-1}}{\partial y_1}&...&\frac{\partial T_N^{-1}}{\partial y_N} \end{bmatrix}$
  - J : Jacobian determinant
    - 실수값 p에대해 J가 0이 아니면 함수 f는 역함수가 존재
    - p에서 J의 절대값은 그 점에서의 수축/확산에 대한 정보를 제공

ex. $\begin{cases} Y_1=aX_1+bX_2\\ Y_2=cX_1+dX_2 \end{cases}$ ${Y_{1} = a X_{1} + b X_{2} Y_{2} = c X_{1} + d X_{2}$ : $\begin{bmatrix} Y_1\\ Y_2 \end{bmatrix}$ $[Y_{1} Y_{2}]$ $=\begin{bmatrix} a&b\\ c&d \end{bmatrix}$ $= [a c b d]$ $\begin{bmatrix} X_1\\ X_2 \end{bmatrix}$ $[X_{1} X_{2}]$
- $f_{Y_1,Y_2}(y_1,y_2)=f_{X_1,X_2}(x_1,x_2)|\frac{\partial(x_1,x_2)}{\partial(y_1,y_2)}|$
  $=f_{X_1,X_2}(x_1,x_2)\ /\ |\frac{\partial(y_1,y_2)}{\partial(x_1,x_2)}|=f_{X_1,X_2}(x_1,x_2)\ /\ |\begin{bmatrix} a&b\\ c&d \end{bmatrix}|$
  $=\frac{1}{|ad-bc|}f_{X_1,X_2}(\frac{dy_1-by_2}{ad-bc},\frac{-cy_1+ay_2}{ad-bc})$

5. Estimation

Estimation of Mean

랜덤한 N개 값에서의 sample mean :
- $\hat{\overline{x_N}}=\frac{1}{N}\sum^N_{n=1}x_n$
N개 random variable에서 추정한 sample mean :
- $\hat{\overline{X_N}}=\frac{1}{N}\sum^N_{n=1}X_n$
좋은 Estimate의 조건
- unbiased : 예측값의 평균이 실제 평균으로 수렴할 것
  - $E[\hat{\overline{X_N}}]=E[\frac{1}{N}\sum X_n]=\frac{1}{N}\sum E[X_n]=\overline{X}$
- 예측값의 분산이 최소값이 될 것
  - $E[(\hat{\overline{X_N}}-\overline{X})^2]=E[\hat{\overline{X_N}}^2]-\overline{X}^2=\frac{\sigma_X^2}{N}$
  - sample 개수 N이 충분히 커지면 sample 분산은 0으로 수렴
Chebychev's Inequality
- $P(|\hat{\overline{X_N}}-\overline{X}|<\epsilon)\geq1-\frac{\sigma_{\hat{\overline{X_N}}}^2}{\epsilon^2}=1-\frac{\sigma_X^2}{N\epsilon^2}$
- N이 충분히 큰 상태에서 sample mean과 X의 실제 mean이 같을 확률은 1로 수렴

Estimation of Variance

sample variance $V_N\equiv\frac{1}{N}\sum(X_n-\hat{\overline{X_N}})^2$ 으로 sample variance를 가정
$E[V_N]=\frac{N-1}{N}\sigma_X$ $E [V_{N}] = \frac{N - 1}{N} σ_{X}$ 이므로 not unbiased
- 양변에 $\frac{1}{N-1}$ 을 곱해 unbiased인 분산의 예측값을 계산 가능
- $\hat{\sigma_X}^2=\frac{1}{N-1}\sum(X_n-\hat{\overline{X_N}})^2$

Law of large numbers

weak law : 충분히 큰 N에 대해서 sample mean은 실제 평균과 동일
strong law : 충분히 큰 N에 대해서 sample mean이 실제 평균과 동일할 확률이 1로 수렴

728x90

저작자표시 비영리 변경금지

728x90

Rating Problem

Entropy

정보량에서의 Entropy : 정보의 양이 아닌, 랜덤변수에 정의되는 성질

정보의 가치는 당연한 사실일수록 낮을 것이며,

예측이 가능하지 않을수록, 즉 불확실성(Uncertainty)이 높을수록 정보량이 많아짐

정보가 예측가능한 것이라면 정보의 가치가 없게됨

결국, 발생 확률이 작을수록 정보의 가치가 높음

따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨

출처 : ktword - 정보량

불확실성이 높을수록 정보량이 많아진다
ex. 동전 1개를 던질 때의 entropy
- $h(X) = -\sum P_ilog_2 P_i$
- $P_X(x) = \begin{cases} 1/2(x=0)\\ 1/2(x=1) \end{cases}$
- $h(x) = -\frac{1}{2}log_2\frac{1}{2}-\frac{1}{2}log_2\frac{1}{2}=1$
ex2. 주사위 던지기
- $h(x) = 6 \times\frac{1}{6}\times\log_26 = 2.585$
- 만약 주사위 1000개를 던진다면 2585bit가 필요
morse code
- 영단어에서 가장 많이 쓰이는 e, t의 부호가 가장 짧다.
- 엔트로피 정의를 보면 $h(X) = -\sum P_ilog P_i$ 에서 정보의 출현 확률과 엔트로피(정보량)은 반비례함을 알 수 있다.
엔트로피가 작다
= PMF가 편중되어 있는 상태(물리에서의 엔트로피와 비슷하게 해석)

728x90

저작자표시 비영리 변경금지

728x90

Rating Problem

https://youtu.be/8idr1WZ1A7Q

평점의 정확도 판단을 판단해보자
- n : 리뷰의 개수
- k : '좋아요' 를 남긴 개수
- p : 리뷰를 남기는 사람이 '좋아요'를 달 확률
- n과 k를 이용하여 p를 계산, p가 높을 수록 좋은 제품이라고 추정 가능
Bayes rule : $\frac{P(B|A)P(A)}{P(B)}$
- $P(Θ=p∣N=n,K=k)=P(K=k∣Θ=p,N=n)P(Θ=p∣N=n)P(K=k∣N=n)P(\Theta=p|N=n, K=k) = \frac{P(K=k|\Theta=p,N=n)P(\Theta=p|N=n)}{P(K=k|N=n)}$
- 사후 확률 : [n개 리뷰, k개 좋아요일 때 | 좋아요를 달게 될 확률이 p인 확률]
- 인과 : [좋아요를 달 확률이 p일 때 리뷰가 n개인 경우 | k개 좋아요일 확률]
- 사전 확률 : [n개 리뷰일 때 | 좋아요 확률이 p일 확률]
  - $P(Θ=p∣N=n)=P(Θ=p)P(\Theta=p|N=n) = P(\Theta=p)$ 로 판단 가능
- 관찰 결과 : [n개 리뷰 때 | k개 좋아요의 확률]
$P(K=k∣Θ=p,N=n)=(nk)pk(1−p)n−kP(K=k|\Theta=p,N=n)=\binom{n}{k}p^k(1-p)^{n-k}$ (이항분포)
$P(Θ=p)P(\Theta=p)$ 를 $Beta(α,β)=pα−1(1−p)β−1∫01qα−1(1−q)β−1dq=pα−1(1−p)β−1B(α,β)Beta(\alpha, \beta) = \frac{p^{\alpha-1}(1-p)^{\beta-1}}{\int^1_0q^{\alpha-1}(1-q)^{\beta-1}dq} = \frac{p^{\alpha-1}(1-p)^{\beta-1}}{B(\alpha,\beta)}$ 로 가정
- 사전 확률이 정규 분포 형태로 나타나기 위해 $α=β=2\alpha=\beta=2$ 로 선정, $P(Θ=p)=Beta(2,2)=p(1−p)B(2,2)P(\Theta=p) = Beta(2,2) = \frac{p(1-p)}{B(2,2)}$
- 베타 함수를 이용하면 사후 확률을 추정할 수 있다.
- 출처 : [DOINGBAYESIAN] CH5. INFERRING A BINOMIAL PROPORTION VIA EXACT MATHEMATICAL ANALYSIS
$\int^1_0P(K=k|\Theta=q,N=n)f_{\Theta}(q)dq$
$P(Θ=p∣N=n,K=k)P(\Theta=p|N=n, K=k)$ 식을 정리하면
$(nk)pk(1−p)n−kBeta(2,2)∫01(nk)qk(1−q)n−kBeta(2,2)dq=pk+1(1−p)n−k+1∫01qk+1(1−q)n−k+1dq\frac{\binom{n}{k}p^{k}(1-p)^{n-k}Beta(2,2)}{\int^1_0\binom{n}{k}q^{k}(1-q)^{n-k}Beta(2,2)dq} = \frac{p^{k+1}(1-p)^{n-k+1}}{\int^1_0q^{k+1}(1-q)^{n-k+1}dq}$
즉 베타분포 $B (k + 2, n - k + 2)$ 의 식으로 나타남
이 식의 최빈값은 $\frac{a-1}{a+b-2}=\frac{k+1}{n+2}$ 로 나타난다.
아래 두 선은 n=1, 2인 경우, 노란 선은 n=1000인 경우, 시행회수가 증가함에 따라 분포의 평균이 더 높은 확률로 표시되는 것을 볼 수 있다.
이를 통한 3가지 경우를 가정

(n,k)	(10,10)	(50,48)	(200,186)
$B (k + 2, n - k + 2)$	B(12,2)	B(62,4)	B(202,16)

적색 : (10,10) / 녹색 : (50, 48) / 청색 : (200, 186)
즉 50명 중 48명이 좋아요를 누른 경우가 좋아요를 누를 확률이 대략 94.2%가 됨을 알 수 있다.

Entropy

정보량에서의 Entropy : 정보의 양이 아닌, 랜덤변수에 정의되는 성질

정보의 가치는 당연한 사실일수록 낮을 것이며,

예측이 가능하지 않을수록, 즉 불확실성(Uncertainty)이 높을수록 정보량이 많아짐

정보가 예측가능한 것이라면 정보의 가치가 없게됨

결국, 발생 확률이 작을수록 정보의 가치가 높음

따라서, 정보량은 발생 확률의 반비례적인 함수이어야 됨

출처 : ktword - 정보량

불확실성이 높을수록 정보량이 많아진다
ex. 동전 1개를 던질 때의 entropy
- $-\sum P_ilog_2 P_i$
- $PX(x)={1/2(x=0)1/2(x=1)P_X(x) = \begin{cases} 1/2(x=0)\\ 1/2(x=1) \end{cases}$
- $-\frac{1}{2}log_2\frac{1}{2}-\frac{1}{2}log_2\frac{1}{2}=1$
ex2. 주사위 던지기
- $\times\frac{1}{6}\times\log_26 = 2.585$
- 만약 주사위 1000개를 던진다면 2585bit가 필요
morse code
- 영단어에서 가장 많이 쓰이는 e, t의 부호가 가장 짧다.
- 엔트로피 정의를 보면 $-\sum P_ilog P_i$ 에서 정보의 출현 확률과 엔트로피(정보량)은 반비례함을 알 수 있다.
엔트로피가 작다
= PMF가 편중되어 있는 상태(물리에서의 엔트로피와 비슷하게 해석)

728x90

저작자표시 비영리 변경금지

728x90

1. Random Vector

랜덤벡터 = 랜덤변수의 곱집합(Cartesian Product)
2차원 벡터 (X, Y), 3차원 벡터 (X, Y, Z), ...

2. Joint Distribution

결합 분포 CDF $FX,Y(x,y)≡P(X≤x, Y≤y)F_{X, Y}(x,y)\equiv P(X\leq x,\ Y\leq y)$ $F_{X, Y} (x, y) \equiv P (X \leq x, Y \leq y)$
- X, Y CDF의 교집합 : $P(A∩B)P(A\cap B)$
- Discrete R.V.의 경우 2개 축을 갖는 테이블로 표현
  - Marginal Probability : 1개 축이 갖는 확률
  - ex. $Y=yj)=∑j=13p1jP(X=x_1)=\sum_{j=1}^3P(X=x_1,\ Y=y_j)=\sum_{j=1}^3p_{1j}$
- (X, Y)의 확률계산은 랜덤변수 X, Y의 모든 정보(확률)을 알 때 가능

Joint CDF Property

$−∞)=FX,Y(−∞,y)=FX,Y(x,−∞)=0F_{X, Y}(-\infty,\ -\infty)=F_{X,Y}(-\infty,y)=F_{X,Y}(x,-\infty)=0$
$FX,Y(∞,∞)=1F_{X,Y}(\infty,\infty)=1$
$0≤FX,Y(x,y)≤10\leq F_{X,Y}(x,y)\leq1$
$F_{X,Y}$ 는 x, y의 범위 내에서 감소하지 않음
$y1<Y≤y2)P(x_1<X\leq x_2,\ y_1<Y\leq y_2)$
$=FX,Y(x2,y2)+FX,Y(x1,y1)−FX,Y(x1,y2)−FX,Y(x2,y1)≥0=F_{X, Y}(x_2, y_2)+F_{X,Y}(x_1,y_1)-F_{X,Y}(x_1,y_2)-F_{ X,Y}(x_2,y_1)\geq0$
Marginality : $FX,Y(x,∞)=FX(x), FX,Y(∞,y)=FY(y)F_{X,Y}(x,\infty)=F_X(x),\ F_{X,Y}(\infty,y)=F_Y(y)$ $F_{X, Y} (x, \infty) = F_{X} (x), F_{X, Y} (\infty, y) = F_{Y} (y)$
- 랜덤벡터 CDF $F_{X, Y}(x,y)$ 에서 CDF $F_X(x)$ , $F_Y(y)$ 를 얻을 수 있음
- 하지만 $F_X(x)$ , $F_Y(y)$ 에서 $F_{X, Y}(x,y)$ 계산은 불가
- 예외 : X, Y가 확률적으로 독립된 상태일 때
  $P (A, B) = P (A) P (B)$ , $F_{X,Y}(x,y)=F_X(x)F_Y(y)$

3. Joint Density

결합 밀도 $fX,Y(x,y)≡∂2FX,Y(x,y)∂x∂yf_{X, Y}(x,y)\equiv\frac{\partial^2F_{X,Y}(x,y)}{\partial x\partial y}$ $f_{X, Y} (x, y) \equiv \frac{\partial ^{2} F _{X, Y} ( x , y )}{\partial x \partial y}$
- Discrete R.V.에서는 델타함수의 식으로 표현
- $fX,Y=(x,y)=∑n=1N∑m=1MP(xn,ym)δ(x−xn)δ(y−yn)f_{X,Y}=(x,y)=\sum_{n=1}^N\sum_{m=1}^MP(x_n,y_m)\delta(x-x_n)\delta(y-y_n)$
Properties
1. $∫−∞∞∫−∞∞fX,Y(x,y)dydx=1\int^\infty_{-\infty}\int^\infty_{-\infty}f_{X,Y}(x,y)dydx=1$
2. $FX,Y(x,y)=∫−∞x∫−∞yfX,Y(u,v)dvduF_{X,Y}(x,y)=\int^x_{-\infty}\int^y_{-\infty}f_{X,Y}(u,v)dvdu$
3. $FX(x)=∫−∞x∫−∞yfX,Y(u,v)dvduF_X(x)=\int^x_{-\infty}\int^y_{-\infty}f_{X,Y}(u,v)dvdu$
4. $P(x1<X≤x2,y1<Y≤y2)P(x_1<X\leq x_2,y_1<Y\leq y_2)$
  $=∫x1x2∫y1y2fX,Y(x,y)dydx=\int^{x2}_{x1}\int^{y2}_{y1}f_{X,Y}(x,y)dydx$
5. $fX(x)=∫−∞∞fX,Y(x,y)dyf_X(x)=\int^\infty_{-\infty}f_{X,Y}(x,y)dy$
- $f_{X,Y}(x,y)$ 에서 PDF $f_X(x)$ , $f_Y(y)$ 계산 가능
- 독립사건을 제외하고 $f_X(x)$ , $f_Y(y)$ 에서 $f_{X,Y}(x,y)$ 를 계산할 수는 없음

4. Conditional Distribution

조건부 확률 $P(A∣B)≡P(A,B)P(B)P(A|B)\equiv\frac{P(A,B)}{P(B)}$
Conditional CDF $FX(x∣B)=P[(X≤x)∩B]P(B)F_X(x|B)=\frac{P[(X\leq x)\cap B]}{P(B)}$ $F_{X} (x ∣ B) = \frac{P [ ( X \leq x ) \cap B ]}{P ( B )}$
- 연속적인 랜덤변수 X, Y에 대해 $FX,Y(x∣Y=y)=P[(X≤x)∩[Y=y]]P(Y=y)F_{X,Y}(x|Y=y)=\frac{P[(X\leq x)\cap [Y=y]]}{P(Y=y)}$
- 연속적인 랜덤변수에서 $P (Y = y) = 0$ : 0/0형태로 나타나는 문제
- CDF 계산이 안될 경우 PDF식을 구한 후 적분
Conditional PDF $fX(x∣B)=dFX(x∣B)dxf_X(x|B)=\frac{dF_X(x|B)}{dx}$

Bayes' Theorem

$fY(y∣x)=fY(y)fX(x∣y)fX(x)f_Y(y|x)=\frac{f_Y(y)f_X(x|y)}{f_X(x)}$ $f_{Y} (y ∣ x) = \frac{f _{Y} ( y ) f _{X} ( x ∣ y )}{f _{X} ( x )}$
- $f_X(x)$ : 관찰된 것
- $f_Y(y|x)$ : 사후 확률
- $f_X(x|y)$ : likelihood - 인과관계
- $f_Y(y)$ : 사전 확률 - 실험 전 일반적인 확률
Marginalization : $fX(x)=∫−∞∞fX(x∣y)fY(y)dy=∫−∞∞fX,Y(x,y)dyf_X(x)=\int^\infty_{-\infty}f_X(x|y)f_Y(y)dy=\int^\infty_{-\infty}f_{X,Y}(x,y)dy$

5. Sum of Independent R.V.

독립적인 두 R.V. X,Y에 대해 W=X+Y를 정의
$FW(w)=F(W≤w)=F(X+Y≤w)F_W(w)=F(W\leq w)=F(X+Y\leq w)$
$∫−∞∞∫−∞W−YfX,Y(x,y)dxdy\int^\infty_{-\infty}\int^{W-Y}_{-\infty}f_{X,Y}(x,y)dxdy$
(X, Y가 indep.) $∫−∞∞fY(y)∫−∞W−YfX(x)dxdy\int^\infty_{-\infty}f_Y(y)\int^{W-Y}_{-\infty}f_X(x)dxdy$
$fW(w)=dFW(w)dwf_W(w)=\frac{dF_W(w)}{dw}$
$=∫−∞∞fY(y)fX(w−y)dy=∫−∞∞fX(x)fY(w−x)dx=\int^\infty_{-\infty}f_Y(y)f_X(w-y)dy=\int^\infty_{-\infty}f_X(x)f_Y(w-x)dx$
$f_X(w)*f_Y(w)$ : Convolution

7. Central Limit Theorem

충분히 많은 시행횟수에 대해 확률분포는 Gaussian 형태를 띄게 됨
- $Y_N=X_1+X_2+...+X_N$ 의 N이 무한으로 갈 때 $f_{Y_N}$ 은 gaussian 형태
평균이 $μ\mu$ $μ$ , 분산이 $σ2\sigma^2$ $σ^{2}$ 인 n개의 iid(independent, identical) R.V.의 합을 $S_{n}$ 으로 정의할 때
- 평균 0, 분산 1(unit-variance)인 랜덤변수 $ZN=Sn−nμσnZ_N=\frac{S_n-n\mu}{\sigma\sqrt{n}}$
- n이 무한으로 갈 때 $lim_{n\rarr\infty}P[Z_n\leq z]=\frac{1}{\sqrt{2\pi}}\int^z_{-\infty}exp[-\frac{x^2}{2}]dx$
- $S_n$ 의 평균 $E[S_n]=E[X_1]+E[X_2]+...+E[X_n]=n\mu$
- $S_n$ 의 분산 $E[(Z_n-n\mu)^2]=n\sigma^2$

728x90

저작자표시 비영리 변경금지

728x90

1. Expectation

주어진 랜덤 변수에 대한 평균값
$E[X]=\overline{X}=\begin{cases} \int xf_X(x)dx (continuous\ R.V.)\\ \sum_{i=1}^\infty x_iP(x_i) (discrete\ R.V.) \end{cases}$
- ex. 주사위 던지기
  - $E[X]=\frac{1}{6}(1+2+3+4+5+6)=3.5$
- ex2. 가우시안 분포
  - $f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
  - $E[X]=\int^\infty_{-\infty}\frac{x}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})dx$
  - (치환적분 $t=x-\mu$ ) $=\int^\infty_{-\infty}\frac{t+\mu}{\sqrt{2\pi\sigma^2}}exp(-\frac{t^2}{2\sigma^2})dt$
  - $(\because\int^\infty_{-\infty}t\ exp(-t^2)dt=0)\ \mu\int^\infty_{-\infty}\frac{exp(-\frac{t^2}{2\sigma^2})}{\sqrt{2\pi\sigma^2}}dt$ - 평균 0, 분산 $\sigma^2$ 인 가우시안 분포
  - $\therefore E[X]=\mu$
랜덤변수 X, Y / 상수값 c에 대해
- $E[X+Y]=E[X]+E[Y]$
- $E[cX]=cE[X]$
조건부 기댓값
- $E[X|B]=\int^\infty_{-\infty}xf_X(x|B)dx$

Moment
- 확률분포 상의 통계량에 대한 일반화
- $m_n=E[X^n]=\int^\infty_{-\infty}x^nf_X(x)dx$
- $m_1=E[X]$ : 평균값
- 분산 $E[(X-m_1)^2]$
  $=E[X^2-2m_1X+m_1^2] = E[X^2]-(E[X])^2$
  $\therefore m_2=E[X^2]=Var(X)+(E[X])^2$
Central Moment
- X의 평균에 대한 moment
- $\mu_n=E[(X-\overline{X})^n]=\int^\infty_{-\infty}(x-\overline{X})f_X(x)dx$
- $\mu_0=1, \mu_1=0$
- $\mu_2=E[(X-\overline{X})^2]$ : 분산
- 왜도(skewness) : $\mu_3/\sigma_3^3$
- 첨도(kurtosis) : $(mu_4/\sigma_4^4) - 3$

2. Inequality

chebychev's Inequality
- $P(|X-\overline{X}|\geq\epsilon)\leq\frac{\sigma_X^2}{\epsilon^2}(\epsilon\geq0)$
- 평균 주변의 일정 범위 ( $\epsilon$ ) 바깥에 위치할 확률은 표준편차에 비례
Markov's Inequality
- $a>0, X\geq0$ 일 때
- $P(X\geq a)\leq\frac{E[X]]}{a}$

3. Characteristic Function

$\Phi_X(w)\equiv E[e^{jwX}]=\int^\infty_{-\infty}f_X(x)e^{jwx}dx$
(inverse) $f_X(x)=\frac{1}{2\pi}\int^\infty_{-\infty}\Phi_X(w)e^{-jwx}dw$
moment $m_n=(-j)^n\frac{d^n\Phi_X(w)}{dw^n}|_{w=0}$
$|\Phi_X(w)|\leq\Phi_X(0)=1$

Moment Generating Function

$M_X(v)\equiv E[e^{vX}]=\int^\infty_{-\infty}f_X(x)e^{vx}dx$
moment $m_n=\frac{d^nM_X(v)}{dv^n}|_{v=0}$
X가 평균 $\mu$ , 분산 $\sigma^2$ 을 갖는 정규분포일 때
$M_X(v)=e^{\mu v+\frac{1}{2}\sigma^2v^2}$
Chernoff Inequality : $P(X\geq a)\leq e^{-va}M_X(v)$

4. Transformations of R.V.

Monotonic Transformation of R.V.
- $Y=T(X)$ 는 랜덤변수
- $f_X\not ={0}$ 인 경우 T는 연속적이며 미분 가능
- T는 단조함수(monotonic) - 계속해서 증가 or 감소
- Y의 pdf $f_Y(y)=f_X(x)|\frac{dx}{dy}|=\frac{f_X(x)}{T'(x)}$ $f_{Y} (y) = f_{X} (x) ∣ \frac{d x}{d y} ∣ = \frac{f _{X} ( x )}{T ^{'} ( x )}$
  - ex. x : uniform dist, y : $\sqrt{x}$ $x$ 일 때
    - $f_Y(y)=f_X(x)/|\frac{dy}{dx}|=2\sqrt{x}f_X(x)=2yf_X(x)=2y$
- 랜덤변수 X가 가우시안 분포, Y=aX + b의 형태가 되면 랜덤변수 Y 역시 가우시안 분포이다.
  - 평균 = $a\mu_x + b$
  - 분산 $\sigma_Y^2=a^2\sigma_X^2$
Non-Monotonic Transformation of R.V.
- 랜덤변수 Y의 함수 T가 monotonic하지 않은 경우
- ex. $f_X(x) = (x-x_1)(x-x_2)(x-x_3)$ $f_{X} (x) = (x - x_{1}) (x - x_{2}) (x - x_{3})$
  - $F_Y(y_0) = P(Y\leq y_0) = P(X\leq x_1) + P(x_2\leq X\leq x_3)\\ = F_X(x_1)+[F_X(x_3)-F_X(x_2)]$
  - $f_Y(y)=f_X(x_1)|\frac{dx_1}{dy}|+f_X(x_1)|\frac{dx_1}{dy}|+[f_X(x_3)|\frac{dx_3}{dy}|-f_X(x_2)|\frac{dx_2}{dy}|]$

728x90

저작자표시 비영리 변경금지

728x90

0. Notation

랜덤변수는 대문자로 표기 ex) W, X, Y, Z, ....
랜덤 변수의 값은 소문자로 표기 ex) w, x, y, z...

1. Definition

랜덤 변수 : sample space S의 원소를 실수평면에 연결할 수 있도록 하는 함수
- ex. 동전 던지기 - head를 1로, tail을 2로 정의한다.
- P(X = a) = P( {s | X(s) = a} )
랜덤변수의 조건
- x가 실수라면, $\{ s:X(s \leq x)\}$ 는 이벤트여야 한다.
- 즉 $P(X\leq x) = P(\{s\in S : X(s)\leq x\})$
- $P(X=-\infty) = P(X=\infty) = 0$ : R.V는 적정 범위 내에 있다.
이산/연속 랜덤변수
- 이산 랜덤변수 : PMF(확률질량함수)
- 연속 랜덤변수 : PDF(확률밀도함수)
랜덤 변수의 정의
- Sample Space S = {1, 2, 3, 4} 가 있다고 생각한다.
- 랜덤 변수 X는 X=X(s)= $s^3$ 으로 정의되어 있다.
- S의 원소에 대한 확률을 다음과 같이 정의한다.
  - P({1}) = 4/24, P({2}) = 3/24, P({3}) = 7/24, P({4}) = 10/24
- 이 때 랜덤변수 값의 확률은 다음과 같다.
  - P({X = 1}) = 4/24, P({X = 8}) = 3/24, P({X = 27}) = 7/24, P({X = 64}) = 10/24
  - X = $s^3$ = 8 이므로 s = 2, 즉 Sample space의 원소 {2}의 확률 3/24가 된다.

2. Distribution Function

CDF(Cumulative probability Distribution Fuction) : 누적확률분포
- $F_X(x) = P(X\leq x)$
- $F_X(-\infty) = 0, F_X(\infty) = 1$
- $F_X(x)$ 는 0과 1 사이, x는 실수
- $F_X(x)$ 는 증가하는 함수이다
- $P(x_1<X\leqq x_2) = F_X(x_2) - F_X(x_1)$
- $F_X(x^+) = F_X(x)$ : right continuous
Discrete R.V.에 대해
- $F_X(x) = \sum_{i=1}^N P(x_i)u(x-x_i);$
- $P(x_i) = P(X=x_i)$ : 확률질량함수(PMF)

3. Density Function

PDF(probability Density Function) $f_X(x)$ : CDF의 미분형
$f_X(x) = \frac{dF_X(x)}{dx}$
그냥 밀도함수라고도 부름
PDF의 성질
- $f_X(x)>0$ 일 때 x는 실수
- $\int^\infty_{-\infty}f_X(x)dx = 1$
- $F_X(x)=\int^x_{-\infty}f_X(x)dx$ : CDF는 PDF의 적분!
- $P(x_1<X\leqq x_2) = \int^{x_2}_{x_1}f_X(x)dx$

4. Gaussian Distribution

노이즈 모델링 등에 사용 : 자연계 현상들은 미세 요소들의 중첩
정상 분포라고도 함(normal distribution)
Gaussian PDF $f_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
$\mu$ : 평균, $\sigma^2$ : 분산 ( $\sigma$ : 표준편차 )
CDF : $F_X(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\int^x_{-\infty}f_X(t)dt$ $F_{X} (x) = \frac{1}{2 π σ ^{2}} \int_{- \infty}^{x} f_{X} (t) d t$
- special case : $a_X=0, \sigma_X=1$ 인 경우
  $F(x)=\frac{1}{\sqrt{2\pi}}\int^x_{-\infty}exp(-\xi^2/2)d\xi$
- F(x)는 x에만 영향을 받는다
- Normalization
  - $u=(\xi -a_X)/\Sigma_X$
  - $F_X(x) = F(\frac{x-a_X}{\sigma_X})$
  - ex. 평균 3, 표준편차 2를 갖는 가우시안 랜덤변수에 대해 event $\{X\leqq5.5\}$ ${X ≦ 5.5}$ 의 확률을 구하라.
    - $\frac{x-a_X}{\sigma_X}=\frac{5.5-3}{2}$ = 1.25
    - $P\{X\leqq5.5\} = F_X(5.5) = F(1.25) = 0.8944$

Standard Cumulative normal table

5. Distribution

binomial distribution(이항분포)

binomial density function
- $f_X(x) = \sum^N_{k=0}\binom{N}{k}p^k(1-p)^{N-k}\delta(x-k)$
binomial distribution function
- $F_X(x) = \sum^N_{k=0}\binom{N}{k}p^k(1-p)^{N-k}u(x-k)$
poisson distribution
- 이산 랜덤변수에 대해 회수 N을 무한으로 늘렸을 때의 분포
- 평균 확률을 $\lambda$ , 구간을 T로 정의
- $P(X=k) = \lim_{x\to\infty}\binom{N}{k}(\frac{\lambda T}{N})^k(1-\frac{\lambda T}{N})^{N-k}$

Uniform Distribution

PDF $f_X(x)=\begin{cases} \frac{1}{b-a}\ (a\leq x\leq b)\\ 0\ (other) \end{cases}$
CDF $F_X(x)=\begin{cases} 0\ (x<a)\\ \frac{x-a}{b-a}\ (a\leq x\leq b)\\ 1\ (x\geq b) \end{cases}$

Exponential Distribution

PDF $f_X(x)=\begin{cases} \lambda e^{-\lambda x}\ (x \geq 0)\\ 0\ (X < 0) \end{cases}$
CDF $F_X(x)=\begin{cases} 1-e^{-\lambda x}\ (x \geq 0)\\ 0\ (X < 0) \end{cases}$

Rayleigh Distribution

x, y축 성분이 각각 가우시안 분포일 때 확률분포
PDF $f_X(x)=\begin{cases} \frac{2}{b}(x-a)e^{-(x-a)^2/b}\ (x \geq a)\\ 0\ (X < a) \end{cases}$
CDF $F_X(x)=\begin{cases} 1-e^{-(x-a)^2/b}\ (x \geq a)\\ 0\ (X < a) \end{cases}$

Conditional Distribution

CDF $F_X(x|B) = \frac{P(\{X\leq x\}\cap B)}{P(B)} = P(X\leq x|B)$
- Property
1. $F_X(-\infty|B)=0$ (공집합)
2. $F_X(\infty|B)=1$ (sample space)
3. $x_1\leq x_2\ then\ F_X(x_1|B)\leq F_X(x_2|B)$
4. $P({x_1<X\leq x_2}|B) = F_X(x_2|B)-F_X(x_1|B)$
5. $F_X(x^+|B) = F_X(x|B)$
PDF $f_x(X|B) = \frac{dF_X(x|B)}{dx}$
- property
1. $f_X(x|B) \geq 0$
2. $\int^\infty_{-\infty}f_X(x|B)dx=1$
3. $F_X(x|B)=\int^x_{-\infty}f_X(t|B)dt$
4. $P({x_1<X\leq x_2}|B)=\int^{x_2}_{x_1}f_X(t|B)dt$
Case 1. $B=\{X\leq b\}$
- $F_X(x|B) = \frac{P({\{X\leq x\} }\cap \{X\leq b\})}{P(\{X\leq b\})}$
- $F_X(x|B) = \begin{cases} \frac{F_X(x)}{F_X(b)}(x<b)\\ 1(x\geq b) \end{cases}$
- $f_X(x|B) = \begin{cases} \frac{f_X(x)}{F_X(b)}(x<b)\\ 1(x\geq b) \end{cases}$
Case 2. $B=\{X=a\}$
- $F_X(x|B) = \begin{cases} 0(x<a)\\ 1(x\geq a) \end{cases}$

728x90

저작자표시 비영리 변경금지

728x90

1. Set Definitions

set(집합) : 원소의 모음
- 유한 vs 무한 (셀 수 있는가 vs 없는가)
- 셀 수 있는 무한집합 : 정수, 자연수, 유리수, 짝수, 홀수, ...
- 셀 수 없는 무한집합 : 실수집합

2. Mathematical Model of Probability

Sample space : 모든 가능한 결과의 집합
Event : Sample space의 부분집합 (무한집합에서 효과적으로 사용)
Probability : Event의 존재 확률
- ex) 동전 던지기
- Sample Space $U = \{앞, 뒤\}$
- Event $A = \{\phi, \{앞\},\{뒤\},\{앞, 뒤\}$ ( $\{앞, 뒤\} : 앞면 or 뒷면$ )
- Probability : $\phi = 0\ /\ {앞}={뒤}=\frac{1}{2}\ /\ {앞, 뒤} = 1$ (합집합 개념)
Properties of probability
1. sample space의 모든 event에서 $0\leq P(A)\leq 1$
2. subset이 Sample Space와 동일할 때 $P(S)=1$
3. $P(\cup^N_{n=1}A_n)=\sum^N_{n=1}P(A_n)$ (조건 : $A_m\cap A_n=\phi$ )
확률(P)이 0이라도 이벤트(A)는 존재할 수 있다.
- [0, 1] 범위의 실수 중 자연수 1을 뽑는다고 가정
- 확률은 $1/\infty$ 이므로 0이지만, 1을 뽑는 사건은 존재
실제 실험에서의 수학적 모델
1. sample space의 할당
2. event의 정의
3. 공리를 만족하도록 확률 할당
- 현실에서의 확률 = 상대적 빈도
- 실험을 통해 예측되는 확률과 진짜(real true) 확률의 구분이 필요

3. Joint and Conditional Probability

Joint(교집합) : $P(A\cap B = P(A)+P(B)-P(A\cup B)$
Conditional(조건부) : $P(A|B):=\frac{P(A\cap B)}{P(B)}$ $P (A ∣ B) : = \frac{P ( A \cap B )}{P ( B )}$
- A, B집합이 exclusive한 경우, $P(A|B)=0$

Bayes Theorem

P(A) : 관찰된 것
$P(B|A)$ : 사후 확률
$P(A|B)$ : likelihood - 인과관계
P(B) : 사전 확률 - 실험 전 일반적인 확률

ex) binary communication system

$P(B_1|A_1)$ : 결과값 $A_1$ 이 $B_1$ 에서 온 값일 확률
$P(A_1)=P(A_1|B_1)P(B_1) + P(A_1|B_2)P(B_2)$
$= 0.9\times0.6+0.1\times0.4=0.58$
$\therefore P(B_1|A_1)=P(A_1|B_1)P(B_1)/P(A_1)=0.9\times0.6/0.58\simeq0.931$

4. Independent Events

두 사건이 통계적으로 독립적이라는 것은
$P(A|B) = P(A),\ P(B|A) = P(B)$ 이고 $P(A\cup B)=P(A)P(B)$ 이다.
또한 두 사건의 교집합은 공집합이 아니어야 한다.
Multiple Events
- N개의 사건이 있을 때 독립이기 위해 아래 조건을 충족해야 한다.

5. Combined Experiment

2개의 sample space가 중첩된 경우
$S = S_1 \times S_2$
즉 sample space $S = \{s_1, s_2)|s_1\in A\ and\ s_2\in B\}$
$P(A\times B) = P(A)P(B)$

Permutation
- 순열 $_nP_r=\frac{n!}{(n-r)!}$
- 중복순열 $_n\Pi_r=n^r$
Combination
- 조합 $_nC_r=\binom{n}{r}=\frac{_nP_r}{_rP_r}=\frac{n!}{(n-r)!r!}$
- 중복조합 $_nH_r =\binom{n+r-1}{n-1}=\binom{n+r-1}{r}$

Bernoulli Trials

2개의 사건 $A : P(A)=p,\ \overline{A} : P(\overline{A})=1-p$ 일 때
N번의 실행을 한다면
- 1회차의 발생 확률 : $p^k(1-p)^{N-k}$
- A가 k번 나타나는 시도 : $\binom{N}{k}$
- P(A가 k번 나타날 확률) = $\binom{N}{k}p^k(1-p)^{N-k}$
많은 회수 N번 시도하였을 때의 확률 : De Moivre-Laplace approximation
- $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{1}{\sqrt{2\pi Np(1-p)}}exp(-\frac{(k-Np)^2}{2Np(1-p)})$
- $\mu$ : 평균, $\sigma^2$ : 분산일 때 가우시안 분포 $\frac{1}{\sigma\sqrt{2\pi}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$
- 다회 반복에 대해서 베르누이 분포 확률은 가우시안 분포와 유사한 값을 띈다
- 확률 $\mu = Np$ , 분산 $\sigma^2 = Np(1-p)$
Poisson approx. : De Moivre-Laplace Approx. 에서 충분히 작은 p값에 대해
- $\binom{N}{k}p^k(1-p)^{N-k}\approx\frac{(Np)^{k_e-N_p}}{k!}$

728x90

저작자표시 비영리 변경금지

전자공학[마감]/확률 및 랜덤변수

1. Expected Value of R.V function

결합 Moment

결합 Central Moment

2. Joint Characteristic Function

3. Joint Gaussian Random Variable

4. Transformation of Multiple Random Variables

5. Estimation

Estimation of Mean

Estimation of Variance

Law of large numbers

Entropy

Rating Problem

Entropy

1. Random Vector

2. Joint Distribution

Joint CDF Property

3. Joint Density

4. Conditional Distribution

Bayes' Theorem

5. Sum of Independent R.V.

7. Central Limit Theorem

1. Expectation

2. Inequality

3. Characteristic Function

Moment Generating Function

4. Transformations of R.V.

0. Notation

1. Definition

2. Distribution Function

3. Density Function

4. Gaussian Distribution

5. Distribution

binomial distribution(이항분포)

Uniform Distribution

Exponential Distribution

Rayleigh Distribution

Conditional Distribution

1. Set Definitions

2. Mathematical Model of Probability

3. Joint and Conditional Probability

Bayes Theorem

4. Independent Events

5. Combined Experiment

Bernoulli Trials

티스토리툴바