[수치해석] 11. Norm

• norm : data 간의 거리 / 판정의 기준

Vector norm

• $\R^n$은 n차원 공간 내의 함수$\{(x_1, x_2, ..., x_n|x \in R\}$를 의미
• vector norm의 성질
  • $||\bold{x}||\geq0\ for\ all\ x\in\R^n$
  • x가 영벡터일 때만 $||\bold{x}||=0$
  • 모든 실수 $\alpha$에 대해 $||\alpha\bold{x}||=|\alpha|||\bold{x}||$
  • triangle inequality : $||\bold{x+y}||\leq||\bold{x}||+||\bold{y}||$
• Cauchy-Bunyakovsky-Schwarz Inequality
  • 벡터 x, y에 대해서
  • $x^ty=\sum^n_{i=1}x_iy_i\leq\{\sum x_i^2\}^{1/2}\{\sum y_i^2\}^{1/2}=||x||_2||y||_2$

---

• $l_2$ norm과 $l_\infty$ norm
  • 전자는 square norm, 후자는 max norm이라고 칭함
  • 선형대수에서 가장 보편적으로 사용되는 norm
  • $l_2$ norm : $||\bold{x}||_2=\{\sum_{i=1}^nx^2_i\}^{1/2}$
    

    

    • 2차원 실수 공간의 $l_2$ < 1 norm
  • $l_\infty$ norm : $||\bold{x}||_\infty=max|x_i|$
    

    

    • 2차원 실수 공간의 $l_\infty$ < 1 norm
• ex. 벡터 x = (-1, 1, -2)인 경우
  • $l_2$ norm = $\sqrt{6}$
  • $l_\infty$ norm = 2

---

• Cauchy-Bunyakovsky-Schwarz Inequality의 증명
  • 임의 벡터 x, y가 영벡터가 아닐 때
  • $0\leq||x-\lambda y||_2^2=\sum(x_i-\lambda y_i)^2$
  • 즉 $2\lambda\sum x_iy_i\leq\sum x_i^2 + \sum y_i^2=||x||_2^2+\lambda^2||y||_2^2$
  • $||x||_2>0,\ ||y||_2>0$이므로 $\lambda=||x||_2/||y||_2$로 가정하면 $2\sum x_iy_i\leq2||x||_2||y||_2$

---

• norm 간의 비교
  • $||x||_\infty\leq||x||_2\leq\sqrt{n}||x||_\infty$ ( n : 차원 )
  • 증명 : $||x||_\infty=|x_j|^2\leq\sum x_i^2=||x||_2^2 \\ ||x||_2^2\leq nx_j^2=n||x||_\infty^2$

Matrix norm

• vector 계산에서 행렬은 변환을 담당(X 공간에서 Y공간으로의 이동)
  • function : 벡터 or 실수 > 실수
  • operator : 벡터 > 벡터
• Matrix norm은 vector norm과 유사한 특성을 보유
  • $||\bold{A}||\geq0$
  • A가 영행렬일 때만 $||\bold{A}||=0$
  • 모든 실수 $\alpha$에 대해 $||\alpha\bold{A}||=|\alpha|||\bold{A}||$
  • triangle inequality : $||\bold{A+B}||\leq||\bold{A}||+||\bold{B}||$
  • $||\bold{AB}||\leq||\bold{A}||||\bold{B}||$

---

• Matrix Norm : $||A||=max_{||x||=1}||Ax||$
• Natural(Mmatrix) Norm
  • 영벡터가 아닌 임의 벡터 z가 있을 때, unit vector $x=z/||z||$로 정의
  • 즉 $||A||=max_{z\not ={0}}\frac{||Az||}{||z||}=max_{||x||=1}||Ax||$
• Matrix norm은 vector norm에 종속되어 결정

---

• A가 n x n크기의 행렬일 때, $||A||_\infty = max\sum|a_{ij}|$
  • $||A||$는 행렬 A와 unit vector 사이의 곱이므로, 무한 차원의 norm은 행의 절댓값 합 중 최댓값으로 나타나게 된다.