regularization

• Overfitting : regression 식의 feature 개수가 너무 많아지면, 학습 데이터에 대한 정확도는 높아지지만 새로운 데이터에 대한 정확도는 오히려 낮아지는 현상
  • feature 수를 줄이거나, regularization을 통해 완화
  • feature 수를 줄일 경우 보존할 feature를 선택해야 하는 문제가 존재 ( model selection algorithm )

• regularization
  • 모든 feature의 영향을 보존
  • parameter를 최소화하여 각 feature의 영향을 경감
• cost function $J(\theta)=\frac{1}{2m}\sum(H_\theta(x^i)-y^i)^2+\frac{\lambda}{2m}\sum\theta_i^2$
  • $\lambda$ : regularization parameter
  • $\lambda$가 커질수록 underfitting, 작아질수록 overfitting
  • 이처럼 학습이 아닌 실험적으로 찾아야 하는 값을 hyper-parameter라고 함
• normal eq. : $\theta = (X^TX+\lambda L)^{-1}X^Ty$

Model Evaluation

• Training / Test set : 데이터 중 일부는 학습에, 일부는 검증에 사용
• holdout validation : 데이터를 training / validation / test로 분리하여 학습
  • validation 데이터를 통해 모델을 최적화
  • 해당 모델을 test 데이터를 통해 학습 정도를 판별
• Bias vs Variance
  • Variance가 높을수록 모델의 degree, complexity가 높아짐
  • Bias가 높을수록 제대로 학습되지 않은 상태
• 오차에 대해
  • 모델 degree가 높을수록 train set의 cost는 감소하나, valid set은 감소하다가 일정 이상부터 오히려 증가
  • 큰 train / valid cost = Bias가 높다, underfitting
  • 큰 valid cost / 작은 train cost = Variance가 높다, overfitting
• 정규화 parameter $\lambda$에 대해
  • $\lambda$가 커질수록 train cost는 증가하고, valid 코스트는 감소하다 증가한다
  • valid cost가 크고, train cost가 작으면 variance가 큰 상태
  • train/valid cost가 모두 크면 bias가 큰 상태

• K-fold cross validation
  • 데이터를 K개로 분할
  • 이중 1개를 validation으로 선정하고, 나머지를 training set으로 선정
  • 모든 subset에 대해 돌아가며 학습 : subset 크기가 클 수록 train cost는 증가하고, valid cost는 감소
• learning curve
  • Bias가 높은 경우 : 일정 error 이하로는 학습되지 않음
  • 최적화된 경우 : 낮은 error로 학습되나 충분한 반복 필요
  • overfitting된 경우 : 최적 반복 지점에서 학습을 중단하지 않으면 valid cost가 역으로 높아질 수 있음

• Overfitting의 대처법
  • training set의 크기를 증가
  • feature 개수를 감소
  • regularization parameter를 증가
  • iteration 감소
• Underfitting 대처법
  • feature 개수 증가, 모델 degree 증가
  • regularization parameter 감소
  • iteration 증가

• norm : data 간의 거리 / 판정의 기준

Vector norm

• $\R^n$은 n차원 공간 내의 함수$\{(x_1, x_2, ..., x_n|x \in R\}$를 의미
• vector norm의 성질
  • $||\bold{x}||\geq0\ for\ all\ x\in\R^n$
  • x가 영벡터일 때만 $||\bold{x}||=0$
  • 모든 실수 $\alpha$에 대해 $||\alpha\bold{x}||=|\alpha|||\bold{x}||$
  • triangle inequality : $||\bold{x+y}||\leq||\bold{x}||+||\bold{y}||$
• Cauchy-Bunyakovsky-Schwarz Inequality
  • 벡터 x, y에 대해서
  • $x^ty=\sum^n_{i=1}x_iy_i\leq\{\sum x_i^2\}^{1/2}\{\sum y_i^2\}^{1/2}=||x||_2||y||_2$

• $l_2$ norm과 $l_\infty$ norm
  • 전자는 square norm, 후자는 max norm이라고 칭함
  • 선형대수에서 가장 보편적으로 사용되는 norm
  • $l_2$ norm : $||\bold{x}||_2=\{\sum_{i=1}^nx^2_i\}^{1/2}$
    

    

    • 2차원 실수 공간의 $l_2$ < 1 norm
  • $l_\infty$ norm : $||\bold{x}||_\infty=max|x_i|$
    

    

    • 2차원 실수 공간의 $l_\infty$ < 1 norm
• ex. 벡터 x = (-1, 1, -2)인 경우
  • $l_2$ norm = $\sqrt{6}$
  • $l_\infty$ norm = 2

• Cauchy-Bunyakovsky-Schwarz Inequality의 증명
  • 임의 벡터 x, y가 영벡터가 아닐 때
  • $0\leq||x-\lambda y||_2^2=\sum(x_i-\lambda y_i)^2$
  • 즉 $2\lambda\sum x_iy_i\leq\sum x_i^2 + \sum y_i^2=||x||_2^2+\lambda^2||y||_2^2$
  • $||x||_2>0,\ ||y||_2>0$이므로 $\lambda=||x||_2/||y||_2$로 가정하면 $2\sum x_iy_i\leq2||x||_2||y||_2$

• norm 간의 비교
  • $||x||_\infty\leq||x||_2\leq\sqrt{n}||x||_\infty$ ( n : 차원 )
  • 증명 : $||x||_\infty=|x_j|^2\leq\sum x_i^2=||x||_2^2 \\ ||x||_2^2\leq nx_j^2=n||x||_\infty^2$

Matrix norm

• vector 계산에서 행렬은 변환을 담당(X 공간에서 Y공간으로의 이동)
  • function : 벡터 or 실수 > 실수
  • operator : 벡터 > 벡터
• Matrix norm은 vector norm과 유사한 특성을 보유
  • $||\bold{A}||\geq0$
  • A가 영행렬일 때만 $||\bold{A}||=0$
  • 모든 실수 $\alpha$에 대해 $||\alpha\bold{A}||=|\alpha|||\bold{A}||$
  • triangle inequality : $||\bold{A+B}||\leq||\bold{A}||+||\bold{B}||$
  • $||\bold{AB}||\leq||\bold{A}||||\bold{B}||$

• Matrix Norm : $||A||=max_{||x||=1}||Ax||$
• Natural(Mmatrix) Norm
  • 영벡터가 아닌 임의 벡터 z가 있을 때, unit vector $x=z/||z||$로 정의
  • 즉 $||A||=max_{z\not ={0}}\frac{||Az||}{||z||}=max_{||x||=1}||Ax||$
• Matrix norm은 vector norm에 종속되어 결정

• A가 n x n크기의 행렬일 때, $||A||_\infty = max\sum|a_{ij}|$
  • $||A||$는 행렬 A와 unit vector 사이의 곱이므로, 무한 차원의 norm은 행의 절댓값 합 중 최댓값으로 나타나게 된다.

www.bookjournalism.com/news/24460

 양품의 가죽 공장을 얻기 위한 에르메스의 가죽 농장은 어떻게 보면 오히려 야생의 악어들이 무분별하게 잡혀 사라지는 일보다는 나은 결과가 아닌가 싶다. 심지어 고부가가치 명품 산업이다 보니 이 농장이 지역에 기여하는 수익이 상당하다는 뉴스를 보면, 단순히 환경 보호만을 위해 농장을 철폐하기는 무리일 것으로 보인다.
 한편 악어농장협회의 주장도 조금 애매한 부분이 있는데, 허가를 받고 알을 수확한다거나, 클래식 음악을 틀어 준다는 부분이 그다지 악어의 '동물권'에 얼마나 영향을 줄 지는 잘 모르겠다.

www.bookjournalism.com/news/24495

개인의 빚도 문제지만, 국제 단위의 부채가 가져올 후폭풍이 굉장히 두렵다. 여러 국가가 서로 채무 관계로 얽혀있는 만큼, 한 국가의 디폴트로 인한 손실은 다른 국가에도 적지 않은 충격으로 다가올텐데... 이제는 이 사태가 끝나도 얼마나 지나야 회복될 수 있을지에 더 촉각을 맞춰야 할 것 같다.

LU decomposition

• $2x_1+x_2=1,\ x_1+2x_2=3$의 방정식 가정
  • $\begin{bmatrix} 2\ 1:1\\ 1\ 2:3 \end{bmatrix}$ : augmented matrix
  • x계수 행렬을 system matrix라고 함
• Gauss Elimination : 계수 소거
  • $\begin{bmatrix} 2\ 1:1\\ 0\ \frac{3}{2}:\frac{5}{2} \end{bmatrix}$
  • 2열에 1열 / 2한 것을 빼서 계산
  • $x_2=5/3$, $x_1=-1/3$
• $Ax=b$를 Gaussian Elimination을 통해 $Ux=b'$으로 변환
  • $U=\begin{bmatrix} a\ b\\ 0\ d \end{bmatrix}$꼴의 행렬

• $Ax=b_1,\ Ax=b_2,\ Ax=b_3, ...$의 행렬식을 푼다고 하면 각 행렬마다 Gauss Elimination이 적용되어야 함

  • Lower - Triangle Matrix L : $L=\begin{bmatrix} a\ 0\\ c\ d \end{bmatrix}$
  • Gauss-Elimitation 연산을 기억하는 효과
  • $A=LU$

• LU Decomposition

  • $A = \begin{bmatrix} 2\ 1\\ 1\ 2 \end{bmatrix} = LU$
    • $U = \begin{bmatrix} 2\ 1\\ 0\ \frac{3}{2} \end{bmatrix}$
    • $L = \begin{bmatrix} 1\ 0\\ k\ 1 \end{bmatrix}$
      • k = 상수항 제거를 위해 Gauss Elimination에 적용한 계수
  • $Ax=b\rarr LUx=b$

• Gauss Elimitnation은 계수 행렬 A에서 항 하나가 제거된 Lower Matrix L로 변환하는 과정을 거침

• LU-Decomposition은 계수행렬 A를 L과 U의 곱으로 변환

  • 우항이 바뀌어도 LU식은 변화 없음

• m x n 행렬의 LU decomposition
  • i행 j열 위치의 값을 $a_ji$라고 할 때,
  • j번째 행의 원소 $E_j$의 값을 $E_j-m_{j1}E_1$로 바꿔준다 ($m_j1=\frac{a_j1}{a_11}$)
  • j번째 행의 원소 $E_j$의 값을 $E_j-m_{j2}E_1$로 바꿔준다
  • 1열의 모든 행에 대해 위 계산을 반복한 결과 행렬이 U행렬
  • 위 식에서 계산한 계수 m으로 이루어진 행렬이 L행렬이다.
• Permutation
  • Gauss Elimination 연산이 불가능한 경우 계수 행렬의 열을 맞바꿈
  • P = (a, b) : 바꿀 두 행 a, b를 지정
    • ex. P = (1, 2) (2, 4)의 경우, 1 - 2행을 바꾼 후 2 - 4행을 바꿈
    • $P \begin{bmatrix} 0\ 1\ 0\ 0\\ 0\ 0\ 0\ 1\\ 0\ 0\ 1\ 0\\ 1\ 0\ 0\ 0 \end{bmatrix}$
  • PA = LU의 관계식을 만족
  • $A = P^{-1}LU = P^tLU$

Positive definitive

• n x n 행렬 A가 있을 때,
  • $|a_{ii}|\geq\sum^n_{j=1, j\not ={i}}|a_{ij}|$이면 diagonally dominant 하다고 표현
  • $|a_{ii}|>\sum^n_{j=1, j\not ={i}}|a_{ij}|$ 이면 strictly digonally dominant
• $det(A)\not ={0}\lrArr A^{-1}\ exist$
  • determinant가 0이 아님을 증명하는 계산 과정은 복잡
  • 그 대신 (strictly) diagnally dominant이면 $A^{-1}$이 존재하다는 것을 이용
  • $diag.\ dominant A\larr A^{-1}\ exist$
  • $strictly\ diag.\ dominant A\lrarr A^{-1}\ exist$ : non-singluar

• 0이 아닌 벡터 x에 대해
  • $x^tAx>0$이면 A는 positive definitive하다고 정의
• positive definitive할 경우
  • 역행렬이 존재
  • 모든 대각 성분은 양수
  • 행렬 내 임의 값의 최대값보다 대각 성분의 최대값이 더 큼
  • i행 j열에서 $(a_{ij})^2<a_{ii}a_{jj}$

• n x n 행렬 내에는 n개의 leading submatrix가 존재
  • leading submetrix : 행렬의 1,1 원소를 공통으로 갖는 1 x 1, ..., n x n 크기의 대칭행렬
  • 대칭행렬 A의 leading submatrix가 모두 행렬식이 양수인 경우, A는 positive definitive

www.bookjournalism.com/news/24296

노르웨이 패러독스 이야기를 이 기사로 처음 접하게 되었다. 친환경 국가를 표방하며 각종 정책을 내놓고서는 정작 원유 탐사 자체는 계속해서 확장하는 모습은 아이러니라고밖에 할 말이 없는듯...

www.bookjournalism.com/news/24305

한 서비스의 특색이 인기를 끌면 다른 서비스도 카피캣을 출시하는 현상은 경우에 따라 비판받을지언정, 이상한 일이라고 생각하지는 않는다. 다만 카피캣 서비스를 제공하는 기업들이 오히려 자신들의 서비스보다 새 기능에 더 집중하다가 양 쪽 모두에 손해를 보는 일이 있을 수도 있을 것 같다. 오히려 강점 하나의 단순함에 이끌려 서비스를 이용하던 사용자들을 잊지 않았으면 좋겠다.

www.bookjournalism.com/news/24180

 습지와 우림이 지금의 환경을 유지하는 데 기여하는 몫을 모르는 사람이 있을까 싶다. 하지만 계속되는 개발의 여파로 원했던, 원하지 않았건 환경 파괴의 여파는 점점 가속하는 모습을 보이고 있다.
 아마존의 개발로 인한 우림 파괴와 남미 판타나우의 개발은 전자는 의도적 개발이고 후자는 화재로 인한 유실이라는 차이는 있지만, 비판점은 크게 다르지 않은 것으로 보인다. 선진국 측에서는 귀중한 환경 자산이 유실되고 있음에도 소극적 대응을 하는 각국 정부를 비판하고 있지만, 그들에게도 항변할 이유가 충분히 있다고 생각한다. 다른 국가들이 지속 가능한 성장으로 이끌 수 있는 충분한 요건을 만들어주지 않는 한 지금과 같은 논란이 쉽게 해결되기는 힘들 것으로 보인다.

www.bookjournalism.com/news/24194

시대상을 반영하는 것처럼, 2020년 부상한 10가지 기술에는 주로 생명공학과 환경 관련 기술들이 특히나 눈에 띄는 것으로 보인다. 개인적으로는 가상 환자와 관련된 기술이 가능한 빨리 개발되었으면 한다. 현재처럼 실제 사람을 대상으로 한 임상을 완전히 대체하기까지는 앞으로도 상당한 시간이 걸릴지 모르지만, 그 전의 임상 과정에 필요한 연구 자원 및 시간 효율을 엄청나게 늘려줄 것을 생각하니 매우 큰 기대감을 안겨주는 주제라고 생각한다.

Euler's method

• 가장 단순한 미분법
• Initial value problem
  • $\frac{dy}{dt}=f(t,y),\ a\leq t\leq b, y(a)=\alpha$
  • [a,b] 범위를 n등분 : $t_i=a+ih,\ i=0,1,2,...,n$
  • $h=(b-a)/n=t_{i+1}-t_i$를 step size라고 정의
• euler's method 유도를 위한 taylor's theorem
  • $y(t_{i+1})=y(t_i)+(t_{i+1}-t_i)y'(t_i)+\frac{(t_{i+1}-t)^2}{2}y''(\zeta_i)\ (t_i\leq\zeta\leq t_{i+1})$
  • step size 공식에 의해 $y(t_{i+1})=y(t_i)+hf(t_i, y(t_i)) + \frac{h^2}{2}y''(\zeta_i)$

• Euler's method
  • $w_i\simeq y(t_i)$로 정으
  • $w_0 = \alpha$
  • $w_{i+1}=w_i+hf(t_i, w_i)$
• ex. h = 0.5, y(0)=0.5, $y'=y-t^2+1$
  • $w_0=y(0)=0.5$
  • $w_1=w_0+0.5(w_0-0^2+1)$
  • $w_2=w_1+0.5(w_1-(0.5)^2+1$
• $w_{j+1}=w_j+hf(t_j, w_j)$ : worward euler method
  • h가 커지면 발산할 위험이 있음
• $w_{j+1}\simeq w_j + hf(t_{j+1}, y_{j+1})$ : backward euler method
  • $w_{j+1}$을 풀어야 하나, stable한 장점이 있음

• Runge-Katta method (order 2)
  • $\int^{t_{j+1}}_{t_j}y'dt=\int^{t_{j+1}}_{t_j}f(t, y(t))dt\\\rarr y_{j+1}-y_j\simeq \frac{h}{2}[f(t_j, y_j) + f(t_{j+1}, y_{j+1})]$ : Implicit
  • Explicit : $y_{j+1}-y_j\simeq \frac{h}{2}[f(t_j, y_j) + f(t_{j+1}, \hat{y_{j+1})}]$
    • $y_{j+1}\simeq\hat{y_{j+1}}=y_j+hf(t_j, y_j)$
• Runge-Katta method (order 4)
  • Implicit : $y_{j+1}-y_j = \frac{h}{6}[f(t_j, y_j) + 4f(t_{j+1/2}, y_{j+1/2})+f(t_{j+1}, y_{j+1})]$
  • Explicit : $y_{j+1}-y_j = \frac{h}{6}[f(t_j, y_j) + 2f(t_{j+1/2}, \hat{y_{j+1/2}})+2f(t_{j+1/2}, \hat{\hat{y_{j+1/2}}})+f(t_{j+1}, \hat{y_{j+1}})]$
    • $\hat{y_{j+1/2}}=y_j+\frac{h}{2}f(t_j, y_j)$
    • $\hat{\hat{y_{j+1/2}}}=y_j+\frac{h}{2}f(t_j, \hat{y_j})$
    • $\hat{y_{j+1}}=y_j+hf(t_j+\hat{\hat{y_{j+1/2}}})$

www.bookjournalism.com/news/24063

게임에 대한 긍정적 연구를 하고자 하는 시도가 몇 없는 것으로 알고 있는데 이런 결과를 보게 되어 나름 기쁜 마음입니다. 결국 게임을 만드는 목적은 수익 창출이겠지만, 그 과정에서 소비자에게 어떤 감정을 전달하고자 하는지가 그들의 경험을 좌우할 것입니다.
 게임이 정신 건강에 줄 수 있는 영향에 대한 연구가 좀 더 활발했으면 합니다. 게임의 가장 큰 특색이라고 할 수 있는 즉각적인 보상 체계는 긍정적일 수도, 부정적으로 작용할 수도 있기에 많은 경우를 따져 가며 연구가 좀 더 진행되어야 할 필요가 있다고 봅니다.

www.bookjournalism.com/news/24052

시민의 광장으로 광화문 광장을 키우고자 한다면 차라리 차도 없는 구역을 만드는 쪽이 더 나을 것 같다. 현재의 안으로는 오히려 부자연스러운 느낌이 더 강해진 것 같은데...

www.bookjournalism.com/news/23952

오늘날의 지식은 보다 많은 사람들이 알 수 있도록 공개하는 쪽으로 발전하는 것을 볼 수 있다. 지식을 공유하고, 그 지식에 참여하는 인원이 많아질수록 그 지식의 가치는 기하급수적으로 불어나는 것을 수많은 오픈소스 프로젝트의 사례들이 알려주고 있다.
 언론은 수많은 지식의 분야 중에서도 가장 접근성에 신경써야 하는 매체라고 생각한다. 전문가를 상대하는 특정 매체를 제외하면, 언론의 주요 목적은 가급적 많은 이들에게 공정한 정보를 전달하는 것이기 때문이다. 발달 장애를 위한 '단순한 뉴스'는 문장적으로는 불완전할지 모르나, 읽어본 결과로는 오히려 읽기 쉬워진 느낌도 들었다. 더 많은 이들에게 소식을 제공하고자 하는 시도는 오히려 뉴스를 읽을 때의 편의성을 개선하고자 하는 색다른 시도가 되어준 것이다.

www.bookjournalism.com/news/23964

민간 우주 항해가 결실을 맺었다는 것은 연구 환경 역시 새로운 장을 맞았음을 의미하는 것이라고 생각한다. 중력이나 빛, 외부 방사선 등 최첨단 환경에서의 연구 과정에서 지구 외의 환경을 고려할 필요가 있는 연구가 분명 있을텐데, 기업이 아닌 민간 우주 활동의 가능성을 스페이스 X가 열게 되면서 앞으로 민간 단위의 우주 연구 역시 그 가능성이 충분히 보였다고 생각한다. 일론 머스크의 앞으로의 기술적 행보만큼은 계속해서 응원하고 싶다. 하이퍼루프, 스페이스 X, 스타링크, 과연 그의 다음은 무엇일까?

• CPU의 구성 요소
  

  

  • 레지스터 : 중간 데이터 저장
    • general register : 범용으로 사용하는 레지스터
    • special register : 특정 목적을 갖는 레지스터
  • ALU : Microoperation 수행
  • 컨트롤 유닛 : 동작 관리
• general register organization
  • R1 = R2 + R3
  • 연산 시 사용하는 레지스터를 각 selector가 적절히 선택

Stack Organization

• 스택 : 정보가 '쌓이는' 자료구조
  • 가장 마지막에 들어온 정보가 가장 먼저 출력됨
  • LIFO, Last In First Out
  • 스택 포인터는 스택의 가장 위(최근 들어온) 아이템을 가리킴
• push : Stack pointer를 증가(아이템 입력)
• pop : Stack pointer를 감소(아이템 출력)
• register stack
  • FULL, EMPTY, SP, DR로 구성된 스택
  • FULL, EMPTY : 스택이 꽉 찬(빈) 여부를 저장
  • SP : Stack Pointer
  • DR : 스택에 들어가거나 스택에서 나온 데이터를 저장
  • EMPTY=1일때 POP하거나, FULL=1일 때 PUSH 시 error
    • 스택의 UPPER/LOWER limit을 초과 시 오버/언더플로우 발생
  • POP시 SP를 1 감소, PUSH시 1 증가
• stack의 동작 예 : 후위 표기법
  • 후위 표기법 : 연산자가 맨 뒤로 오게 됨
  • 기존 식 : (4+5*6) / (4-2)
  • 후위 표기 : 4 5 6 * + 4 2 - /
    • 연산자는 스택 내의 숫자 2개를 pop한 후 연산 결과를 다시 push함

Instruction format

• CPU 명령어의 종류
  • 레지스터 하나만을 사용
    • ADD X : AC < AC + M[EA]
  • 다수 레지스터(general register) 사용
    • ADD R1, R2, R3 : R1 < R2 + R3
    • ADD R1, R2 : R1 < R1 + R2
    • ADD R1, EA : R1 < R1 + M[EA]
  • 주소 사용 없음(stack organization)
    • PUSH X

Addressing mode

• 명령어의 주소 필드를 해석하는 방법
• addressing mode의 목적
  • 프로그램의 다양성
  • 명령어의 address field 크기를 줄이기 위해
• address field가 필요 없는 mode
  • implied mode : Accumulator를 사용하는 연산 명령어
  • immediate mode : 명령어 필드가 주소 필드와 동일한 명령어
• Register mode : 주소 필드가 프로세서 주소를 가리키는 경우
  • register mode : 명령어가 레지스터 내에 있는 경우
  • register indirect mode : 주소 필드에 내용이 저장된 레지스터 주소를 나타내는 경우
  • autoincrement/autodecrement mode : register indirect와 동일하나 메모리 접속 이후 register이 증가/감소 (table 접근 시 사용)
• relative addressing mode
  • effective address가 PC 내용 + 명령어의 주소 필드, branch 명령에 주로 사용
  • indexed addressing mode : effective address가 index register + 주소 필드 , table 접근 시 사용
  • base register addressing mode : effective address가 base register + 주소 필드, multiprogramming에 사용

Data Transfer and Manipulation

• 명령어의 종류
• Data transfer : 데이터를 변경 없이 이동시키는것
  • memory - register
  • register - I/O
  • register - register
• Data Manipulation : 산술, 논리, shift 연산
• Program Control : branch 등 컴퓨터에 의해 프로그램 진행이 바뀌는 것