⇒ a short remider on mathematics
Linear Equations System
$Ax = b$
A가 full rank / overdetermined / underdetermined이냐에 따라 구분할 수 있음.
이는 A라는 행렬의 rank. 즉, independent한 column의 갯수에 따라 구해지는 해의 갯수가 달라짐.
$A$가 full rank & square matrix 인 경우 ⇒ unique solution
Gauss elimination
Inversion of $A$: $x = A^{-1}b$
Cholesky decomposition $chol(A) = LL^T$ with lower triangular matrix $L$
Solving $Ly=b$ and $L^Tx=y$
이 방식은 A를 decompostion하여, $L(L^Tx)=b$ 와 같이 푸는 방식으로 lower triangular matrix로 분해되기만 하면 $y$를 구하는 것이 매우 간단하기 때문에 사용한다.
QR decomposition
Orthogonal matrix Q와 an upper triangular matrix R 로 분해하는 방식. Orthogonal matrix는 행과 열이 모두 orthonormal 한 square matrix이다. orthonormal이란 서로의 dot product가 0이 되면서 크기가 1인 vector를 말한다. 계산하는 방법은 eigenvector 구해서 요래저래~
Conjugate gradients
gradients가 들어가는 것으로 보아 iteration을 하면서 해의 근접하는 방식으로 보임.
$A$가 overdetermined 인 경우 ⇒ No exact solution
보통 real-world 에서 주로 나타나는 상황으로 완전히 풀어낼 수 없어 근사값을 찾아내고자 함.
$$ ⁍ $$
이를 Ordinary least squares approach라고 함. (최소제곱근사법)
$A$가 underdetermined인 경우 ⇒ Infinite solutions