Eigenvectors and Eigenvalues
-An eigenvector of a square matrix $A \in \mathbb{R}^{n \times n}$ is a nonzero vector $x \in \mathbb{R}^{n}$ such that $Ax = \lambda x$ for some scalar $\lambda$
-In this case, $\lambda$ is called an eigenvalue of $A$, and such an $x$ is called an eigenvector corresponding to $\lambda$
-Consider a linear transformation $T(x) = Ax$. If $x$ is an eigenvector, then $T(x) = Ax = \lambda x$, which means the output vector has the same direction as $x$, but the length is scaled by a factor of $\lambda$
| 고유벡터(eigenvector) 행렬 $A$를 곱해서 공간을 휘거나 늘리는 변환(transformation)을 주었을 때, 방향은 그대로 유지된 채 길이만 늘어나거나 줄어드는(스칼라 배, $\lambda$) 벡터 이때 늘어난 비율이 고유값(eigenvalue) ex_ $A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}$ 이고 $x = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 일 때, $Ax = \begin{bmatrix} 8 \\ 8 \end{bmatrix} = 8 \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 즉, 원래 벡터 $x$의 방향은 유지된 채 길이만 8배로 늘어났으므로, $x$는 고유벡터이고 8은 고유값이 되는 것 이 개념은 연산 효율성에 엄청난 이점을 줌 bc. 거대한 행렬 $A$를 계속 곱하는 것보다, 단순히 스칼라 8을 곱하는 것($Ax = 8x$)이 계산 비용 측면에서 압도적으로 유리하기 때문 |
Null Space and Orthogonal Complement
-For a given eigenvalue $\lambda$, the corresponding eigenvectors are the nontrivial solutions to the equation $(A - \lambda I)x = 0$
-This means the set of all eigenvectors corresponding to $\lambda$ (plus the zero vector) is exactly the Null space of the matrix $(A - \lambda I)$
-The set of all solutions to $(A - \lambda I)x = 0$ is called the eigenspace of $A$ corresponding to $\lambda$. Note that the dimension of the eigenspace can be more than one; any vector in this eigenspace satisfies $Ax = \lambda x$, meaning $A$ acts as a dilation on the eigenspace
| *고유값 $\lambda$를 이미 알고 있다면, 고유벡터는 어떻게 찾을까? $Ax = \lambda x$ 수식을 이항하여 묶어주면 $(A - \lambda I)x = 0$ 이라는 동차 방정식이 만들어짐 = 이 수식은 영공간(null Space)의 정의와 일치 즉, 고유벡터를 찾는 건 어떤 행렬 $(A-\lambda I)$에 곱해져서 0벡터가 되는 해공간(null space)을 구하는 것 -이때, 이 공간을 고유공간(eigenspace)이라고 부름 -고유공간의 차원은 1보다 클 수도 있으며, 이 공간에 속한 어떤 벡터든 행렬 $A$에 의해 곱해지면 단순히 길이만 $\lambda$배(Dilation) 늘어나는 성질을 유지 -영공간은 row space와 직교여공간(orthogonal complement) 관계를 가지므로, 고유공간을 찾는 과정 역시 행렬의 구조적 직교성을 파악하는 데 중요한 단서 |
The Characteristic Equation
-How can we find $\lambda$ if it's unknown? Since $(A - \lambda I)x = 0$ must have a nonzero (nontrivial) solution $x$, the matrix $(A - \lambda I)$ must be non-invertible
-A matrix is non-invertible if and only if its determinant is zero. Therefore, we solve the equation: $det(A - \lambda I) = 0$. This is called the characteristic equation
ex_ For $A = \begin{bmatrix} 2 & 6 \\ 5 & 3 \end{bmatrix}$, $A$ is originally invertible ($det(A) = 6 - 30 = -24 \neq 0$)
However, to find $\lambda$, we want to make $A - \lambda I$ non-invertible:Solving this gives $\lambda = -3$ or $8$
Once we have these eigenvalues, we can substitute them back into $(A - \lambda I)x = 0$ to find the corresponding eigenvectors
$det \begin{bmatrix} 2-\lambda & 6 \\ 5 & 3-\lambda \end{bmatrix} = (2-\lambda)(3-\lambda) - 30 = \lambda^2 - 5\lambda - 24 = 0$
| *그렇다면, 고유값 $\lambda$는 어떻게 찾을 수 있을까? 수식 $(A - \lambda I)x = 0$ 에서 자명하지 않은 해(0벡터가 아닌 $x$)가 존재하려면, 행렬 $(A - \lambda I)$의 역행렬이 존재해서는 안 됨 = Non-invertible bc. 만약 역행렬이 있다면 양변에 역행렬을 곱해 $x=0$이라는 결론만 나오기 때문 어떤 행렬이 역행렬을 가지지 않을 조건 : 행렬식determinant)이 0이 되는 것 특성방정식(characteristic equation) : $det(A - \lambda I) = 0$ 이라는 수식이 도출되는 것 -> 이 방정식을 풀면 고유값 $\lambda$들을 구할 수 있고, 이 값들을 다시 영공간 방정식에 대입하여 최종적으로 고유벡터들을 찾아낼 수 있음 |