2-3. 선형독립과 선형종속
1. Linear System and the Uniqueness of Solutions ($Ax=b$)
-When we have a linear system represented by the matrix equation $Ax=b$,
the existence of a solution depends on the columns of matrix $A$
-The solution exists only when the target vector $b$ is within the Span of the matrix's columns, for example, $b \in \text{Span}\{a_1, a_2, a_3\}$
-If the solution exists, it is unique only when the column vectors ($a_1, a_2, a_3$) are linearly independent
-If the column vectors are linearly dependent, infinitely many solutions exist
| <재료 벡터와 Solution의 관계> -행렬 $A$를 구성하는 Column vector들을 선형결합을 위한 '재료 vecto'라고 생각할 때, 이 vecto들을 조합해서 목표인 상수 vector $b$를 만들어 낼 수 있다면 해가 존재하는 것 -이때 재료 vector들이 서로 완전히 독립적이라면 $b$를 만드는 방법(가중치 조합)은 유일함 -하지만 재료들끼리 서로 대체가 가능한 의존적인 상태라면, 똑같은 $b$를 만드는 방법이 무수히 많아짐 |
2. Practical Definition: Expanding the Span
-Given a set of vectors $v_1, \dots, v_p \in \mathbb{R}^n$, we can check if a vector $v_j$ can be represented as a linear combination of the previous vectors (i.e., $v_j \in \text{Span}\{v_1, \dots, v_{j-1}\}$)
-If at least one such vector is found, the set is linearly dependent
-If no such vector is found, the set is linearly independent
| <선형종속의 판단: 실질적으로 Span을 늘려주는가?> -'새로운 $vector$가 기존 span에 들어가는지 아닌지'가 선형독립을 판가름하는 기준 -새로운 vector를 추가했을 때 Span이 실질적으로 확장된다면 서로 선형독립 -기존 평면이나 공간에 이미 머물러 있어서 Span을 늘려주지 못한다면 선형종속 |
3. Formal Definition: Homogeneous Equation
-We can also define this concept using a homogeneous equation: $x_1v_1 + x_2v_2 + \dots + x_pv_p = 0$
| <Nontrivial Solution> -Homogeneous equation이란 우변의 상수 part를 0으로 세팅한 방정식 -Trivial solution: 가중치($x$)를 모두 0으로 주면 결과가 0이 된다는 당연한 사실 -but. 가중치 중 0이 아닌 값이 섞여 있는데도 선형결합 결과가 0이 나온다면 >> 이는 vector들끼리 더하고 빼서 서로를 완벽히 상쇄시킬 수 있다는 뜻이며, 곧 한 vector를 다른 vector들의 조합으로 표현할 수 있는 선형종속이라는 뜻 |
4. Why Linear Dependence Causes Infinite Solutions
-A linearly dependent vector does not increase the Span
Furthermore, a linearly dependent set produces multiple possible linear combinations for a given vector
| <미지수와 방정식의 개수> -종속 벡터($v_3$)를 추가해도 Span이 늘어나지 않는다는 것은, 목표 지점 $b$로 가는 대체 경로가 생겼다는 뜻 -$v_3$를 1번 쓰는 대신 $v_1$을 2번, $v_2$를 3번 쓰는 식으로 재료를 자유롭게 바꿀 수 있으므로 해가 무수히 많아지며, 미지수의 개수가 방정식의 개수보다 많을 때에도 자유 변수가 생겨서 해가 무수히 많이 존재하게 됨 |
2-4. 부분공간의 기저와 차원
1. Span and Subspace
A subspace $H$ is defined as a subset of $\mathbb{R}^{n}$ that is closed under linear combination
For any two vectors $u_{1}, u_{2} \in H$, and any two scalars $c$ and $d$, the combination $cu_{1} + du_{2}$ must also be in $H$
Therefore, the span of any set of vectors, such as Span $\{v_{1}, \dots, v_{p}\}$, is always a subspace
| <닫혀있다(Closed)> -Span 안에서 두 vector를 뽑아 가중치를 어떻게 쓰든지 그 선형결합의 결과가 모두 Span 안에 포함된다는 것 -Space에서 원소들을 뽑아서 곱하고 더한 값이 집합에 다시 들어가는 상태
ex_ 2*2=4, 2*4=8 ... 2가 포함된 subset이 닫혀 있기 위해서는 2와 2의 곱, 2와 2의 곱인 4와 2의 곱 등이 집합에 존재해야 함. 만일 존재하지 않을 경우, 이는 닫혀있지 않은 것
|
2. Basis of a Subspace
A basis of a subspace $H$ is a set of vectors that satisfies both of the following conditions:
| <중복 허용 X (No Redundancy)> -기저벡터(basis vector)가 되려면 '중복을 허용하지 않아야'함 (중복성 X) -즉, 해당 공간 내의 특정 점을 기저의 선형결합으로 표현하려고 할 때, 그 가중치의 조합이 유일하게 딱 1개만 존재해야 함을 의미 |
3. Dimension and Non-Uniqueness of Basis
-There can be other sets of linearly independent vectors that span the exact same subspace $H$
-However, even though different bases exist, the number of vectors in any basis for $H$ will be unique
-We call this unique number the dimension of $H$, denoted as $\dim H$
| **기저는 달라도 차원은 유일할 수 있다. 기저 자체는 유니크하지 않기 때문에 사용하는 기저가 달라지면 특정 점을 가리키기 위한 가중치가 달라질 수 있으나, 결국 같은 공간을 가리킬 수 있음 하지만, 그 공간을 정의하는 기저의 '개수'만큼은 유니크하며, 우리는 이를 '차원(Dimension)'이라고 부름 |
4. Column Space and Rank of a Matrix
-The column space of a matrix $A$ (denoted as Col $A$) is the subspace spanned by the columns of $A$
-The rank of a matrix $A$ (rank $A$) is the dimension of the column space of $A$ ($\dim \text{Col } A$)
rank $A$ = $\dim \text{Col } A$ *dim = basis들의 개수
| <Machine Learning Feature 관점에서의 Rank> -행렬의 Column들을 데이터의 Feature로 생각했을 때, 만약 데이터에 서로 중복성이 있는 feature가 있다면, 적절한 가중치 분배가 이루어지지 않고 모델이 헷갈리게 되어 사실상 쓸모가 없어짐! ex_ '키'와 '몸무게' 데이터가 강하게 비례한다면, 몸무게라는 feature는 이전 feature(키의 feature)에 의해 이미 다 설명이 되므로 우리에게 주는 부가 정보가 없음 >> 결론적으로, 겉보기에는 feature(Column)가 아주 많아 보여도 실제로는 정보를 많이 담고 있지 않을 경우 '실질적인 기저들의 개수(=Rank)'가 작다고 해석 |