1. Concept of Transformation
-A transformation (or mapping) $T$ maps an input $x$ to an output $y$
-The set of all possible inputs is called the Domain, the set of all possible outputs is the Co-domain, and the set of actual mapped output values is the Range
| 선형대수학에서 '변환(Transformation)'은 '함수' 개념과 유사 즉, Input(정의역, Domain)을 넣었을 때 규칙에 따라 Output(치역)을 뱉어내는 mapping process를 의미 |
2. Linear Transformation
-A transformation $T$ is strictly linear if it satisfies: $T(cu + dv) = cT(u) + dT(v)$ for all $u, v$ and scalars $c, d$
-An equation like $y = 77x + 2$ is NOT a linear transformation because it includes a bias term ($+2$)
| 조건: 입력값들을 먼저 선형 결합 함수에 넣은 결과와, 각각을 함수에 넣고 나중에 섞은 결과가 완벽히 일치할 때만 선형 변환 주의: 1차 함수 $y = 77x + 2$처럼 뒤에 상수(bias)가 붙으면 원점을 지나지 않게 되어 수학적으로는 선형 변환이 아니지만, 경우에 따라 선형 변환으로 변형 가능 |
3. Matrix of Linear Transformation
-Every linear transformation $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ can be universally written as a matrix-vector multiplication: $T(x) = Ax$
-The matrix $A$ is called the standard matrix of the linear transformation $T$
| 선형 변환 특징: 모든 선형 변환 규칙을 단순히 '행렬의 곱셈($Ax$)' 하나로 완벽하게 표현할 수 있다는 점 즉, 공간을 왜곡시키거나 회전시키는 등 어떤 복잡한 선형 규칙 $T$도 결국 하나의 행렬 $A$로 깔끔하게 정리 가능 |
Affine Layer in Neural Networks
-In neural networks, fully-connected layers (often called linear layers) usually involve a bias term
-Because of this bias term, they are mathematically called affine layers, not strictly linear layers
| 딥러닝 모델을 짤 때 흔히 'Linear Layer' 또는 'Fully-connected layer'라고 부르는 계층은 사실 수학적으로 완벽한 선형이 아님 bc. 가중치(weight)를 곱한 후 항상 편향(bias term)을 더해주기 때문 |
1. Onto Mapping
-A mapping $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ is said to be onto $\mathbb{R}^m$ if each $b \in \mathbb{R}^m$ is the image of at least one $x \in \mathbb{R}^n$
-In this case, the Range is perfectly equal to the Co-domain
-Matrix Condition: $T(x) = Ax$ is onto if and only if the columns of matrix $A$ span $\mathbb{R}^m$. This means every row of $A$ must have a pivot position
-Solution Existence: For an onto mapping, the linear system $Ax=b$ has at least one solution (Existence)
| Onto(전사 함수) 정의: 도착지인 공역(Co-domain)의 모든 원소가 빠짐없이 화살표를 받는(선택되는) 상태 → 치역과 공역이 일치 행렬 관점에서는 행렬 $A$의 열 벡터들이 공역 전체 공간을 만들어낼 수 있어야 하며 (= Span) 이는 방정식 $Ax=b$의 해가 무조건 '최소 하나 이상 존재함(해의 존재성)'을 보장 |
2. One-to-one Mapping
-A mapping $T: \mathbb{R}^n \rightarrow \mathbb{R}^m$ is said to be one-to-one if each $b \in \mathbb{R}^m$ is the image of at most one $x \in \mathbb{R}^n$
-Matrix Condition: $T(x) = Ax$ is one-to-one if and only if the columns of matrix $A$ are linearly independent. This means every column of $A$ must have a pivot position
-Trivial Solution: The mapping is one-to-one if and only if the homogeneous equation $Ax=0$ has only the trivial solution ($x=0$)
-Solution Uniqueness: For a one-to-one mapping, the linear system $Ax=b$ has either no solution or a unique solution (Uniqueness)
| One-to-one(일대일 함수) 정의: 서로 다른 입력값이 무조건 서로 다른 출력값으로 mapping되는 상태 행렬 관점에서는 $A$의 열 벡터들이 서로 겹치지 않고 완벽히 독립적(Linearly Independent)이어야 하며, 이는 방정식 $Ax=b$의 해가 만약 존재한다면, 오직 '단 하나(해의 유일성)'만 존재함을 의미 |
3. Summary: Onto vs. One-to-one
| Feature | Onto Mapping | One-to-one Mapping |
| Core Question | Does a solution always exist? (Existence) | Is the solution unique? (Uniqueness) |
| Mapping Trait | Range = Co-domain | One input to unique output |
| Matrix Pivot | Pivot in every row | Pivot in every column |
| Vector Relation | Columns span $\mathbb{R}^m$ | Columns are linearly independent |