벡터공간 Vector Space 최소제곱법 Least Squares Method

집합의 연산에 닫혀있다 - 입출력 타입이 모두 같다.

ex) 덧셈, 곱셈은 자연수 입출력

 

공간 Space

덧셈과 스칼라 곱 연산에 대해 닫혀 있으면 그 집합은 공간이다.

n- 벡터 집합은 모두 공간이다.

n차원 벡터 공간 vector space 라고 부를 수 있다.

 

행렬 A의 열벡터들에 가능한 모든 선형 조합의 해집합(공역)을 열공간 Column Space라고 한다.col(A)

 

해가 있는 경우	해가 없는 경우
Consistent Linear System	Inconsistent Linear System
b가 col(A)상에 존재	b가 col(A) 이외 공간에 존재

 

최소제곱법 Least Squares Method

 

해가 없는 경우에 b를 col(A)상에 투영한 projwB 를 달성 가능한 최선의 목표로 구할 수 있다.

w = col(A)

projwB = col(A)와 b가 가장 가까운 지점, 근사해 approximate solution

Ax' = b'

b - b' = b - projwB

 

Ax = b

(전치행렬 a')Ax' = (전치행렬a')b

x' = (역행렬 a'A)a'b

 

선형회귀 Linear Regression

2차원 공간에 m개의 정점이 지나가는 가장 근사치 직선을 구하는 것

- 선형시스템 구성, 직선 구하기

- 최소제곱법 적용