[개발자를 위한 실전 선형대수학] 1.6. 직교벡터 분해

[chapter 1] 벡터, 파트1 : 벡터와 벡터의 기본 연산

1. 직교벡터 분해

벡터 또는 행렬을 분해하면 여러 간단한 조각으로 나뉘고, 분해를 통해 행렬에 숨겨진 정보를 밝혀내거나 행렬을 사용하기 쉬운 형태로 만들고, 데이터를 압축하기도 한다.

2. 투영 벡터 with ChatGPT

하나의 벡터를 다른 벡터 방향으로 '그림자처럼 비춘 결과'

벡터 a가 있고, 어떤 기준 방향을 나타내는 벡터 b가 있을 때, a가 b 방향으로 얼마나 향하고 있는가?를 b방향으로의 투영(projection)이라고 한다.

https://velog.io/@cuckoobee/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-%EA%B3%A0%EC%9C%A0%EB%B2%A1%ED%84%B0%EC%97%90-%EC%84%A0%ED%98%95-%ED%88%AC%EC%98%81%ED%95%98%EA%B8%B0

그림에서는 이렇게 볼 수 있다.

• a (빨간색 벡터) : 기준 방향(projection의 기준)
• b (파란색 벡터) : 분해하려는 벡터
• p (초록색 벡터) : b를 a 방향으로 투영한 벡터(투영 벡터)
• e (검은색 벡터) : a에 직교하는 성분(오차 or 수직 벡터) 

즉 이 그림에서의 목적은 a를 이용해서 b를 ‘a 방향 성분’과 ‘a에 수직한 성분’으로 분해한다 = 벡터의 투영 & 직교 분해

책 내용으로 다시 이해해보면, b에서 a와 가장 가까운 점 = 투영 거리가 최소인 점을 찾는다.

그럼 그 점은 a의 크기를 줄인 ca가 된다. 여기서 스칼라 c를 찾는다.

이때, 벡터 뺄셈으로 b에서 ca까지의 선인 e를 b - ca로 정의할 수 있다.

종합해보면 b - ca는 ca와 직교하는데, 그러려면 둘 사이의 내적이 0이 되어야 한다. 식으로 변환하면 아래와 같다.

$$a^{T}(b-ca) = 0$$

이 식을 내적 분배 법칙으로 풀어보면 아래와 같다.

$$  c=\frac{a^{T}b}{a^{T}a} $$

이렇게 점을 최소거리로 선에 투영하는 것을 직교 투영법이라고 한다.

3. 분해

분해에는 '목표 벡터'와 '기준 벡터'가 필요하며, 목적은 목표 벡터를 두 개의 다른 벡터로 분해하는 것이다.

분해한 두 벡터의 합은 목표벡터가 되고, 하나의 벡터는 기준 벡터와 직교하지만 다른 벡터는 기준 벡터와 평행하다.

목표벡터를 $t$, 기준벡터를 $r$이라고 부르고,

목표벡터로부터 만들어진 두 벡터는 수직성분 $t\perp_{r}$과 평행 성분 $t\parallel_{r}$로 각각 표시한다.

앞에서 구한 직교 투영 공식을 적용하면 $t\parallel_{r}$을 찾을 수 있다.

$$ t\parallel_{r}=r\frac{r^{T}r}{t^{T}r} $$

수직성분은 두 벡터 성분의 합이 목표벡터가 되기 때문에 아래와 같다.

$$ t\perp_{r}=t-t\parallel_{r} $$

즉, 목표벡터에서 평행 성분을 빼고 남은 것이 수직 성분이다.