[개발자를 위한 실전 선형대수학] 5.3 계수, 5.4 계수 응용, 5.5 행렬식

[chapter5] 행렬, 파트 2 : 행렬의 확장 개념

1. 계수

계수(rank)는 하나의 행렬과 연관된 고유한 숫자이다.

계수의 속성은 아래와 같다.

• 계수는 음이 아닌 정수이다.
• 모든 행렬은 하나의 고유한 계수를 가진다. 즉, 여러 개의 서로 다른 계수를 다질 수 없다.
• 행렬의 계수는 $r(A)$ 또는 $rank(A)$로 나타낸다. 그리고 'A는 계수-r 행렬이다'로 읽는다.
• 행렬의 최대로 가능한 계수는 행 또는 열의 개수 중에서 더 작은 값이다. 즉 r = min{M,N}이다. 
  • 최대로 가능한 계수를 갖는 행렬을 '최대계수(full rank)'라고 한다.
•  계수가 r < min{M, N}인 행렬은 '축소계수', '계수부족' 또는 '특이' 등으로 불린다.
• 스칼라 곱셈은 행렬 계수에 영향을 미치지 않는다.(0은 예외)

행렬 계수에는 몇 가지 동일한 해석과 정의가 있다.

• 선형 독립 집합을 형성하는 최대 열(또는 행)의 수
• 열공간의 차원의 수(행공간의 차원의 수와 동일)
• 행렬 안의 정보를 포함하는 차원 수. 선형 종속적일 가능성이 있으므로 행렬의 전체 열 또는 행 수와 같지 않다.
• 행렬에서 0이 아닌 특잇값의 

2. 특수 행렬의 계수

벡터

모든 벡터의 계수는 1이다. 정보의 열(또는 행)이 하나밖에 없기 때문이다.

영행렬

어떤 크기든 영 행렬(영벡터 포함)의 계수는 0이다.

단위 행렬

단위 행렬의 계수는 행의 수(열의 수)와 같다. 즉 $r(I_N)=N$ 이다.

대각 행렬

대각 행렬의 계수는 0이 아닌 대각 원소의 수와 같다.

각 행은 0이 아닌 원소를 하나만 가지며, 0의 가중 결합을 통해 0이 아닌 숫자를 만들 수 없기 때문이다.

삼각 행렬

삼각 행렬은 모든 대각선 원소에 0이 아닌 값이 있는 경우에만 최대계수이고, 대각선에 0이 하나 있는 삼각행렬은 축소계수이다.

대각선 원소에 0이 아닌 값이 있다 = 그 값이 피벗이 된다.

대각선 원소에 0인 값이 있다 = 그 행은 그 아래 행으로 만들 수 있다. 따라서 독립적이지 않다.

무작위 행렬

무작위 행렬의 계수는 선험적으로 알 수 없다.

최대로 가능한 계수가 보장되도록 무작위 행렬을 만들 수 있는데, 가우스 또는 균일한 분포에서 임의로 부동 소수점을 도출하는 방법이다.

컴퓨터가 만들 수 있는 수의 집합에서 수십 개 또는 수백 개의 수를 도출해서 행렬에 넣었을 때 선형 의존성이 있을 확률은 천문학적으로 낮기 때문이다.

계수-1 행렬

계수-1 행렬의 계수는 당연히 1이다.

계수-1 행렬은 0이 아닌 두 벡터 사이에서 외적을 취하면 된다.

계수-1 행렬은 뒤에 나올 고윳값 분해와 특잇값 분해에서 중요하다.

덧셈 및 곱셈 행렬의 계수

두 개별 행렬의 계수로 A+B 또는 AB가 가질 수 있는 최대로 가능한 계수를 구할 수 있다.

아래는 그 규칙이다.

• $rank(A+B)\leq rank(A) + rank(B) $
• $rank(AB)\leq min\left\{ rank(A), rank(B)\right\} $

개별 행렬의 계수를 알고 있다고 해서 덧셈 행렬 또는 곱 행렬의 정확한 계수를 알 수는 없다.(영 행렬은 예외)

대신 개별 행렬의 계수로 덧셈 행렬 또는 곱 행렬의 가질 수 있는 최대로 가능한 계수를 구할 수 있다.

덧셈 행렬의 계수는 개별 행렬의 계수보다 클 수 있다.

곱셈 행렬의 계수는 개별 행렬의 가장 큰 계수보다 클 수 없다.

이동된 행렬의 계수

행렬을 이동시키면 보통 최대계수가 된다.

3. 계수 응용

행렬 확장(augmenting)

행렬을 확장한다는 것은 행렬의 오른쪽에 열을 추가한다는 뜻이다.

MxN 행렬과 MxK 행렬이 있을 때, 확장된 행렬의 크기는 Mx(N+K)가 된다. 

기본적으로 두 행렬의 행 수가 동일할 때 확장할 수 있다.

$$ \begin{bmatrix}4 & 5 & 6 \\0 & 1 & 2 \\9 & 9 & 4 \\\end{bmatrix} \sqcup  \begin{bmatrix}
1 \\2 \\3 \end{bmatrix} = \begin{bmatrix}4 & 5 & 6 & 1 \\0 & 1 & 2 & 2 \\9 & 9 & 4 & 3 \\\end{bmatrix} $$

벡터가 행렬의 열공간에 있는지 확인하는 알고리즘은 다음과 같다.

• 벡터로 행렬을 확장한다.(확장된 행렬은 $\widetilde{A}$로 나타낸다.)
• 두 행렬의 계수를 계산한다.
• 두 계수를 비교한다.
  • A의 계수와 $ \widetilde{A} $의 계수가 같으면, 벡터는 행렬 A의 열공간에 있다.
  • A의 계수가 $ \widetilde{A} $의 계수보다 작으면 벡터는 행렬 A의 열공간에 없다.

벡터 집합의 선형 독립성

벡터 집합이 선형적으로 독립적인지 여부를 확인하는 알고리즘은 다음과 같다.

• 벡터를 행렬에 넣고 행렬의 계수를 게산한다.
• 해당 행렬의 최대로 가능한 계수와 비교한다.
• 가능한 결과는 다음과 같다.
  • r = N이면, 벡터 집합은 선형적으로 독립적이다.
  • r < M : 벡터 집합은 선형적으로 종속이다.

계수가 열 수보다 작으면 적어도 하나의 열은 다른 열들의 선형 결합으로 나타낼 수 있다.(선형 종속성)

계수가 열 수와 같으면 각 열은 행렬에 고유한 정보를 제공한다 = 다른 열의 선형 결합으로 나타낼 수 없다.(선형 독립성)

4. 행렬식

행렬식(determinant)은 데이터 과학 분야에서는 언더플로, 오버플로 문제로 인해 수치적으로 불안정할수는 있으나, 역행렬 또는 고윳값 분해를 이해하기 위해 반드시 알아야 하는 개념이다.

행렬식의 주요한 특성은 아래 두가지이다.

• 정방 행렬에 대해서만 정의된다
• 특이(축소계수) 행렬에 대해서는 0이다.

행렬식은 $det(A)$ 또는 $ \left | A\right |$ 로 나타낸다.

기하학적으로 행렬식은 행렬과 벡터를 곱할 때 행렬이 벡터를 얼마나 늘릴 것인가와 연관있고, 음수 행렬식은 변환 과정에서 하나의 축을 회전시킨다.

데이터 과학 분야에서의 행렬식은 대수학적으로 사용된다.

행렬식은 손으로 계산하는 것은 많이 복잡하고, 파이썬으로 계산할 때는 np.linalg.det() 또는 scipy.linalg.det()를 사용하면 된다.

2x2 행렬의 행렬식은 아래처럼 계산할 수 있다.(크기가 커지면 더 복잡해진다.)

$$ det\left ( \begin{bmatrix}a & b \\c & d \\\end{bmatrix} \right ) = \begin{vmatrix}
a & b \\c & d \\\end{vmatrix} = ad - bc $$

선형종속성과 행렬식

모든 축소계수 행렬의 행렬식은 0이고, 실제 계수가 몇 인지는 중요하지 않다.

반대로 모든 최대계수 행렬의 행렬식은 0이 아니다.

특성다항식

$$ \begin{vmatrix}2 & 7 \\4 & \lambda \\\end{vmatrix} = a\lambda  - bc = \delta  $$

이 식에서 다른 숫자로부터 $\lambda$를 구할 수 있다. 즉, 행렬의 행렬식을 알면 행렬 내부의 알려지지 않은 원소를 구할 수 있다.

$$ \begin{vmatrix}\lambda & 1 \\3 & \lambda \\\end{vmatrix} = a\lambda ^2 -3 = 1 \Rightarrow  \lambda ^2 = 4 \Rightarrow \lambda = \pm 2 $$

이렇게 대각선에 동일한 미지수가 존재할 때, 풀어야할 식은 2차 다항식이 되고 2개의 해를 얻게 된다.

정리하자면 아래와 같다.

$$ det\left ( A - \lambda I \right ) = \delta $$

이렇게 행렬 이동과 행렬식을 결합하는 것을 특성 다항식(characteristic polynomial)이라고 한다.

특히 $  \delta = 0 $ 이 되는 특성다항식에 대한 해는 행렬의 고윳값이다.