행렬의 이차식

1. 이차식 개념

 

 이차식  표현은 다항식을 벡터 형태로 나타낼 때 사용하는 유용한 방법이다.

 위와 같은 식을 다음과 같이 벡터를 이용해 표현할 수 있다.

 위 수식은 내적의 식과 동일하다. 

 

 최고차항이 이차항일때는 다음과 같이 표현한다.

 위 수식에서 2w3x1x2와 같이 인덱스가 서로 다른 경우의 곱을 cross product term이라고 부른다. 위 수식을 벡터와 행렬의 곱 형태로 표현하면 아래와 같다.

 벡터 x의 원소가 3개인 경우는 다음과 같다.

 위에서 행렬 W는 대칭 행렬이라는 것을 알 수 있다. W의 대각 원소는 최고차항이 2인 제곱 항을 의미한다. 대각 원소가 아닌 원소는 cross product term의 절반 값이다. 위와 같이 xTWx 형태로 표현할 식을 W에 대한 이차식이라고 한다. 만약 모든 cross product form 값이 0이라면 아래와 같이 표현 가능하다.

 

 2. 양정치 행렬

 

 아래 조건은 양정치를 나타낸다.

 이차식이 양정치일 때 행렬 W를 양정치 행렬이라고 부른다. 행렬 W가 양정치 행렬이라는 말은 행렬 W가 대칭 행렬이며 고윳값이 모두 0보다 크다는 말과 같다.

 

 3. 벡터의 미분

 변수 y를 가중치 벡터 x로 미분한다고 하면 아래와 같이 표현한다.

y는 스칼라, x는 벡터이다.

  위 두식은 서로 동일하다. 두 수식의 우변을 보면 벡터 w와 벡터 x를 곱하는데 이때, 벡터의 곱은 곱하는 순서와 상관없이 같은 결과를 가지게 된다. 따라서, 위 수식을 벡터 x에 대해 미분한 결과도 다음과 같이 서로 동일하다.