03 machine learning math

* 변수가 다양한 일반화된 과정에서 유용하고 특별한 구체적 특징들로 기억해야하는 방식. 

 1. norm :

벡터의 길이를 실수로 만드는 함수

absolutely homogeneous

trinangle inequality

positive definite

Euclidean norm : 벡터의 길이

||x|| = sqrt(xTx) 

2. inner product 가 정의되기 위한 두 가지 성격

"A positive definite," 

"symmetric bilinear mapping " : V V ! R 

is called an inner product on V

inner product도 함수이므로 정의역이 (벡터스페이스, 이너프로덕트 스페이스) 이렇게 표현한다.

Symmetric, positive definite matrices play an important role in machine

learning, and they are defined via the inner product.

Consider an n-dimensional vector space V with an inner product h; i :

V V ! R (see Definition 3.3) and an ordered basis B = (b1; : : : ; bn) of

V . 

inner product를 갖는 n차 vector space를 생각해본다. 

ordered basis {b1,b2,b3,....bn}이라고 하면, n차 벡터 스페이스에 있는 모든 두 벡터는 적절한 실수배를 한 {b1,b2,b3,....bn}의 리니어 컴비네이션으로 표현할 수 있다. 

- <x,y> 는 두 벡터의 inner product는 행렬연산으로는 이렇게 표현된다. 

 기저벡터를 행렬로 나타내고 그 기저벡터가 만들어준 좌표행렬을 앞뒤로 곱하면 나온다. 

- A 행렬은 symmetric matrix 이 행렬이 결국 전체 함수를 >0 을 만들어야  inner product.

A 행렬이 symmetric, positive definite 가 만족이 되면 기저벡터로 표현된 좌표들을 곱한 것이 inner product라고 할 수 있다. 

The null space (kernel) of A consists only of 0 because x>Ax > 0 for

all x 6= 0. This implies that Ax 6= 0 if x 6= 0.

The diagonal elements aii of A are positive because aii = e>

i Aei > 0,

where ei is the ith vector of the standard basis in Rn.

이거 모르겠음. 정확히 알아내기

*inner product 가 norm을 만들어내는데 모든 norm이 inner product에서 나온것은 아니다. 

 우리는 inner product가 만들어낸 norm에 대해서 초점을 맞출 뿐이다. 

(Cauchy-Schwarz Inequality). For an inner product vector space

(V; h; i) the induced norm k  k satisfies the Cauchy-Schwarz inequality Cauchy-Schwarz

inequality

j hx; yi j 6 kxkkyk : (3.17)

}

- inner product 가 만들어낸 스페이스에 있는 inequality
- inner product로 알게 되는 벡터 길이

dot product와 inner product는 값이 다를 수 있다. 가운데 행렬 A(what kind of ordered basis)에 따라 inner product 값은  달라진다. 

norm 의 계산 방법을 사용하면 distance, length 값이 충분하지만,

inner product를 사용해서 만들어진 norm으로 distance 를 만들어내면 어떤 inner product를 사용하냐에 따라 distance 값이
다양해질 수 있다. 

metric - 두 벡터를 두벡터간의 거리를 나타내는  inner product 에 대응 시킨것.

using inner production, or using dot production?

서로 값이 다르다. 

Q : norm vs dot product?

- norm:dot product를 루트 씌운것., dot product= x Ty: dot product는 행렬적 표현, 

orthogonal matrix :  정리한 후 연결해서 또 정리하기. 그램슈미트 정리하기

Transformations

with orthogonal

matrices preserve

distances and

angles.

inner product와 dot product가 일치하는 경우는 A 가 orthonormal matrix인 경우. 길이와 각이 다 보존된다. inner product에서.the inner product is the dot product of vectors.

U in a

three-dimensional

vector space can be

described by its

normal vector,

which spans its

orthogonal

complement Uㅗ
: 이 컨셉을 정확히 이해.

normal vector (주로 3차원 공간에서 2차원설명할때 사용하지만 n차에서도 주로 사용한다. )

orthogonal projection 이 머신 러닝에서 많이 쓰이는 이유는 n 차원의 데이터들을 다뤄야할때 종종 적은 차원에서 중요한 데이터가 있고 나머지는 별로 소용이 없을때 그 작은 데이터을 건져서 compression  하는 방법으로 데이터 손실을 최소로 해서 사용할 때 사용되는 개념. 

More specifically, we

can project the original high-dimensional data onto a lower-dimensional

feature space and work in this lower-dimensional space to learn more

about the dataset and extract relevant patterns.

Assume we are given a line (one-dimensional subspace) through the origin

with basis vector b 2 Rn. The line is a one-dimensional subspace

U  Rn spanned by b. 

-벡터 공간 안에 어떠한 차원의 서브공간이든간에 해당기저벡터를 확장한 것이라고 구체적으로 설명할 수 있어야한다. 

projection의 기본적인 두 가지 성격

 a벡터를 b벡터에 projection 시키는 상황

1. projection 된 벡터를 ax라하면, <ax-a,b>=0

2. ax=ㅅb 

- 3가지 단계를 통하여,  ㅅ을 구하고, ax, projection matrix를 구할 수 있다. 

projection matrix는 항상  symmetric