// tmp from https://youtu.be/90Nr6yQn9fU?t=2915
Q. 어떤 벡터 x에 대해 A라는 선형변환,linear_transformation을 한다면,
그 magnitude만 변하고 direction은 유지되는 vector가 존재하는가?
존재한다면 그 벡터는 무엇인가?
그 magnitude만 변하고 direction은 유지되는 vector가 존재하는가?
존재한다면 그 벡터는 무엇인가?
A. magnitude만 변하고 direction은 유지되는 그 vector: 고유벡터,eigenvector v,
그 크기 변화 비율: 고유값,eigenvalue λ
식으로는
그 크기 변화 비율: 고유값,eigenvalue λ
식으로는
A v = λ v
QQQ
eigenvectors는 존재한다면 (...tbw)에 대해 수없이 많으며
2D에선 모두 한 직선 위에
3D에선 모두 한 평면 위에?
eigenvectors는 존재한다면 (...tbw)에 대해 수없이 많으며
2D에선 모두 한 직선 위에
3D에선 모두 한 평면 위에?
55:30
행렬 A는 정사각행렬일 수 밖에 없다. 왜냐? 위 Av=λv에서
A 크기를 m×n, v 크기를 n×1로 가정하자.
좌변의 크기: Av의 크기는 m×1이고,
우변의 크기: λv의 크기는 n×1이다.
이것이 같아야 하므로, m=n이어야 한다. 따라서 A는 정사각행렬,square_matrix이다.
행렬 A는 정사각행렬일 수 밖에 없다. 왜냐? 위 Av=λv에서
A 크기를 m×n, v 크기를 n×1로 가정하자.
좌변의 크기: Av의 크기는 m×1이고,
우변의 크기: λv의 크기는 n×1이다.
이것이 같아야 하므로, m=n이어야 한다. 따라서 A는 정사각행렬,square_matrix이다.
56m
아무튼 Av=λv를 만족시키는
아무튼 Av=λv를 만족시키는
- v: eigenvector
- λ: eigenvalue
1) v=0
det(A-λI)=0을 만족시키는 λ=고유값
각 고유값 λ에 대응하는 v=고유벡터
1) 특성방정식,characteristic_equation 작성
2) 행렬식,determinant 계산
3) 고유벡터,eigenvector 구하기 - λ가 나오면 그에 대한 basis, eigenvector를 구하는 예.
- trivial solution - 너무 자명함 - 논외, 고유벡터로 생각하지 않음
- why? A-λI가 역행렬을 가진다면(행렬식이 0이 아님), 양변에 (A-λI)-1을 곱하면, v=0인 경우 밖에 없음
- 따라서 A-λI가 역행렬을 가지지 않는다 → det(A-λI)=0
det(A-λI)=0을 만족시키는 λ=고유값
각 고유값 λ에 대응하는 v=고유벡터
- A-λI의 null_space에 존재하는 모든 v=고유벡터(무한 개)
- 일반적으로, null space 대표값(기저,basis)를 고유벡터로 설정함
1) 특성방정식,characteristic_equation 작성
2) 행렬식,determinant 계산
3) 고유벡터,eigenvector 구하기 - λ가 나오면 그에 대한 basis, eigenvector를 구하는 예.
58:50
이것들의 활용 예.
이것들의 활용 예.
- 주성분분석,principal_component_analysis,PCA - 고차원 data의 차원축소,dimensionality_reduction를 통해 data의 주요 패턴,pattern을 파악하는 방법. 고유값과 고유벡터를 활용하여 고유값이 큰 순서대로 주성분을 선택 // 주성분,principal_component?
- 선형판별분석,linear_discriminant_analysis,LDA - 고유값과 고유벡터를 활용하여 class간 분산(분산,variance?)을 최대화 및 클래스 내 분산을 최소화하는 선형변환,linear_transformation을 찾는 방법
- 특이값분해,singular_value_decomposition,SVD - user-item matrix의 SVD에서 고유값과 고유벡터를 사용하여 추천시스템에 활용 // 추천시스템,recommendation_system { recommendation system } // recommendation system ..
recommendation system 
recommendation system
// Excerpt from: 머신러닝을 위한 수학과 응용 (2020), 삼성SDS 문기효
역사
선형대수학의 중요한 이론인 고유값,eigenvalue과 고유벡터,eigenvector의 개념은,
역사적으로 이차형식,quadratic_form과 미분방정식,differential_equation 이론으로부터 발전했다.
18세기에 Leonhard_Euler가 강체,rigid_body의 회전운동,rotational_motion{
회전운동,rotational_motion 
회전운동 
rotational_motion ... }에 대해 연구하면서 주축,principal_axis(주요축,principal_axis?)의 중요성에 대해 발견.
그리고 Joseph-Louis_Lagrange가 이 주축이 관성행렬(Inertia Matrix ...관성텐서 말하는건가?
관성행렬 inertia.matrix)의 고유벡터,eigenvector라는 것을 알게 되었다.
그리고 Joseph_Fourier, Pierre-Simon_Laplace, Charles_Hermite, Joseph_Liouville 등과 같은 유명한 수학자들에 의해 특성방정식,characteristic_equation{특성방정식,characteristic_equation ... 특성방정식 characteristic_equation }이 개발되고 고유값과 고유벡터의 여러 가지 성질들이 밝혀지게 되었다.
전통적으로 이러한 개념은 수학적으로 미분방정식을 풀기 위해 도입되었지만, 최근에는 인공지능을 포함한 머신러닝에서 사용되고 있어 그 중요도가 더 높아졌다고 할 수 있다.
역사적으로 이차형식,quadratic_form과 미분방정식,differential_equation 이론으로부터 발전했다.
18세기에 Leonhard_Euler가 강체,rigid_body의 회전운동,rotational_motion{
회전운동,rotational_motion 회전운동 rotational_motion ... }에 대해 연구하면서 주축,principal_axis(주요축,principal_axis?)의 중요성에 대해 발견.그리고 Joseph-Louis_Lagrange가 이 주축이 관성행렬(Inertia Matrix ...관성텐서 말하는건가?
관성행렬 inertia.matrix)의 고유벡터,eigenvector라는 것을 알게 되었다.그리고 Joseph_Fourier, Pierre-Simon_Laplace, Charles_Hermite, Joseph_Liouville 등과 같은 유명한 수학자들에 의해 특성방정식,characteristic_equation{
특성방정식,characteristic_equation ... 특성방정식 characteristic_equation }이 개발되고 고유값과 고유벡터의 여러 가지 성질들이 밝혀지게 되었다.전통적으로 이러한 개념은 수학적으로 미분방정식을 풀기 위해 도입되었지만, 최근에는 인공지능을 포함한 머신러닝에서 사용되고 있어 그 중요도가 더 높아졌다고 할 수 있다.
고유값과 고유벡터란 // 이하 원문 그대로
정사각행렬,square_matrix인 선형변환,linear_transformation{선형변환,linear_transformation} A 에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터라 하고 이 상수배 λ의 값을 고유값이라고 합니다. 이를 행렬과 벡터를 사용하여 나타내면 다음 식과 같습니다.
이제 고유값과 고유벡터를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
따라서 다음과 같은 조건을 만족시켜야 합니다.
특성방정식,characteristic_equation이라고 합니다.
식 (4)로부터 λ값을 계산할 수 있고 이 값을 고유값이라고 합니다.
고유값을 구한 후 이 값을 식 (2)에 대입하여 고유벡터를 구할 수 있습니다.
고유벡터는 A-λI의영공간,null_space에 있는 벡터이며 유일하지 않고 일반적으로 단위벡터화(‖v‖=1)하여 사용합니다.
선형변환,linear_transformation} A 에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터라 하고 이 상수배 λ의 값을 고유값이라고 합니다. 이를 행렬과 벡터를 사용하여 나타내면 다음 식과 같습니다.Av=λv ....(1)
(...기하학적으로는 벡터가 방향이 변하지 않고 크기가 변한다는 얘기...)이제 고유값과 고유벡터를 찾아봅시다. 식 (1)의 우변을 좌변으로 옮겨 변형하면 다음과 같습니다.
(A-λI)v=0 ....(2)
여기서 I는 단위행렬(Identity Matrix)입니다. 식 (2)에서 A-λI의 역행렬,inverse_matrix이 존재한다고 가정하면 어떻게 될까요? 식 (3)을 보면,v=(A-λI)-10=0 ....(3)
이 되므로 v=0 즉 고유벡터가 항상 0이 되어버립니다. 우리는 0이 아닌 벡터를 찾으려고 하고 이렇게 하기 위해서는 A-λI의 역행렬이 존재하지 않아야 됩니다.따라서 다음과 같은 조건을 만족시켜야 합니다.
det(A-λI) = 0 ....(4)
식 (4)를 특성방정식,characteristic_equation이라고 합니다.식 (4)로부터 λ값을 계산할 수 있고 이 값을 고유값이라고 합니다.
고유값을 구한 후 이 값을 식 (2)에 대입하여 고유벡터를 구할 수 있습니다.
고유벡터는 A-λI의
영공간,null_space에 있는 벡터이며 유일하지 않고 일반적으로 단위벡터화(‖v‖=1)하여 사용합니다.아래 그림 2(원문링크참조)는 선형 변환을 보여주고 있으며, 선형 변환 후 붉은색 화살표는 방향이 변화하고 푸른색 화살표는 방향이 변화하지 않고 있습니다. 푸른색 화살표는 고유벡터라고 하며 크기가 변하지 않았기 때문에 고유값은 1이라고 할 수 있습니다. 붉은색 화살표는 방향이 변화하였기 때문에 고유벡터가 아닙니다.