Machine Learning/Dimensionality Reduction
2023. 1. 2.
Local Linear Embedding(LLE)
LLE는 고차원 공간에서 인접해 있는 데이터들 사이의 선형적 구조를 보존하면서 저차원으로 임베딩하는 방법론이다. 즉, 좁은 범위에서 구축한 선형모델을 연결하면 다양체, 매니폴드를 잘 표현할 수 있는 알고리즘이다. ISOMAP과 LLE는 local한 정보를 이용해서 임베딩하는 점에서는 동일하지만, 어떻게 locality를 반영할지에 대해서는 다르다. LLE는 사용하기에 간단하며 최적화 시 local minimum으로 가지 않으며 비선형 임베딩 생성이 가능하다는 장점이 존재한다. LLE 알고리즘 LLE의 전체적인 과정은 'Figure 1'과 같다. 먼저, 각 점으로부터 근접한 이웃을 선정한다. 근접한 이웃으로부터 선형적으로 가장 잘 재구성하는 가중치를 계산한 후, 가중치를 최대한 보존하는 embedding ..
