본문 바로가기

Machine Learning/Kernel Based Learning

Support Vector Machine(SVM)
Machine Learning/Kernel Based Learning 2024. 3. 21. Support Vector Machine(SVM) Support Vector Machine(SVM) for Classification 1. Definition 서포트 벡터 머신(support vector machine, SVM)은 기계 학습의 분야 중 하나로 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 모델이다(Reference). $$\text {Training Data: } D = \{(x_1, y_1), \cdots , (x_n, y_n) \} \in x \times \{-1, 1\}, \, x \in R^d $$ $$ H = \{x \to sign(w^tx_i + b), \, w \in R^d, \, b \in R \} $$ $$h(x): \, x \to \{-1,1\} \text { i..
Support Vector Regression(SVR)
Machine Learning/Kernel Based Learning 2023. 1. 16. Support Vector Regression(SVR) Support Vector Regression(SVR)은 SVM의 회귀 알고리즘이다. 회귀 알고리즘은 데이터가 주어졌을 때 데이터를 가장 잘 설명하는 하나의 선을 찾는 것이다. 가장 좋은 회귀 직선을 찾는 기준점은 특정 범위 내에서 최소값을 가지는 손실함수(ex. mse, rmse, mae) 값이고 만약 같은 성능을 가진다면 더 단순한 함수를 가진 모델을 선호한다. [SVC vs. SVR] 서포트 벡터 머신을 분류 문제와 회귀 문제에 적용할 때 정의가 다르다는 것과 SVM의 목적은 여백(margin)을 최대화하는 것임을 염두해 두어야 한다. 분류에서의 SVM은 두 클래스를 가장 잘 분류하는 초평면인 $w^t \cdot x +b$을 찾기 위해 여백을 최대화하는 것이 목적이다. 회귀에서의 SVM은 기본적으로..

티스토리툴바