본문 바로가기

Deep Learning/Optimization

[Unconstrained Optimization]: Gradient Descent(2) 설명
Deep Learning/Optimization 2024. 1. 10. [Unconstrained Optimization]: Gradient Descent(2) 설명 Gradient Descent Gradient Descent에 대한 전반적인 내용은 이전글에서 살펴보았습니다. ▶ [Goal of unconstrained optimization] $$\min_\theta f( \theta ), \\ f( \theta ): \mathbb{R}^n \to \mathbb{R}$$ Unconstrained optimization은 어떠한 제약조건이 없는 convex 혹은 non-convex이고 differentiable(미분 가능한) 함수 $f$의 optimal $ \theta^*$를 찾는게 목적입니다. ▶ Algorithm $$\begin{align*} \theta^{(k)} &\gets \theta^{(k-1)} - t_k \nabla f(\theta ^{(k-1)}) \..
[Unconstrained Optimization]: Gradient Descent (1) 설명
Deep Learning/Optimization 2024. 1. 10. [Unconstrained Optimization]: Gradient Descent (1) 설명 최적화 기법은 크게 아래 다음 3가지로 분류할 수 있습니다. ▶ [Optimization 종류] Unconstrained Optimization: Gradient Descent Constrained Optimization: Lagrangian Multiply Convex Optimization 본 글은 제한 조건이 존재하지 않은 최적화 방법론(unconstrained optimization) 중 "Gradient Descent" 알고리즘에 대해 설명하고자 하며 [LG Aimers 3기,4기] 강의 및 [모두를 위한 컨벡스 최적화]를 참고하여 작성하였습니다. ▶ [Goal of unconstrained optimization] $$\min_\theta f( \theta ), \\ f( \theta ): \..
Hyper-Parameter Optimization: Bayesian Optimization
Deep Learning/Optimization 2023. 2. 5. Hyper-Parameter Optimization: Bayesian Optimization 이번 글에서는 Hyper-Parameter Optimization 방법론 중 하나인 Bayesian Optimization에 대해 다룰 것이다. Hyper-Parameter Optimization이란, 학습을 수행하기 위해 사전에 설정해야만 하는 값인 hyper-parameter의 최적값을 탐색하는 문제이다. Hyper-Parameter의 최적값이란, 학습이 완료된 모델의 일반화 성능을 최고 수준으로 발휘하도록 하는 hyper-parameter 값이다. 학습하는 데이터셋에 따라 같은 모델이여도 hyper-parameter의 최적값은 다르다. 즉, 데이터의 특성을 반영하며 모델의 성능을 높이기 위해서는 hyper-parameter optimization 과정이 필요하다. Hyper-Parameter Opt..

티스토리툴바