본문 바로가기

Optimization

[Unconstrained Optimization]: Gradient Descent(2) 설명
Deep Learning/Optimization 2024. 1. 10. [Unconstrained Optimization]: Gradient Descent(2) 설명 Gradient Descent Gradient Descent에 대한 전반적인 내용은 이전글에서 살펴보았습니다. ▶ [Goal of unconstrained optimization] $$\min_\theta f( \theta ), \\ f( \theta ): \mathbb{R}^n \to \mathbb{R}$$ Unconstrained optimization은 어떠한 제약조건이 없는 convex 혹은 non-convex이고 differentiable(미분 가능한) 함수 $f$의 optimal $ \theta^*$를 찾는게 목적입니다. ▶ Algorithm $$\begin{align*} \theta^{(k)} &\gets \theta^{(k-1)} - t_k \nabla f(\theta ^{(k-1)}) \..
[Unconstrained Optimization]: Gradient Descent (1) 설명
Deep Learning/Optimization 2024. 1. 10. [Unconstrained Optimization]: Gradient Descent (1) 설명 최적화 기법은 크게 아래 다음 3가지로 분류할 수 있습니다. ▶ [Optimization 종류] Unconstrained Optimization: Gradient Descent Constrained Optimization: Lagrangian Multiply Convex Optimization 본 글은 제한 조건이 존재하지 않은 최적화 방법론(unconstrained optimization) 중 "Gradient Descent" 알고리즘에 대해 설명하고자 하며 [LG Aimers 3기,4기] 강의 및 [모두를 위한 컨벡스 최적화]를 참고하여 작성하였습니다. ▶ [Goal of unconstrained optimization] $$\min_\theta f( \theta ), \\ f( \theta ): \..

티스토리툴바