Deep Learning/Optimization
2023. 2. 5.
Hyper-Parameter Optimization: Bayesian Optimization
이번 글에서는 Hyper-Parameter Optimization 방법론 중 하나인 Bayesian Optimization에 대해 다룰 것이다. Hyper-Parameter Optimization이란, 학습을 수행하기 위해 사전에 설정해야만 하는 값인 hyper-parameter의 최적값을 탐색하는 문제이다. Hyper-Parameter의 최적값이란, 학습이 완료된 모델의 일반화 성능을 최고 수준으로 발휘하도록 하는 hyper-parameter 값이다. 학습하는 데이터셋에 따라 같은 모델이여도 hyper-parameter의 최적값은 다르다. 즉, 데이터의 특성을 반영하며 모델의 성능을 높이기 위해서는 hyper-parameter optimization 과정이 필요하다. Hyper-Parameter Opt..
