pod3275 / evolutionary-successive-halving-algorithm

Evolutionary algorithm and SHA-based hyperparameter optimization (ESHA)

Evolutionary-Successive-Halving-Algorithm

Description

• 기존 하이퍼파라미터 최적화 기법들의 단점을 보완하는 효율적인 하이퍼파라미터 최적화 기법.

• ESHA는 Hyperband의 병렬적인 계산 및 자원을 효율적으로 분배한다는 특성과 Bayesian Optimization의 기존 탐색을 통해 얻은 정보를 활용한다는 특성을 결합한 알고리즘임.

• 이미지 분류 모델을 이용한 실험 결과, ESHA는 총 가용 자원이 낮은 환경에서 기존의 하이퍼파라미터 최적화 기법들에 비해 높은 성능을 보임.

Requirements

• Python 3.6
• Tensorflow == 1.12.0
• Keras >= 2.2.4
• Scikit-Optimize (for Bayesian Optimization)
• Hyperopt (for TPE, ESHA)
• HpBandSter (for BOHB)

Algorithm

• To be continued

Implemented Methods

• Bayesian Optimization
• Hyperband
• TPE
• BOHB
• ESHA (Evolutionary Successive Halving Algorithm)