3편까지 쓰게 될 줄 몰랐던 딥러닝 핵심개념 수업 정리입니다! 딥러닝의 최대 적수인 overfitting을 피하는 방법에 대해 알아보겠습니다. 1) Dropout 신경망 training을 진행하면서, dropout은 매 batch마다 레이어 단위에서 일정 비율만큼의 신경망 Neuron을 꺼뜨리는 방식입니다. 그림의 맨 아래는 input layer, 맨 위는 output 입니다. 오른쪽의 dropout을 적용한 신경망을 나타낸 그림의 첫 번째와 세 번째 레이어에서는 40% 의 dropout을 적용하였고, 두 번째 레이어에서는 60%가 적용되었습니다. 주의할 점은 test 및 inference 단계에서는 dropout 을 적용하지 않고, 전체 neuron이 살아있는 채로 진행해야 한다는 점입니다. 아래 코드..