ReLU함수1 반응형 알고리즘의 발전 - ReLU 기존의 인공 신경망의 단점으로 지적되는 특성이 여러가지가 있다. 크게 over fitting문제와 gradient vanishing problem가 있다. over fitting의 경우에는 학습데이터에 너무 맞춰서 학습이 되다보니 실제데이터(test data)에는 잘 안맞는 현상을 이야기 한다. gradient vanishing(exploding) problem은 neural network의 weight가 계속 전파 되면서 초기의 weight를 잊어버리거나(기울기가 0에 수렴하는 현상 /vanishing) 무한히 커지는 현상(exploding)을 이야기한다. gradient vanishing(exploding) problem은 activation function과 관련이 있는데, 기존의 신경망에서 가장 .. 2017. 3. 25. 이전 1 다음
