오버피팅2 반응형 [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization2 저번 포스트에서 이어서.. 저자들이 주로 이야기하고 있는 것은 앞전 포스트에서 서술 하였듯이, NN가 학습데이터에 대해서 일반화하는 것이 아니라 외우는 것이다. Generalization에 대해서 다시 생각해볼 필요가 있다는 것이였습니다. Drop-out, BN 등 generalization에 도움이 되는 테크닉을 써도 잘 외운다라는 것을 보였습니다. 이어서 저자들은, NN의 expressivity에(표현성) 대해서 이야기하고 있습니다. NN의 expressivity에 대한 연구는 사전에 많이 진행되어 왔는데, 대부분 "population level"에 대한 연구입니다. 좀더 효율적인 것은 우리가 가지고 있는 도메인 데이터 n에 대해서 NN가 어느정도의 expressive power가 있는지 아는 것일 .. 2022. 12. 10. [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization 이번에 포스팅 할 논문은 "Understanding Deep Learning Requires Rethinking Generalization"으로서 2017 CVPR에서 Best paper로 선정된 논문입니다. 제목에서 알수 있듯이, 기존의 딥러닝에 관한 관점에 대해 의문을 제기하는 논문입니다. 이 논문에 대해 알아보기 앞서 한편의 논문을 살짝 리뷰하고 가도록 하겠습니다. "Deep Neural Network are Easily Fooled:" High Confidence Predictions for Unrecognizable Images 2015년 CVPR에 올라온 논문이고, 이번에 포스팅하고자 하는 논문의 느낌(?)과 비슷한 것 같아서 간단하게만 리뷰해보도록 하겠습니다. 아래 사진을 보시면 인간이 봤을.. 2022. 12. 10. 이전 1 다음
