딥러닝14 반응형 [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization2 저번 포스트에서 이어서.. 저자들이 주로 이야기하고 있는 것은 앞전 포스트에서 서술 하였듯이, NN가 학습데이터에 대해서 일반화하는 것이 아니라 외우는 것이다. Generalization에 대해서 다시 생각해볼 필요가 있다는 것이였습니다. Drop-out, BN 등 generalization에 도움이 되는 테크닉을 써도 잘 외운다라는 것을 보였습니다. 이어서 저자들은, NN의 expressivity에(표현성) 대해서 이야기하고 있습니다. NN의 expressivity에 대한 연구는 사전에 많이 진행되어 왔는데, 대부분 "population level"에 대한 연구입니다. 좀더 효율적인 것은 우리가 가지고 있는 도메인 데이터 n에 대해서 NN가 어느정도의 expressive power가 있는지 아는 것일 .. 2022. 12. 10. [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization 이번에 포스팅 할 논문은 "Understanding Deep Learning Requires Rethinking Generalization"으로서 2017 CVPR에서 Best paper로 선정된 논문입니다. 제목에서 알수 있듯이, 기존의 딥러닝에 관한 관점에 대해 의문을 제기하는 논문입니다. 이 논문에 대해 알아보기 앞서 한편의 논문을 살짝 리뷰하고 가도록 하겠습니다. "Deep Neural Network are Easily Fooled:" High Confidence Predictions for Unrecognizable Images 2015년 CVPR에 올라온 논문이고, 이번에 포스팅하고자 하는 논문의 느낌(?)과 비슷한 것 같아서 간단하게만 리뷰해보도록 하겠습니다. 아래 사진을 보시면 인간이 봤을.. 2022. 12. 10. [딥러닝 논문 리뷰] DOMAIN GENERALIZATION WITH MIXSTYLE 이번에는 도메인 generalization에 관한 논문을 소개해 드리도록 하겠습니다. ''MixStyle"이라는 논문으로 여러 style을 섞어서 잘 학습시켜보자 라는 컨셉을 가지고 있습니다. 현재 2021 ICLR에 submit되어 있는 상태이고 아직 decision은 나오지 않은 상태입니다. openreview.net/pdf?id=6xHJ37MVxxp CNN은 이미지 분류에서 매우 뛰어난 성능을 보이지만, 보지 못한 도메인에 대해서는 성능이 좋지 못합니다. 그 이유는, 학습데이터와 테스트 데이터가 같은 분포라는 가정이 있기 때문이죠. 아래 그림을 보시면 네개의 그림이 각기 다른 style을 가지고 있지만 모두 '강아지'라는 것을 알 수 있습니다. 여기서 한 style의 강아지를 학습 시키고 다른 st.. 2020. 10. 28. [딥러닝 논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation 이번에 포스팅할 논문은 "Regularizing Class-wise Predictions via Self-knowledge Distillation" 이라는 논문입니다. 최근에 Knwledge Distillation에 관심을 가지기 시작해서 읽어본 논문인데 사실 Knwledge Distillation과 크게 상관있지는 않는 논문이네요..ㅋㅋ 올해(2020) CVPR에 accept된 논문이고 카이스트에서 나온 논문입니다. 매우 심플하고 쉬운 아이디어를 논문에 잘 녹여낸것 같습니다. 이 논문은 아래 두문장으로 짤막하게 요약할 수 있을 것 같습니다. New Regularization method - We distill the predictive distribution between different sample.. 2020. 6. 12. [GAN 논문 리뷰] RealnessGAN : REAL OR NOT REAL, THAT IS THE QUESTION 이번에 리뷰할 논문은 RealnessGAN (REAL OR NOT REAL, THAT IS THE QUESTION) 입니다. 2020 ICLR poster spotlight 논문으로 선정된 논문으로,, 굉장히 제목만 보면 클릭해보지 않을 수 없는 논문입니다. 먼저 RealnessGAN의 결과부터 보고 가도록 하겠습니다. 얼핏 봐도 굉장히 좋은 성능을 내는 GAN이라는 것을 알 수 있습니다. Vanilla GAN Vanllia GAN은 input의 realness를 D의 single scalar를 이용해서 추정합니다. 하지만 인간은 이미지를 인식 할때 하나의 측면만을 보면서 인지 하지 않죠. 각도, 질감, 조합 등 다양한 측면과 기준을 고려합니다. 그러므로, 이 single scalar 값은 generat.. 2020. 5. 7. [딥러닝 논문 리뷰] Deep Double Descent : Where Bigger Models And More Data Hurt 이번에 리뷰할 논문은 Deep Double Descent : Where Bigger Models And More Data Hurt 라는 논문으로 2020ICLR에 accept된 논문이며, openAI에서 작성한 논문입니다. 수식은 거의 없고 거의 실험만 가지고 ICLR에 accept된 논문 입니다. 그런데 그 실험의 양이 어마어마합니다;; Bias-variance trade-off 는 통계적인 learning theory의 기본 컨셉이죠. 전통적인 통계분야에서는 '모델이 크면 좋지 않다'라고 주장을 하고 딥러닝은 이러한 인식을 깨는 모델입니다. 일반적으로 '모델이 크면 클수록 좋다'라고 말할 수 있습니다(물론, 복잡한 문제에 대해서 한해서). 그리고 전통적인 통계분야와 딥러닝 분야가 모두 동의하는 것은 .. 2020. 2. 5. [딥러닝 논문 리뷰] Generalisation in humans and deep neural networks 이번에 포스팅할 논문은 Generalisation in humans and deep neural networks 이라는 논문이고 2019년 NIPS에 accept된 논문입니다. (https://arxiv.org/pdf/1808.08750.pdf) 사실 거창한 제목 치고는 내용이 크게 임팩트 있지는 않아서 약간 실망 했지만... 그래도 학술적인 가치는 있으니 한번 살펴보도록 합시다. 1. Introduction 본 논문은 인관과 DNN의 robustness를 비교한 논문입니다. 인간에게는 직접적으로 실험을 진행 하였습니다.(이미지를 보여주고 선택하도록). DNN은 ResNet-152, VGG-19, GoogleLeNet을 사용 하였습니다. 결론적으로 이야기하면 인간이 당연히 더 robust하며, Disto.. 2019. 12. 2. [딥러닝 논문 리뷰] Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels 이번에 포스팅할 논문은 "Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels" 이라는 논문으로 2019 ICML에 accept된 논문입니다. 이 논문을 읽기전에 "Understanding Deep Learning Requires Rethinking Generalization" 이라는 논문을 읽어보시면 이해하는데 더 도움이 됩니다. 저 논문은 제가 이전에 포스팅 해 놓았으니 한번 읽어보시면 좋을 것 같습니다. https://bluediary8.tistory.com/10?category=609872 Understanding Deep Learning Requires Rethinking Generalization 이번에 포스팅 할.. 2019. 5. 30. 이전 1 2 다음
