딥러닝23 반응형 딥러닝(Deep Learning)의 정의, 기존의 머신 러닝(Machine Learning) 과의 차이점 이번 포스팅에서는 딥러닝(Deep Learning)에 대한 정의와 기존의 머신 러닝(Machine Learning) 과의 차이점 그리고 전통적인 data Science 문제에서 딥러닝이 잘 쓰이지 않는 이유에 대해 다루어 보도록 하겠습니다. 인공지능 인공지능 (Artificial Intelligence : AI)의 사전적은 의미는 다음과 같습니다. '인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것'. 딥러닝 (Deep Learning)이 부흥하기 시작하면서 인공지능을 이야기하면 딥러닝을 바로 떠오르는 사람이 많지만, 사실은 전통적인 머신 러닝 (데이터.. 2020. 6. 24. [딥러닝 논문 리뷰] Regularizing Class-wise Predictions via Self-knowledge Distillation 이번에 포스팅할 논문은 "Regularizing Class-wise Predictions via Self-knowledge Distillation" 이라는 논문입니다. 최근에 Knwledge Distillation에 관심을 가지기 시작해서 읽어본 논문인데 사실 Knwledge Distillation과 크게 상관있지는 않는 논문이네요..ㅋㅋ 올해(2020) CVPR에 accept된 논문이고 카이스트에서 나온 논문입니다. 매우 심플하고 쉬운 아이디어를 논문에 잘 녹여낸것 같습니다. 이 논문은 아래 두문장으로 짤막하게 요약할 수 있을 것 같습니다. New Regularization method - We distill the predictive distribution between different sample.. 2020. 6. 12. [GAN 논문 리뷰] RealnessGAN : REAL OR NOT REAL, THAT IS THE QUESTION 이번에 리뷰할 논문은 RealnessGAN (REAL OR NOT REAL, THAT IS THE QUESTION) 입니다. 2020 ICLR poster spotlight 논문으로 선정된 논문으로,, 굉장히 제목만 보면 클릭해보지 않을 수 없는 논문입니다. 먼저 RealnessGAN의 결과부터 보고 가도록 하겠습니다. 얼핏 봐도 굉장히 좋은 성능을 내는 GAN이라는 것을 알 수 있습니다. Vanilla GAN Vanllia GAN은 input의 realness를 D의 single scalar를 이용해서 추정합니다. 하지만 인간은 이미지를 인식 할때 하나의 측면만을 보면서 인지 하지 않죠. 각도, 질감, 조합 등 다양한 측면과 기준을 고려합니다. 그러므로, 이 single scalar 값은 generat.. 2020. 5. 7. [딥러닝 논문 리뷰] Deep Double Descent : Where Bigger Models And More Data Hurt 이번에 리뷰할 논문은 Deep Double Descent : Where Bigger Models And More Data Hurt 라는 논문으로 2020ICLR에 accept된 논문이며, openAI에서 작성한 논문입니다. 수식은 거의 없고 거의 실험만 가지고 ICLR에 accept된 논문 입니다. 그런데 그 실험의 양이 어마어마합니다;; Bias-variance trade-off 는 통계적인 learning theory의 기본 컨셉이죠. 전통적인 통계분야에서는 '모델이 크면 좋지 않다'라고 주장을 하고 딥러닝은 이러한 인식을 깨는 모델입니다. 일반적으로 '모델이 크면 클수록 좋다'라고 말할 수 있습니다(물론, 복잡한 문제에 대해서 한해서). 그리고 전통적인 통계분야와 딥러닝 분야가 모두 동의하는 것은 .. 2020. 2. 5. [딥러닝 논문 리뷰] Generalisation in humans and deep neural networks 이번에 포스팅할 논문은 Generalisation in humans and deep neural networks 이라는 논문이고 2019년 NIPS에 accept된 논문입니다. (https://arxiv.org/pdf/1808.08750.pdf) 사실 거창한 제목 치고는 내용이 크게 임팩트 있지는 않아서 약간 실망 했지만... 그래도 학술적인 가치는 있으니 한번 살펴보도록 합시다. 1. Introduction 본 논문은 인관과 DNN의 robustness를 비교한 논문입니다. 인간에게는 직접적으로 실험을 진행 하였습니다.(이미지를 보여주고 선택하도록). DNN은 ResNet-152, VGG-19, GoogleLeNet을 사용 하였습니다. 결론적으로 이야기하면 인간이 당연히 더 robust하며, Disto.. 2019. 12. 2. [딥러닝 논문 리뷰] Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels 이번에 포스팅할 논문은 "Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels" 이라는 논문으로 2019 ICML에 accept된 논문입니다. 이 논문을 읽기전에 "Understanding Deep Learning Requires Rethinking Generalization" 이라는 논문을 읽어보시면 이해하는데 더 도움이 됩니다. 저 논문은 제가 이전에 포스팅 해 놓았으니 한번 읽어보시면 좋을 것 같습니다. https://bluediary8.tistory.com/10?category=609872 Understanding Deep Learning Requires Rethinking Generalization 이번에 포스팅 할.. 2019. 5. 30. [GAN 논문 리뷰] Augmented Cyclic Adversarial Learning For Low Resource Domain Adaptation 이번에 포스팅할 논문은 ICLR 2019 poster로 accept된 Augmented Cyclic Adversarial Learning For Low Resource Domain Adaptation 이라는 논문입니다. 이 논문은 CycleGAN을 이용해 조금(?) 변형시켜 target domain의 데이터가 적을 때에 domain adaptation에 적용한 논문입니다. 우선 논문에 대해 리뷰하기 전에 Cycle GAN에 대해서 알아야합니다. Cycle GAN은 워낙 유명한 논문이라 대부분의 사람들이 아실거라 생각합니다. 아래와 같이 X domain과 Y domain을 서로 치환? 할수 있는 GAN모델이죠. 보통은 style transfer로 관련해서 많이 알고 있는데 본논문의 저자들은 domain a.. 2019. 4. 4. [GAN논문 리뷰] Discriminator Rejection Sampling 이번에 포스팅할 논문은 Discriminator Rejection Sampling (DRS) 이라는 논문으로 (https://arxiv.org/pdf/1810.06758.pdf) 2019 ICLR에 accept된 논문입니다. GAN의 disicriminator만 건드린 논문인데 GAN모델 성능지표(IS, FID)에서 SOTA를 찍었습니다. (그런데 동시에 ICLR에나온 BigGAN(DeepMind)이란 논문이 이 논문의 성능 대비 2배이상 SOTA를 찍었습니다...ㅎㅎ) 현시점에서 GAN SOTA는 BigGAN입니다. 그럼에도 불구하고 이 논문을 리뷰하는 이유는 아이디어가 직관적이고 흥미롭기 때문입니다. DRS는 이 전시점의 SOTA 모델인 Self-Attention GAN (SAGAN) 을 basemo.. 2019. 1. 7. 이전 1 2 3 다음
