딥러닝23 반응형 [딥러닝 논문 리뷰] ImageNET-Trained CNNS Are Biased Towards Texture; Increasing Shape Bias Improves Accuracy And Robustness 이번에 리뷰할 논문은 ImageNET-Trained CNNS Are Biased Towards Texture; Increasing Shape Bias Improves Accuracy And Robustness 이라는 논문으로 ICLR2019에 oral 발표로 accept된 논문입니다. ICRL2019에 accept된 논문 500편 중에 20여편정도가 oral인걸 감안한다면, 매우 좋은 점수를 받은것을 알 수 있죠. 논문을 읽어보면 아시겠지만, 수식이 거의 없고 직관적으로 설명이 잘 되어 있습니다. 이 논문이 oral로 accept된 이유는 (제생각) 기존의 CNN을 바라보는 관점을 깨뜨린 점과 다양한 실험으로 본인들의 가설을 증명하려고 노력한 점 때문이 아닐까 싶습니다. 이 논문의 핵심은 다음 이미지 한.. 2022. 12. 10. [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization2 저번 포스트에서 이어서.. 저자들이 주로 이야기하고 있는 것은 앞전 포스트에서 서술 하였듯이, NN가 학습데이터에 대해서 일반화하는 것이 아니라 외우는 것이다. Generalization에 대해서 다시 생각해볼 필요가 있다는 것이였습니다. Drop-out, BN 등 generalization에 도움이 되는 테크닉을 써도 잘 외운다라는 것을 보였습니다. 이어서 저자들은, NN의 expressivity에(표현성) 대해서 이야기하고 있습니다. NN의 expressivity에 대한 연구는 사전에 많이 진행되어 왔는데, 대부분 "population level"에 대한 연구입니다. 좀더 효율적인 것은 우리가 가지고 있는 도메인 데이터 n에 대해서 NN가 어느정도의 expressive power가 있는지 아는 것일 .. 2022. 12. 10. [딥러닝 논문 리뷰] Understanding Deep Learning Requires Rethinking Generalization 이번에 포스팅 할 논문은 "Understanding Deep Learning Requires Rethinking Generalization"으로서 2017 CVPR에서 Best paper로 선정된 논문입니다. 제목에서 알수 있듯이, 기존의 딥러닝에 관한 관점에 대해 의문을 제기하는 논문입니다. 이 논문에 대해 알아보기 앞서 한편의 논문을 살짝 리뷰하고 가도록 하겠습니다. "Deep Neural Network are Easily Fooled:" High Confidence Predictions for Unrecognizable Images 2015년 CVPR에 올라온 논문이고, 이번에 포스팅하고자 하는 논문의 느낌(?)과 비슷한 것 같아서 간단하게만 리뷰해보도록 하겠습니다. 아래 사진을 보시면 인간이 봤을.. 2022. 12. 10. [GAN 논문 리뷰] RadialGAN 이번에 포스팅할 논문은 RadialGAN (Leveraging multiple datasets to improve target-specific predictive models using Generative Adversarial Networks) 입니다. 제목에서 알수 있듯이 predictive model (classifier)의 성능을 높이기 위한 GAN으로 2018ICML에 나온 논문입니다. 사실 GAN을 이용해서 데이터를 더 생성 해서 classifer의 성능을 높일 수 있을까라는 의문은 많은 사람들이 가지고 있던 의문이였습니다. GAN의 성능을 높일 수 있는 알고리즘들은 계속 발전해왔지만 이런 task에 대해서 연구가 활발히 진행되어 오지는 않았습니다. 본 논문에서는 여러 도메인(비슷한)에서 특정 .. 2022. 12. 10. GAN (Generative Adversarial Networks) 기본 개념과 학습 원리 GANs(Generative Adversarial Networks)는 Ian Goodfellow가 처음으로 제안한 genative model로서 최근 3년사이에 origianl GAN에서 발전된 다양한 GAN들이 나왔습니다. (Conditional GAN, InfoGAN, f-GAN, Wessterian GAN, DCGAN, BEGAN, Cycle GAN, DiscoGAN, EBGAN 등등.....) 한국어로 된 GAN자료는 유재준님 블로그(http://jaejunyoo.blogspot.com/2017/01/generative-adversarial-nets-1.html)에 개념적인 설명과 수식적인 설명이 모두 잘 되어 있습니다. 거기에 더불어 제가 GAN을 공부하고 R로 구현하면서 궁금했던 점을 중점적으.. 2022. 12. 10. 자연어처리(NLP)분야의 다양한 Task와 데이터 자연어처리 (Text) - 텍스트 (Text) : 텍스트 분야에서의 딥러닝 적용 또한 꾸준히 연구 되었습니다. 텍스트 분야는 세부 Task로 나뉘어 연구가 되었는데 대표적으로 다음과 같은 것 들이 있습니다. - Sentiment Analysis (감정 분석) 문장에 대한 정보를 통해 분류하는 문제 중 하나로 그 중 문장에 대한 특정 감정을 분류해내는 문제로 NLP의 대표적인 Task라고 할 수 있습니다. '이 집은 맛집이야', '이 영화는 재미 없어' 이러한 문장 속 의미가 긍정인지 부정인지를 판단하는 것이라고 볼 수 있습니다. 보통 긍정과 부정을 분류하는 문제들이 많지만, 긍정의 정도를 나타내는 점수 5점 척도로 표현하여 예측하는 문제로 접근하는 경우도 있습니다. Dataset : The Stanfor.. 2020. 12. 10. [딥러닝 논문 리뷰] DOMAIN GENERALIZATION WITH MIXSTYLE 이번에는 도메인 generalization에 관한 논문을 소개해 드리도록 하겠습니다. ''MixStyle"이라는 논문으로 여러 style을 섞어서 잘 학습시켜보자 라는 컨셉을 가지고 있습니다. 현재 2021 ICLR에 submit되어 있는 상태이고 아직 decision은 나오지 않은 상태입니다. openreview.net/pdf?id=6xHJ37MVxxp CNN은 이미지 분류에서 매우 뛰어난 성능을 보이지만, 보지 못한 도메인에 대해서는 성능이 좋지 못합니다. 그 이유는, 학습데이터와 테스트 데이터가 같은 분포라는 가정이 있기 때문이죠. 아래 그림을 보시면 네개의 그림이 각기 다른 style을 가지고 있지만 모두 '강아지'라는 것을 알 수 있습니다. 여기서 한 style의 강아지를 학습 시키고 다른 st.. 2020. 10. 28. 최근 인공지능 (딥러닝) 적용 사례 (분야) 딥러닝이 부흥하기 시작하면서 다양한 분야에 다양한 형태로 발전이 되어오고 있습니다. 이번 포스팅에서는 딥러닝이 쓰이는 분야에 대해 간단히 소개 해 보도록 하겠습니다. 이 외에도 다양한 분야가 있으니, 참고 하시길 바랍니다. 컴퓨터 비젼 (Computer Vision) 이미지 분류 (Image classification) 이미지 분류 : 인간이 이미지를 분류하는 성능은 약 95%정도 입니다. 인공지능 모델을 구축해서 이미지를 분류하는 대회가 2010년부터 열려왔습니다. 2010년에 우승했던 모델의 분류 성능은 약 72%입니다. 어떻게 하면 인간처럼 또는 그 이상 이미지 분류의 성능을 낼 수 있을까 많은 연구자들이 고민을 해왔습니다. 2015년 ResNet이라는 모델이 약96%의 성능을 기록하면서 나오면서 .. 2020. 6. 24. 이전 1 2 3 다음
