딥러닝14 반응형 [GAN 논문 리뷰] Augmented Cyclic Adversarial Learning For Low Resource Domain Adaptation 이번에 포스팅할 논문은 ICLR 2019 poster로 accept된 Augmented Cyclic Adversarial Learning For Low Resource Domain Adaptation 이라는 논문입니다. 이 논문은 CycleGAN을 이용해 조금(?) 변형시켜 target domain의 데이터가 적을 때에 domain adaptation에 적용한 논문입니다. 우선 논문에 대해 리뷰하기 전에 Cycle GAN에 대해서 알아야합니다. Cycle GAN은 워낙 유명한 논문이라 대부분의 사람들이 아실거라 생각합니다. 아래와 같이 X domain과 Y domain을 서로 치환? 할수 있는 GAN모델이죠. 보통은 style transfer로 관련해서 많이 알고 있는데 본논문의 저자들은 domain a.. 2019. 4. 4. [딥러닝 논문 리뷰] Universal adversarial perturbation 이번에 리뷰할 논문은 작년 (17년) CVPR에 나온 논문으로 perturbation에 관한 논문입니다. "Universal adversarial perturbation" 이라는 제목에서 알수 있듯이 보편적인 perturbation을 만드는 내용에 대한 논문입니다. 이전에 포스팅했던 글(http://bluediary8.tistory.com/10?category=609872)에서 잠깐 "Deep Neural Network are Easily Fooled:" 이라는 논문을 언급하고 지나갔는데, 그 논문의 주된 내용은 이미지에 적절한 noise를 추가하면 DNN을 완벽하게 속일 수 있다 라는 것이 였습니다. 그런데 그 noise를 추가하는 방법이 비교적 까다롭고 'universal'하지 않았습니다. 여러 이미.. 2018. 6. 5. Dueling Network Architectures for Deep Reinforcement Learning 이번에 포스팅 할 논문은 "Dueling Network Architectures for Deep Reinforcement Learning" 이며 Google DeepMind 팀에서 낸 논문입니다. 2016년 4월에 나온논문으로 비교적 오래된(?) 논문입니다. Abstract 강화학습이 발전하면서 대부분 기존의 NN의 구조를 변형해가는 형태로만 발전해오고 있는데 (CNN LSTM, AE 등), 이 논문에서는 새로운 NN의 구조를 제시하면서 model - free 한 강화학습 구조를 제안합니다. Dueling Network는 아래그림(밑에 그림)처럼 두개의 분리된 Stream을 가집니다. 아래 그림의 위그림은 일반적인 Network구조이고 두번째 그림이 Dueling Network 구조 입니다. 두개의 st.. 2018. 2. 24. [딥러닝 논문 리뷰] Distilling a Neural Network Into a Soft Decision Tree 이번에 포스팅할 논문은 "Distilling a Neural Network Into a Soft Decision Tree" 로, Nicholas Frosst와 Geoffrey Hinton교수가 쓴 논문입니다. 논문 제목에서 유추할수 있듯이 Neural Network를 Decision Tree와 접목시킨 내용의 논문입니다. 이 모형의 성능 자체는 매우 좋은 것은 아닙니다만, 아이디어가 독특해서 포스팅하게 되었습니다. Motivation/Introduction 논문에서는 다음과 같이 쓰여져 있는데, 결국에 하고자 하는 이야기는 Neural Net이 좋긴 한데 classification decision 에 대해서는 조금 설명하기 어려운 부분이 있으니 Neural Net을 통해 지식을 취하고 계층적 의사결정을 .. 2018. 2. 4. 알고리즘의 발전 - ReLU 기존의 인공 신경망의 단점으로 지적되는 특성이 여러가지가 있다. 크게 over fitting문제와 gradient vanishing problem가 있다. over fitting의 경우에는 학습데이터에 너무 맞춰서 학습이 되다보니 실제데이터(test data)에는 잘 안맞는 현상을 이야기 한다. gradient vanishing(exploding) problem은 neural network의 weight가 계속 전파 되면서 초기의 weight를 잊어버리거나(기울기가 0에 수렴하는 현상 /vanishing) 무한히 커지는 현상(exploding)을 이야기한다. gradient vanishing(exploding) problem은 activation function과 관련이 있는데, 기존의 신경망에서 가장 .. 2017. 3. 25. 딥러닝이란 딥러닝은 1차적인 의미로는 인공신경망의 진화된 형태로 hidden layer가 2개 이상인 MLP를 의미한다. 하지만, 요즈음 딥러닝은 다양한 형태로 변형된 신경망을 (AE, DAE, SDA, CNN, RNN)등을 통틀어서 지칭한다 이러한 의미에서 딥러닝은 Representation Learning이라는 정의를 가지는데, 데이터의 복잡한 구조를 multiple level로 모델링을 하는 것이다. 쉽게 말해 다양한 층(layer)을 쌓아 각 층마다 데이터의 패턴을 학습시켜 각 층마다 학습시킨 패턴을 종합하는 과정으로 이해 할 수 있다. 딥러닝이 수년전부터 대두되는 이유는 크게 3가지의 이유가 있는데 첫번째로 기존의 인공신경망의 단점을 보완할 수 있는 알고리즘의 발전을 얘기 할 수 있고 두번째로는 학습시킬수.. 2017. 3. 21. 이전 1 2 다음
