딥러닝23 반응형 [딥러닝 논문 리뷰] Universal adversarial perturbation 이번에 리뷰할 논문은 작년 (17년) CVPR에 나온 논문으로 perturbation에 관한 논문입니다. "Universal adversarial perturbation" 이라는 제목에서 알수 있듯이 보편적인 perturbation을 만드는 내용에 대한 논문입니다. 이전에 포스팅했던 글(http://bluediary8.tistory.com/10?category=609872)에서 잠깐 "Deep Neural Network are Easily Fooled:" 이라는 논문을 언급하고 지나갔는데, 그 논문의 주된 내용은 이미지에 적절한 noise를 추가하면 DNN을 완벽하게 속일 수 있다 라는 것이 였습니다. 그런데 그 noise를 추가하는 방법이 비교적 까다롭고 'universal'하지 않았습니다. 여러 이미.. 2018. 6. 5. [GAN 논문 리뷰] DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data 이번에 리뷰할 논문은 DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data 입니다. 2017 CVPR에 accept된 논문이며, 제목에서 알 수 있듯이, 제한된 데이터 상황에서의 GAN을 어떻게 잘 만들수 있는까에 관한 논문입니다. 일반적인 GAN의 경우에는 image modality 의 다양성을 확보하기 위해 많은 양의 데이터를 필요로 합니다. 본 논문에서는 mixture model을 통해 latent generative space를 reparameterize하고 GAN을 통해 mixture model들의 parameter를 학습시키는 구조를 제안 하였습니다. 이를 통해 제한된 데이터를 가지고 학습시켰을 때 다른 GAN에 비하여 .. 2018. 6. 2. [딥러닝 논문 리뷰] Entity Embeddings of Categorical Variables 이번에 포스팅할 논문은 Entity Embeddings of Categorical Variables 이라는 논문인데 2016년 4월에 Arxiv에 올라왔습니다. 아직까지는 인용수 7회에 그치고있지만, 개인적인 생각이지만 조만간 뜰 것(??) 같은 논문입니다. 최근 수년간 계속 딥러닝이 발전해오고 있다는 사실은 누구도 부정할 수 없습니다. Classification, Detection, Captioning, Generation, 강화학습까지 딥러닝이 많은 분야에서 활용 되고 있습니다. 그러나 Classification 분야에서 이미지 또는 텍스트를 제외한 일반적인 분야에서는 딥러닝이 엄청 잘 먹히는 것은 아닙니다. 이는 Kaggle대회의 수상자들의 알고리즘만 봐도 알 수 있죠. 대부분 Xgboost, Li.. 2018. 4. 8. [딥러닝 논문 리뷰] Distilling a Neural Network Into a Soft Decision Tree 이번에 포스팅할 논문은 "Distilling a Neural Network Into a Soft Decision Tree" 로, Nicholas Frosst와 Geoffrey Hinton교수가 쓴 논문입니다. 논문 제목에서 유추할수 있듯이 Neural Network를 Decision Tree와 접목시킨 내용의 논문입니다. 이 모형의 성능 자체는 매우 좋은 것은 아닙니다만, 아이디어가 독특해서 포스팅하게 되었습니다. Motivation/Introduction 논문에서는 다음과 같이 쓰여져 있는데, 결국에 하고자 하는 이야기는 Neural Net이 좋긴 한데 classification decision 에 대해서는 조금 설명하기 어려운 부분이 있으니 Neural Net을 통해 지식을 취하고 계층적 의사결정을 .. 2018. 2. 4. 알고리즘의 발전 - Drop-out Drop-out 또한 신경망의 고질적인 문제인 over-fitting문제를 완화시킬 수 있는 테크닉(알고리즘이라고 말하기는 애매한듯.)인데, 매우 심플하면서 효율적인 테크닉으로 학습과정에서 layer의 node을 random하게 drop함으로써, regularization효과를 가지게 한다. Drop-out의 개념은 아래 그림을 보면 좀 더 직관적으로 이해가 된다. input -> hidden, hidden -> hidden 으로 weight를 전파할 때에 random 하게 node를 꺼버리는 것으로서, 실제로 구현 할때에는 drop-out 확률을 지정해 그 확률 만큼 random하게 노드를 선택해 그 노드들은 0을 곱해주는 식으로 연산이 진행된다. Drop-out이 나오게 된 motivation이 매우.. 2017. 4. 3. 알고리즘의 발전 - ReLU 기존의 인공 신경망의 단점으로 지적되는 특성이 여러가지가 있다. 크게 over fitting문제와 gradient vanishing problem가 있다. over fitting의 경우에는 학습데이터에 너무 맞춰서 학습이 되다보니 실제데이터(test data)에는 잘 안맞는 현상을 이야기 한다. gradient vanishing(exploding) problem은 neural network의 weight가 계속 전파 되면서 초기의 weight를 잊어버리거나(기울기가 0에 수렴하는 현상 /vanishing) 무한히 커지는 현상(exploding)을 이야기한다. gradient vanishing(exploding) problem은 activation function과 관련이 있는데, 기존의 신경망에서 가장 .. 2017. 3. 25. 딥러닝이란 딥러닝은 1차적인 의미로는 인공신경망의 진화된 형태로 hidden layer가 2개 이상인 MLP를 의미한다. 하지만, 요즈음 딥러닝은 다양한 형태로 변형된 신경망을 (AE, DAE, SDA, CNN, RNN)등을 통틀어서 지칭한다 이러한 의미에서 딥러닝은 Representation Learning이라는 정의를 가지는데, 데이터의 복잡한 구조를 multiple level로 모델링을 하는 것이다. 쉽게 말해 다양한 층(layer)을 쌓아 각 층마다 데이터의 패턴을 학습시켜 각 층마다 학습시킨 패턴을 종합하는 과정으로 이해 할 수 있다. 딥러닝이 수년전부터 대두되는 이유는 크게 3가지의 이유가 있는데 첫번째로 기존의 인공신경망의 단점을 보완할 수 있는 알고리즘의 발전을 얘기 할 수 있고 두번째로는 학습시킬수.. 2017. 3. 21. 이전 1 2 3 다음
