본문 바로가기

강화학습11

반응형
예제로 쉽게 알아보는 강화학습 기초(Q-learning, Reinforcement Learning) 이번 포스트에서는 강화학습(Reinforcement Learning)의 기초에 대해서 이야기 하고자 합니다. 예제를 통해 쉽게 강화학습에 대해 접근 해 보도록 하겠습니다. 강화학습에 대한 개념은 오래전부터 있었던 개념입니다만, 알파고가 등장하면서 급부상하기 시작했죠. 이쪽 분야를 공부하는 사람들 중에서는 강화학습을 들어보지는 못하는 사람은 거의 없을 것입니다. 하지만, 내용이 비교적 어렵고 강화학습을 당장 적용할 수 있는 분야가 많지 않다 보니 아직까지는 많이 어려워하는 것 같습니다. 이번포스트에서는 강화학습에 대한 개념과 Q-learning에 대한 기본적인 내용만 서술하도록 하겠습니다. 다음 그림에서 start지점에서 goal지점까지 간다고 가정해봅시다. 인간에게 물어본다면 아래 그림의 화살표 처럼 간.. 2018. 4. 7.
Dueling Network Architectures for Deep Reinforcement Learning 이번에 포스팅 할 논문은 "Dueling Network Architectures for Deep Reinforcement Learning" 이며 Google DeepMind 팀에서 낸 논문입니다. 2016년 4월에 나온논문으로 비교적 오래된(?) 논문입니다. Abstract 강화학습이 발전하면서 대부분 기존의 NN의 구조를 변형해가는 형태로만 발전해오고 있는데 (CNN LSTM, AE 등), 이 논문에서는 새로운 NN의 구조를 제시하면서 model - free 한 강화학습 구조를 제안합니다. Dueling Network는 아래그림(밑에 그림)처럼 두개의 분리된 Stream을 가집니다. 아래 그림의 위그림은 일반적인 Network구조이고 두번째 그림이 Dueling Network 구조 입니다. 두개의 st.. 2018. 2. 24.
Hierarchical Deep Reinforcement Learning (HDQN) 본 포스팅은 기본적은 강화학습인 Q-learning과 DQN(Deep Q-network)에 대해 알고 있으셔야 읽기 수월합니다. Q-learning과 DQN에 대한 내용은 김성교수님의 모두를 위한 RL 강의를 참고하시기 바랍니다.(https://www.youtube.com/playlist?list=PLlMkM4tgfjnKsCWav-Z2F-MMFRx-2gMGG) Hierarchical Deep Reinforcement Learning (HDQN)은 한국말로 번역하면 계층적 강화학습으로 여러 목표를 정해 그 목표를 차근차근 해결해나가겠다는 컨셉입니다. 굳이 여러 목표를 통해 강화학습을 진행하는 이유는, sparse reward (delayed reward) 문제 때문입니다. 일반적으로 강화학습으로 푸는 문제.. 2017. 11. 21.