[리뷰] 강화학습 첫걸음

강화학습 첫걸음 도서 리뷰

한빛미디어의 컴퓨터서적 중 첫걸음 시리즈가 있다.

첫걸음 시리즈는 다른 도서들에 비해 얇아 부담없이 읽을 수 있다.

강화학습 첫걸음 도서를 받아보 마찬가지로 만족스러운 내용이 담겨있었다.

목차의 구성은 아래와 같다.

---

PART I 주요 알고리즘 및 구현

 

CHAPTER 1 강화학습 소개

 

CHAPTER 2 밴딧 문제 

2.1 정책 경사

2.2 멀티암드 밴딧의 구현

 

CHAPTER 3 콘텍스트 밴딧

3.1 콘텍스트 밴딧 구현

 

CHAPTER 4 마르코프 결정 과정

4.1 기본적인 정책 경사 에이전트 구현

 

CHAPTER 5 Q 러닝

5.1 테이블 환경에 대한 테이블식 접근법

5.2 신경망을 통한 Q 러닝

 

CHAPTER 6 딥 Q 네트워크

6.1 개선 1: 합성곱 계층

6.2 개선 2: 경험 리플레이

6.3 개선 3: 별도의 타깃 네트워크

6.4 DQN을 넘어서

6.5 더블 DQN

6.6 듀얼링 DQN

6.7 모든 것을 조합하기

6.8 개선된 딥 Q 네트워크 구현

 

CHAPTER 7 부분관찰성과 순환 신경망

7.1 부분관찰성 문제

7.2 제한되고 변화하는 세계 이해하기

7.3 순환 신경망

7.4 텐서플로 구현을 위한 변경점

7.5 제한된 그리드 세계

7.6 DRQN 구현

 

CHAPTER 8 비동기적 어드밴티지 액터-크리틱

8.1 A3C의 세 가지 A

8.2 A3C 구현

8.3 <둠> 게임 플레이하기

 

PART II 심화 주제

 

CHAPTER 9 에이전트의 생각과 액션 시각화

9.1 컨트롤 센터의 인터페이스

9.2 에이전트의 머릿속 들여다보기

9.3 강화학습 컨트롤 센터 이용

 

CHAPTER 10 환경 모델 활용하기

10.1 모델 기반의 강화학습 구현

 

CHAPTER 11 탐험을 위한 액션 선택 전략

11.1 탐험은 왜 하는 것인가요?

11.2 그리디 접근법

11.3 랜덤 접근법

11.4 엡실론-그리디 접근법

11.5 볼츠만 접근법

11.6 베이지언 접근법(드롭아웃)

11.7 각 전략의 성능 비교 및 구현

11.8 고급 기법

 

CHAPTER 12 정책 학습을 위한 정책 학습

12.1 메타 에이전트 만들기

12.2 메타 실험

12.3 마치며

---

신경망이 아닌 강화학습 에 맞춰진 책이기 때문에 머신러닝, 딥러닝을 처음 입문하는 사람들에게는 적합하지 않은 책이다.

머신러닝 공부를 생 처음 시작하는 입문자에게는 [신경망 첫걸음, 딥러닝 첫걸음, 밑바닥부터 시작하는 딥러닝] 이 책들을 추천하고 싶다.

딥러닝의 이론과 수식을 이해할 수 있는 배경지식이 있어야 읽기에 수월할 것이다.

위의 조건을 대략 충족하는 사람에겐 python코드가 자세히 나와있다는 점과 cart-pole,Frozen lake,Doom,Grid world 와 같은 openAI GYM의 예제를 풀어보는 코드가 개념을 이해하는데 큰 도움을 준다.

이 책을 읽으면서 김성훈 교수님의 모두를 위한 RL강좌 을 참고하면 부족한 부분을 채워넣기에 충분할 것이다