장바구니 담기 close

장바구니에 상품을 담았습니다.

장바구니로 계속쇼핑하기
심층 강화학습 인 액션
미리보기

심층 강화학습 인 액션

  • 알렉스짜이 ,브랜던브라운
  • |
  • 제이펍
  • |
  • 2020-11-17 출간
  • |
  • 440페이지
  • |
  • B5
  • |
  • ISBN 9791190665612
판매가

30,000원

즉시할인가

27,000 원

배송비

무료배송

(제주/도서산간 배송 추가비용:3,000원)

추가상품
상품선택
독서대 7,900원 독서대 선택안함 0원
수량
+ -
총주문금액
27,000원
장바구니 구매하기

※ 스프링제본 상품은 반품/교환/환불이 불가능하므로 신중하게 선택하여 주시기 바랍니다.

북스크린영상으로 만나보는 한 권의 책 이야기

출판사서평




프로젝트로 배우는 심층 강화학습의 이론과 실제!

심층 강화학습 시스템은 새로운 환경에 빠르게 적응한다. 이러한 능력은 기존의 표준적인 신경망에 비해 커다란 진보에 해당한다. 사람이 뭔가를 배우는 과정과 비슷하게, 심층 강화학습 에이전트는 감각 정보에 해당하는 원본 데이터를 입력받고 시행착오를 거쳐서 자신의 반응과 예측을 정련해 나간다.

이 책 《심층 강화학습 인 액션》은 환경이 제공하는 직접적인 피드백에 기반해서 환경에 적응하고 자신을 개선해 나가는 에이전트의 구현 방법을 설명한다. 흐름이 있는 하나의 강좌 형태로 구성된 이 책에서 여러분은 심층 강화학습의 기본 기법과 고급 기법을 미로 탈출이나 비디오 게임 플레이 같은 흥미로운 예제를 통해서 배우게 된다. 그 과정에서 심층 Q 신경망과 정책 기울기 방법을 포함한 여러 핵심 알고리즘을 익힐 수 있고, PyTorch와 OpenAI Gym 같은 업계 표준에 해당하는 라이브러리에도 익숙해질 것이다.

이 책의 주요 내용
■ 심층 강화학습 에이전트의 구축과 훈련
■ 학습과 문제 해결에 가장 널리 쓰이는 심층 강화학습 알고리즘
■ 진화 알고리즘, 호기심 기반 학습, 다중 에이전트 학습 등의 고급 주제
■ 실행 가능한 파이썬 예제 코드


목차


PART I 기초 1
CHAPTER 1 강화학습이란? 3
1.1 심층 강화학습에서 ‘심층’의 의미 4
1.2 강화학습 6
1.3 동적 계획법과 몬테카를로 방법 9
1.4 강화학습의 틀 12
1.5 강화학습으로 할 수 있는 일 16
1.6 왜 심층 강화학습인가? 18
1.7 이 책의 주요 설명 수단: 끈 그림 21
1.8 앞으로의 여정 22
요약 24

CHAPTER 2 강화학습 문제의 모형화: 마르코프 결정 과정 25
2.1 끈 그림과 이 책의 교육 방식 25
2.2 여러 팔 강도 문제의 해법 30
2.3 여러 팔 강도 문제를 광고 배치 최적화에 적용 41
2.4 PyTorch로 신경망 만들기 43
2.5 문맥적 강도 문제의 해법 47
2.6 마르코프 성질 52
2.7 향후 보상의 예측: 가치와 정책 함수 55
요약 59

CHAPTER 3 가장 나은 동작의 선택: 심층 Q 신경망(DQN) 61
3.1 Q 함수 62
3.2 Q 학습 개요 64
3.3 파국적 망각 방지: 경험 재현 85
3.4 목표망을 이용한 안정성 개선 92
3.5 정리 99
요약 102

CHAPTER 4 정책 기울기 방법 103
4.1 신경망을 이용한 정책 함수 구현 104
4.2 좋은 동작의 강화: 정책 기울기 알고리즘 108
4.3 OpenAI Gym 다루기 114
4.4 REINFORCE 알고리즘 117
요약 125

CHAPTER 5 좀 더 어려운 문제 풀기: 행위자-비평자 모형 127
5.1 가치 함수와 정책 함수의 결합 129
5.2 분산 훈련 135
5.3 이익 행위자-비평자 141
5.4 N-단계 행위자-비평자 151
요약 157

PART I I 더 높은 곳을 향하여 159
CHAPTER 6 또 다른 최적화 방법: 진화 알고리즘 161
6.1 강화학습의 또 다른 접근 방식 162
6.2 진화를 이용한 강화학습 163
6.3 CartPole을 위한 유전 알고리즘 172
6.4 진화 알고리즘의 장단점 180
6.5 규모가변적 대안으로서의 진화 알고리즘 182
6.5.6 기울기 기반 접근 방식의 규모 확장 189
요약 189

CHAPTER 7 모든 가능성의 탐색: 분포 심층 Q 신경망 191
7.1 기댓값 Q 학습의 문제점 192
7.2 다시 살펴보는 확률과 통계 197
7.3 벨먼 방정식 204
7.4 분포 Q 학습 206
7.5 확률분포의 비교 219
7.6 가상의 데이터에 대한 분포 DQN 225
7.7 분포 DQN을 이용한 아타리 프리웨이 학습 231
요약 237

CHAPTER 8 호기심 주도 탐험 239
8.1 예측 부호화를 이용한 희소 보상 문제 해결 241
8.2 역방향 동역학 예측 244
8.3 슈퍼 마리오브라더스 환경 설정 247
8.4 Q 신경망 전처리 250
8.5 Q 신경망과 정책 함수 설정 253
8.6 ICM(내재적 호기심 모듈) 257
8.7 그 밖의 내재적 보상 메커니즘들 271
요약 274

CHAPTER 9 다중 에이전트 강화학습 277
9.1 단일 에이전트에서 다중 에이전트로 278
9.2 이웃 Q 학습 282
9.3 1차원 이징 모형 286
9.4 평균장 Q 학습과 2차원 이징 모형 298
9.5 혼합 협조-경쟁 게임 309
요약 323

CHAPTER 10 해석 가능한 강화학습: 주의 모형과 관계 모형 325
10.1 주의와 관계 편향을 이용한 기계학습 해석성 개선 326
10.2 주의 메커니즘을 이용한 관계 추론 330
10.3 MNIST 이미지 분류를 위한 자가 주의 모형 구현 342
10.4 다중 헤드 주의 모형과 관계 DQN 356
10.5 이중 Q 학습 365
10.6 훈련과 주의 시각화 367
요약 376

CHAPTER 11 결론: 돌아보기와 내다보기 379
11.1 핵심 정리 380
11.2 심층 강화학습 분야의 미개척 주제들 382
11.3 마치며 386

APPENDIX A 수학, 심층학습, PyTorch 387
A.1 선형대수 388
A.2 미적분 390
A.3 심층학습 396A.4 PyTorch 397

참고문헌 402
찾아보기 406
추천포스트

교환 및 환불안내

도서교환 및 환불
  • ㆍ배송기간은 평일 기준 1~3일 정도 소요됩니다.(스프링 분철은 1일 정도 시간이 더 소요됩니다.)
  • ㆍ상품불량 및 오배송등의 이유로 반품하실 경우, 반품배송비는 무료입니다.
  • ㆍ고객님의 변심에 의한 반품,환불,교환시 택배비는 본인 부담입니다.
  • ㆍ상담원과의 상담없이 교환 및 반품으로 반송된 물품은 책임지지 않습니다.
  • ㆍ이미 발송된 상품의 취소 및 반품, 교환요청시 배송비가 발생할 수 있습니다.
  • ㆍ반품신청시 반송된 상품의 수령후 환불처리됩니다.(카드사 사정에 따라 카드취소는 시일이 3~5일이 소요될 수 있습니다.)
  • ㆍ주문하신 상품의 반품,교환은 상품수령일로 부터 7일이내에 신청하실 수 있습니다.
  • ㆍ상품이 훼손된 경우 반품 및 교환,환불이 불가능합니다.
  • ㆍ반품/교환시 고객님 귀책사유로 인해 수거가 지연될 경우에는 반품이 제한될 수 있습니다.
  • ㆍ스프링제본 상품은 교환 및 환불이 불가능 합니다.
  • ㆍ군부대(사서함) 및 해외배송은 불가능합니다.
  • ㆍ오후 3시 이후 상담원과 통화되지 않은 취소건에 대해서는 고객 반품비용이 발생할 수 있습니다.
반품안내
  • 마이페이지 > 나의상담 > 1 : 1 문의하기 게시판 또는 고객센터 1800-7327
교환/반품주소
  • 경기도 파주시 문발로 211 1층 / (주)북채널 / 전화 : 1800-7327
  • 택배안내 : CJ대한통운(1588-1255)
  • 고객님 변심으로 인한 교환 또는 반품시 왕복 배송비 5,000원을 부담하셔야 하며, 제품 불량 또는 오 배송시에는 전액을 당사에서부담 합니다.