つくりながら学ぶ!深層強化学習―PyTorchによる実践プログラミング

電子版価格
¥3,608
  • 電書あり

つくりながら学ぶ!深層強化学習―PyTorchによる実践プログラミング

  • ただいまウェブストアではご注文を受け付けておりません。
  • サイズ B5判/ページ数 240p/高さ 24cm
  • 商品コード 9784839965624
  • NDC分類 007.1
  • Cコード C3055

出版社内容情報

Pythonで実装しながら学ぶ 強化学習・深層強化学習(DQN)強化学習、さらにディープラーニングを組み合わせた深層強化学習DQN(Deep Q-Network)という用語を目にする機会が増えています。本書は関連の概念を分かりやすく解説しつつ、Python+PyTorchで「倒立振子課題」「迷路を解くプログラム」「ブロック崩しの攻略」を実装していきます。

第1章「強化学習の概要」では機械学習とその3分類(教師あり学習、教師なし学習、強化学習)について紹介します。

第2章「迷路課題に強化学習を実装しよう」では、簡単な強化学習(方策勾配法、Sarsa、Q学習)のコードをひとつずつ実装しながら、強化学習のアルゴリズムと実装方法を理解します。迷路を最短ルートでゴールするよう強化学習させます。

第3章「倒立振子課題に強化学習を実装しよう」では、2章で学んだ強化学習の基本をより複雑な課題への適用します。倒立振子とは、“ほうきを手のひらの上に立てる”遊びと同じ内容でその制御ルールを強化学習させます。Anacondaを用いたセットアップ方法も解説します。

第4章「Pytorchでディープラーニングを実装しよう」では、ディープラーニングの内容を理解し、PyTorchで実装します。ニューラルネットワークとディープラーニング発展の歴史、学習フェイズと推論フェイズについて解説。最後に手書き数字の画像を分類するMNIST課題を実装解説します。

第5章「深層強化学習DQNを実装しよう」では、強化学習にディープラーニングを組み合わせた“深層強化学習”を理解し、DQNを実装できるようにします。第3章の倒立振子課題に対してDQNを実装します。

第6章「深層強化学習の発展版を実装しよう」では、新しい深層強化学習の手法、Double-DQN、Dueling Network、Prioritized Experience Replay、そしてA3C、A2Cを理解し、実装できるようにします。

第7章「AWSのGPU環境でブロック崩しを実装しよう」では、ブロック崩しゲームを対象に深層強化学習のA2Cを実装します。実行環境としてAmazonのクラウドサービスAWSのGPU環境を使用する方法も解説します。

深層強化学習はまだまだ解決すべき課題の多い分野です。本書が深層強化学習に興味を持つ皆様の一助となれば幸いです。

各章の概要

第1章 強化学習の概要
- 1.1 機械学習の分類(教師あり学習、教師なし学習、強化学習)
- 1.2 強化学習・深層強化学習の歴史
- 1.3 深層強化学習の応用事例

第2章 迷路課題に強化学習を実装しよう
- 2.1 Try Jupyterの使い方
- 2.2 迷路とエージェントを実装
- 2.3 方策反復法の実装
- 2.4 価値反復法の専門用語を整理
- 2.5 Sarsa法の実装
- 2.6 Q学習の実装

第3章 倒立振子課題に強化学習を実装しよう
- 3.1 ローカルPCに強化学習の実装・実行環境を整える方法
- 3.2 倒立振子課題「CartPole」の解説
- 3.3 多変数・連続値で示される状態の表形式表現
- 3.4 Q学習の実装

第4章 PyTorchでディープラーニングを実装しよう
- 4.1 ニューラルネットワークとディープラーニングの歴史
- 4.2 ディープラーニングの計算手法を解説
- 4.3 PyTorchで手書き数字画像の分類課題MNISTを実装

第5章 深層強化学習DQNを実装しよう
- 5.1 深層強化学習DQN(Deep Q-Network)の解説
- 5.2 DQNの実装に重要な4つの工夫
- 5.3 DQNの実装(前半)
- 5.4 DQNの実装(後半)

第6章 深層強化学習の発展版を実装しよう
- 6.1 深層強化学習のアルゴリズムマップ
- 6.2 DDQN(Double-DQN)の実装
- 6.3 Dueling Networkの実装
- 6.4 Prioritized Experience Replayの実装
- 6.5 A2Cの実装

第7章 AWSのGPU環境でブロック崩しを実装しよう
- 7.1 ブロック崩しゲーム「Breakout」の解説
- 7.2 AWSでGPUを使用したディープラーニング実行環境を整える方法
- 7.3 Breakoutの学習に重要な4つの工夫
- 7.4 A2Cの実装(前半)
- 7.5 A2Cの実装(後半)

あとがき
索引
謝辞

株式会社電通国際情報サービス 小川雄太郎[カブシキガイシャデンツウコクサイジョウホウサービス オガワユウタロウ]
著・文・その他

内容説明

強化学習、さらにディープラーニングを組み合わせた深層強化学習を分かりやすく解説。Python+PyTorchで「倒立振子課題」「迷路」「ブロック崩し」を攻略するプログラミングを実装していきます。

目次

第1章 強化学習の概要
第2章 迷路課題に強化学習を実装しよう
第3章 倒立振子課題に強化学習を実装しよう
第4章 PyTorchでディープラーニングを実装しよう
第5章 深層強化学習DQNを実装しよう
第6章 深層強化学習の発展版を実装しよう
第7章 AWSのGPU環境でブロック崩しを実装しよう

著者等紹介

小川雄太郎[オガワユウタロウ]
株式会社電通国際情報サービス技術本部開発技術部に所属。ディープラーニングをはじめとした機械学習関連技術の研究開発・技術支援、ならびにワークスタイルイノベーション室のHRデータ解析を業務とする。明石工業高等専門学校、東京大学工学部を経て、東京大学大学院、神保・小谷研究室にて脳機能計測および計算論的神経科学の研究に従事し、2016年博士号(科学)を取得。東京大学特任研究員を経て、2017年4月より現職(本データはこの書籍が刊行された当時に掲載されていたものです)
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。

感想・レビュー

※以下の感想・レビューは、株式会社ブックウォーカーの提供する「読書メーター」によるものです。

Thinking_sketch_book

6
★★★★☆ 専門的には多くの部分が端折られている気もするが初学者には必要な箇所を限定し、動くコードを提供しているところがとても良い これで概要は分かったので実際に動くものを作ろうと思う2022/08/14

たいそ

6
2018年。機械学習の中の強化学習について。数式も出てはくるが、どちらかというと実際に作って動かして理解するというタイプの本。コード中のコメントは多く、解説も丁寧。機械学習というと膨大なデータが必要という印象があるが、この本で取り上げられている題材はそうではないので、データ集めに悩まずに済むが、計算量は少なくないので、環境を用意するか気長に待てるかということになる。クラウド(AWS)で行う方法も紹介されているが、お金はかかる。2019/04/20

センケイ (線形)

2
地に足が着いていると思われる PyTorch を使った貴重な本だ。ただちょっと売らんかなな側面も強い。かゆいところに手が届く図があり、なんとなく理解した気になっていたことを改めてよく知ることができる。後で使用する関数も近い範囲にまとめて書かれている。一方で、後述するといっていたものが続きは参考文献でってなったり、2色刷りなのにコード部分が白黒だったり、たまに while で計算速度を遅くしたりしていて、改善の余地もありそうだ。希少性は高いと思うので、これらの点を気にしないのであれば是非、という感想だ。2019/04/17

よっす

1
著者は説明がうまいですね!強化学習の理解に向けて一歩一歩説明してくれている&コードとセットで説明が進むため頭に入ってきやすい。そして、読み進めるのが楽しくなる。他の書籍だと、難解な理論をいきなりぶち上げてくる傾向にあるので。。 とりあえず強化学習の基本的な部分を、ひとつひとつ動くコードとともに学んでいくスタイルなので、その分、場当たり的な解説になっている感は否めませんが、そこはsutton氏のリファレンス的な書籍などに求めればよいでしょう。 強化学習理解の取っ掛かりの一冊として良書ではないでしょうか。2020/01/04

Erikom

0
まだ実践が途中...2023/01/21

外部のウェブサイトに移動します

よろしければ下記URLをクリックしてください。

https://bookmeter.com/books/12879373
  • ご注意事項

最近チェックした商品