シリーズ システム・制御のニューフロンティア 自律的行動創発システムと身体性―機械獣の構成論

吉田 尚人【著】

コロナ社（2026/01発売）

• サイズ A5判／ページ数 236p／高さ 21cm
• 商品コード 9784339034028
• NDC分類 548.3
• Cコード C3353

出版社内容情報

【読者対象】
本書は，工学系の大学院生・学部生，ロボット工学や強化学習，ロボット学習等の関連分野，制御系としてみた生体に関心を持つ研究者・技術者を幅広く対象としています。

【書籍の特徴】
ロボットにおける恒常性という観点に着目し，これに基づく行動創発を「作ることによって理解する」構成論的アプローチで追求しています。「エージェントが身体の内部状態を保つための行動最適化」という，ただ一つの技術に焦点を当て，外在的に定められた意味や目的を持たない生活体としての自律機械を機械獣と呼んで位置づけ，基盤技術を構築するとともに，関連する研究の歴史と重要性，そしてその将来的な可能性について解説しました。

【各章について】
1章では，本書を読み進めるにあたり重要な概念である恒常性について説明します。
2章では，機械獣の文脈に位置づけられ，特に生存の問題を扱った研究の歴史を概観します。
3章では，マルコフ決定過程での強化学習の紹介から始め，続けてより一般的な状況について紹介します。
4章では，機械獣の基盤技術である恒常性強化学習とその数理について紹介します。
5章では，これまでの先行研究における生存エージェント研究と恒常性強化学習の限界を乗り越えることを目的として，機械獣の基礎技術となる深層恒常性強化学習を確立します。
6章では，実ロボットでの機械獣として深層恒常性強化学習を展開していきます。
7章では，ここまでの解説を基礎とした展開として，「恒常性強化学習特有の性質に着目したネットワーク構造」，「恒常性を原理とした動物行動のモデリング」，「予測制御としてのアロスタシス」，「恒常性に基づく動機づけが持つ多様な行動の創発能力」について紹介します。
8章では，本書での機械獣研究の限界を明確にし，将来への展望を考察します。

【著者からのメッセージ】
本書を通して生物学を超えて，人工知能・ロボティクス・計算論的神経科学を始めとした，恒常性と一見結びつきにくい諸分野において恒常性の概念とその応用に思いを巡らせていただけるようであれば，著者にとって望外の喜びである。

【キーワード】
強化学習，機械学習，制御工学，身体性，計算論的神経科学，動物行動学，ロボティクス


【目次】

☆発行前情報のため，一部変更となる場合がございます

1．はじめに
1.1　無目的なロボット　
1.2　恒常性に基づく自律ロボットの行動統合とその生成　
1.3　サイバネティクスから計算論的神経科学へ　

2．人工システムにおける生存
2.1　恒常性の概念　
2.2　Ashbyの超安定システム 　
2.3　先行研究におけるシミュレーション・エージェントの生存・恒常性 　
　2.3.1　動物行動学に基づくアプローチ 　
　2.3.2　人工生命・神経モデリング・進化計算に基づくアプローチ 　
　2.3.3　認知アーキテクチャ・汎用人工知能のアプローチ 　
　2.3.4　計算論的神経科学におけるアプローチ 　
2.4　先行研究ににおける自律ロボットの生存・恒常性 　
　2.4.1　WAMOEBAシリーズ 　
　2.4.2　動物行動学からのアプローチ・Animatアプローチ 　
　2.4.3　身体性認知科学・自律エージェント設計からのアプローチ 　
　2.4.4　強化学習に基づくアプローチ 　
　2.4.5　ヒューマンロボットインタラクションからのアプローチ 　
2.5　背景研究を踏まえた本研究の立場 　
2.6　オートポイエーシスの自律性の議論と本研究の関係，および関心領域　

3．強化学習
3.1　エージェント・環境相互作用モデル 　
3.2　MDPのダイナミクスと期待報酬 　
3.3　価値関数・行動価値関数と最適方策 　
3.4　MDPにおいてMarkov方策を用いる正当性 　
3.5　方策勾配に基づく強化学習 　
3.6　アクター・クリティックアーキテクチャ 　
3.7　価値関数・アドバンテージ関数の推定 　
3.8　一般化アドバンテージ推定 　
3.9　深層強化学習 　
　3.9.1　深層学習の概要 　
　3.9.2　深層強化学習 　
　3.9.3　近接方策最適化法 　

4．恒常性強化学習
4.1　既存の恒常性に基づく動機づけ行動メカニズムに関する問題点 　
4.2　恒常性強化学習：恒常性＋強化学習 　
4.3　恒常性強化学習の定式化 　
4.4　関連するアプローチ 　
4.5　内受容感覚の模倣学習としての恒常性強化学習 　
4.6　認知発達ロボティクスにおける動機づけシステムの観点からの位置づけ　
4.7　強化学習におけるタスク統合問題との関係 　
4.8　恒常性強化学習の応用における既存の問題 　

5．深層恒常性強化学習
5.1　ニューラルホメオスタット 　
　5.1.1　低次元入力ニューラルホメオスタットの構成 　
　5.1.2　画像入力ニューラルホメオスタットの構成 　
　5.1.3　最適化の詳細とハイパーパラメータ 　
　5.

目次

１　はじめに
２　人工システムにおける生存
３　強化学習
４　恒常性強化学習
５　深層恒常性強化学習
６　機械獣の構成
７　機械獣研究の展開
８　おわりに

著者等紹介

吉田尚人［ヨシダナオト］
２０１０年　東北大学工学部機械知能・航空工学科卒業。２０２４年　東京大学大学院情報理工学系研究科博士課程修了（知能機械情報学専攻）。博士（情報理工学）。京都大学大学院情報学研究科特定研究員（本データはこの書籍が刊行された当時に掲載されていたものです）
※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。