Reduction of Learning Time for Differential-Wheeled Mobile Robots by Knowledge Transfer for Real-Time Learning

強化学習 [1]は,エージェントが環境から得られる報酬 を頼りに自律的に行動を獲得する手法である.これまで に,ロボットの動作生成への活用を目指した研究等,さ まざまな領域への展開が模索されている.強化学習をロ ボットの動作生成に用いる利点は,設計者がロボットの 具体的な動作を設計しなくてもよい点である.反面,強 化学習は,エージェントが試行錯誤を通して,環境に適 した行動を自ら学習するため,一般的に,多くの試行回 数を必要とする問題がある.とくに,エージェントが複 数のタスクを扱うような場合,未知のタスクに遭遇する たびに学習し直すことは効率が悪い. この問題に対して,過去に獲得した知識や,あらかじ め与えられた知識を応用することによって,学習にかか る試行回数を抑制することが考えられる.このような考 え方を実現する方法として転移学習があり,近年の機械 学習分野の研究でも注目されている話題の一つである. この転移学習を強化学習に適用することで,学習能力の 向上を目指した研究事例が報告されている [2–4]. 筆者らは,これまでに,遺伝的アルゴリズムの交叉・ 淘汰・突然変異の考え方を取り入れた強化学習手法を提 案してきた [5].そして,数値シミュレーション上の多リ ンク型ロボットアームによる経路獲得問題を対象として, 学習能力の向上とシミュレーションに要する時間を大幅 に削減できることを示し,提案手法の有効性を明らかに してきた.しかしながら,これまでのシミュレーション は,摩擦やすべり等の物理的な作用を反映しておらず, 現実環境下での学習を想定した場合の有効性については 明らかではなかった.この点において,実ロボットを用 いて実験することも考えられるが,実ロボットを用いた 実験には環境ノイズなど,さまざまな要因が含まれるた ∗ 原稿受付 2020年 8月 28日 † 大阪工業大学 情報科学部 Faculty of Information Science