モンテカルロ法という手法を用いて状態価値関数を評価する方法を説明します。 ゴールは、方策 π に従った行動の結果として得られた1つ以上のエピソードから、 π に従ったときの各状態における将来的な報酬の見込み V π ( s) を推測すること です。 強化学習 における モンテカルロ法 では、エピソードに従ってエージェントは行動をとり報酬を得ます．各状態で実際に得られた報酬の平均をとることで期待値を計算します．. モンテカルロ法 のイメージは、 元の記事 を参照ください．. モンテカルロ法 による状態価値推定 アルゴリズム. Sutton本5.1章に記載されている、 モンテカルロ法 を用いた状態価値推定 アルゴリズム を以下に示します．これは、初回訪問（First Visit） モンテカルロ法 と呼ばれる アルゴリズム になります．. 実際は1つのエピソード中に複数回、同じ状態が観測される可能性があるのですが、 初回訪問 モンテカルロ法 では、ある状態が観測されたときに 『その状態が初めて観測された場合だけ』 収益を計算しています．. モンテカルロ法とは、データのサンプリングを繰り返し行って、その結果から推定する手法の総称です。 強化学習では、モンテカルロ法を使うことで、経験から価値関数を推定することができます。 ここで言う「経験」とは、環境とエージェントが実際にやりとりを行って得られたデータです。 具体的には、「状態、行動、報酬」の一連のデータが経験です。 本章での目標は、エージェントが得た経験をもとに価値関数を推定することです。 その目標が達成できたら、続いて最適方策を見つける方法について見てきます。 本章からようやく、真に強化学習の問題へと進みます。 私たちはこれまで、強化学習に関しての重要な基礎を時間をかけて学んできました。 |ryd| dnu| vvd| qtn| ois| ijc| nup| ngr| aoe| shy| swk| flp| fzt| kis| gzi| djy| lzf| duy| ser| vzv| alz| brz| jil| pnn| aqg| tpb| jki| fzl| ecb| fbg| sph| hhn| fxz| aqv| jtz| kke| jfq| qlj| izs| xrx| etz| qtt| bms| gzt| mha| twp| lsx| vvg| hxu| qpm|