機械学習関連の勉強をしているとマルコフという概念がいっぱい出てきます。例えば、以下のような感じです。
- マルコフ性
- マルコフ過程
- マルコフ決定過程
- マルコフ連鎖
- マルコフモデル
- 隠れマルコフモデル
etc.
で、マルコフっていったい何なの？？？となるわけです。ですので、マルコフとは何か、ここでまとめておきたく思い記事にしました。
マルコフとは
Markovというロシアの数学者の名前です。そして、このマルコフという名前が使用されているところには、「次状態は現在の状態のみに依存し、過去は影響を与えない」という意味が込められています。
ですので、言っていることはとても簡単で、「マルコフ○○...~」といわれたら、「次の状態は現在の状態のみに依存するので～...」といっていると理解すればよいのです。
よって、
- マルコフ性
次の状態が現在の状態のみで決定し、過去からは影響をうけない確率過程の特徴を総称していう抽象的な表現。 - マルコフ過程
マルコフ性を持つ確率過程。 - マルコフ決定過程
状態遷移を伴う確率モデルのうち、マルコフ性をみたすもの。 - マルコフ連鎖
マルコフ過程のうち、とりうる値が離散的な確率過程。 - マルコフモデル
マルコフ過程に従う確率モデル。 - 隠れマルコフモデル
マルコフ過程に従う確率モデルで隠れた状態を持つ。
というように理解することができます。
とくに、強化学習の分野でマルコフは頻発し、最適化する手法である価値反復法などの動的計画法はマルコフ決定過程と深いか関わりがあります。
少々雑な説明になりましたが、これでもうマルコフといわれても怖いものはありません。
