随机过程及应用学习笔记（四）马尔可夫过程

原创

已于 2024-02-15 14:23:31 修改 · 4.6k 阅读

于 2024-02-15 14:23:09 首次发布

马尔可夫过程是理论上和实际应用中都十分重要的一类随机过程。

前言

经典力学中，在一给定时刻t的轨道，完全可以用在某时刻t0<t的状态确定,而不必知道t0前的状态。这一原则推广到遵从概率规律而不是决定性规律的体系，即当过程在t-t0时刻所处的状态已知的情况下，过程在时刻t(t>≥t0)所处的状态与过程在t-t0时刻之前的状态无关。这种已知“现在”的条件下，“将来”与“过去”无关的性质，就是直观意义下的马尔可夫性或称为无后效性。具有无后效性的过程称为马尔可夫过程。

一、马尔可夫过程的概念

一个马尔可夫过程由以下几个要素构成：

状态空间 (State Space): 表示可能的状态集合，记作 S。
转移概率 (Transition Probability): 描述从一个状态到另一个状态的概率。对于离散时间的情况，可以用转移矩阵 P 表示，其中 P(i, j) 表示从状态 i 转移到状态 j 的概率。数学上，这可以表示为：

P(Xn+1=j∣Xn=i)=Pij

其中Xn 表示在时刻 n 的状态，Pij 是从状态 i 转移到状态 j 的概率。
初始概率分布 (Initial Probability Distribution): 描述在初始时刻系统处于每个状态的概率分布。

马尔可夫过程可以分为离散时间马尔可夫链和连续时间马尔可夫过程两种。在连续时间的情况下，转移概率可以用转移率 (transition rate) 来描述

二、离散参数马氏链

1 定义

离散参数马氏链（Discrete-time Markov Chain）是一个随机过程，具有马尔可夫性质，而且在离散的时间步长内进行状态的转移。以下是离散参数马氏链的一般定义：

状态空间 (State Space): 表示系统可能处于的所有状态的集合，通常用 S 表示。
初始概率分布 (Initial Probability Distribution): 描述在初始时刻系统处于每个状态的概率分布，通常用 P(X0=i) 表示，其中 i 是状态空间中的一个状态。
转移概率 (Transition Probability): 描述在给定当前状态的情况下，系统转移到下一个状态的概率。用 Pij 表示从状态 i 转移到状态 j 的概率，其中 i,j∈S。转移概率矩阵 P 是一个矩阵，其元素为Pij。

转移概率满足以下性质： P(Xn+1=j∣Xn=i)=Pij

对于所有的 i,j∈S 和 n=0,1,2,…。
马尔可夫性 (Markov Property): 离散参数马氏链具有无后效性，即在给定当前状态的情况下，未来的状态只依赖于当前状态，而与过去的状态无关。