应用随机过程中的一些例子
平稳白噪声序列
设${X_n,n=0,1,\cdots}$为一列两两互不相关的随机变量序列，满足$E(X_n)=0,n=0,1,2\cdots$,且
$$
\left.E(X_mX_n)=\left{\begin{array}{ll}0\quad,&\text{当}m\neq n\\sigma^2,&\text{当}m=n\end{array}\right.\right.
$$
白噪声序列${X_n,n=0,1,\cdots}$为平稳的.
这是因为协方差函数 $cov( X_n, X_m) = E( X_nX_m)$只与$m- n\textbf{有 关 }.$
滑动平均序列
设$\left { \varepsilon _n, :n= 0, \pm 1, \pm 2, \cdots \right }$为 一 列 互 不 相 关 的 且 有 相 同 均 值 $m$和方差$\sigma^2$的平稳白噪声序列。
设$a_1,a_2,\cdots,a_k$为任意$k$个实数。如下滑动平均序列具有平稳性：
$$
X_n=a_1\varepsilon_n+a_2\varepsilon_{n-1}+\cdots+a_k\varepsilon_{n-k+1}=\sum_{i=1}^k a_i\varepsilon_{n+1-i},\quad n=0,\pm1,\pm2,\cdots
$$
对于均值,保持不变：
$$
E[X_n]=E[\sum_{i=1}^k a_i\varepsilon_{n+1-i}]=\mu\sum_{i=1}^k a_i
$$
协方差
$$
\gamma(\tau)=\gamma(n,n+\tau)=\sigma^2\sum_{i=1}^k a_i a_{i+\tau}(0\le \tau \le k-1)
$$
滑动平均序列均值具有遍历性,这是因为$k$是固定的数，
$$
\tau\to \infty,\gamma(\tau)\to 0
$$
Fix-Neyman(1951)疾病、死亡模型
考虑一个包含两个健康状态$S_1,S_2$以及两个死亡状态$S_3,S_4$
(即由不同原因引起的死亡)的模型。若个体病愈，则认为它处于状态$S_1$,若它患病，则它处于$S_2$,个体可以从$S_1,S_2$进入$S_3$和$S_4$, 易见这是一个马氏链的模型，转移矩阵为
$$\left.\mathbf{P}=\left(\begin{array}{cccc}p_{11}&p_{12}&p_{13}&p_{14}\p_{21}&p_{22}&p_{23}&p_{24}\0&0&1&0\0&0&0&1\end{array}\right.\right)$$
离散排队系统
考虑顾客到达一服务台排队等待服务的情况。若服务台前至少有一顾客等待，则在一单位时间周期内，服务员完成一个顾客的服务后，该顾客立即离去；若服务台前没有顾客，则服务员空闲。在一个服务周期内，顾客可以到达，设第$n$个周期到达的顾客数$\xi_n$是一个取值为非负整数的随机变量，且${\xi_1,\xi_2,\cdots}$相互独立
同分布。
设$X_n$为第$n$个周期开始时服务台前的等待服务的顾客数，验
证${ X_n, n= 0, 1, 2, \cdots } \textbf{是 Markov链 , 并 写 出 转 移 概 率 。 }$
M/G/1排队系统
在$M/G/1$排队系统中，$M$表示顾客到达服务台的时间间隔，假设为独立同分布，概率密度为$g(t).$ 若服务员空闲，则顾客立刻就能得到服务，否则就需要等待排队。$G$表示每位顾客的服务时间，假设为独立同指数分布(参数为λ),且与顾客到达过程相互独立。数字1表示只有1名服务员。
设$X_n$表示第$n$位顾客到达服务台时系统内的顾客数(包括该顾
客)、验证${ X_n, n= 1, 2, \cdots } \textbf{是 Markov链 , 并 写 出 转 移 概 率 。 }$
(s, S)备货策略
设某商店使用$(s,S)$备货策略，每天早上检查某商品的剩余量，
设为$x$,定购额为
$$\left.\left{\begin{array}{ll}0,&\text{若}x\geq s\S-x,&\text{若}x<s\end{array}\right.\right.$$
设定货和进货不需要时间，每天的需求量$Y_n$独立同分布
且$P{Y_n=j}=a_j,j=0,1,2,\cdots$.设$X_n$为第$n$天结束时的存货量，
验证${ X_n, n= 1, 2, \cdots } \textbf{是 Markov链 , 并 写 出 转 移 概 率 。 }$
分支过程
考虑一个能产生同类后代的个体组成的群体.每一个体生命结束时以概率$p_j(j=0,1,2,3,\cdots)$产生了$j$个新的后代，与别的个体产生的后代个数相互独立.
初始的个体数以$X_0$表示，称为第零代的总数；第零代的后代构成第一代，其总数记为$X_1$,第一代的每个个体以同样的分布产生第二代，$\cdots$.一般地，以$X_n$记第$n$代的总数.
此Markov链${ X_n, n= 0, 1, 2, \cdots }$ 称 为 分 支 过 程 .
现在假设群体是从单个祖先开始的，即$X_0= 1$,则 有
$$
X_n=\sum_{i=1}^{X_{n-1}}Z_{n-1,i}
$$
其中$Z_{n-1,i}$表示第$n-1$代的第$i$个成员的后代的个数。
第$n$代的平均个体数
$$
\begin{aligned}
E[X_n]&=E[E(X_n|X_{n-1})]\
&=\mu E[X_{n-1}]\
&=\mu^n\
\end{aligned}
$$
其中$\mu =\sum_{i=0}^\infty ip_i$表示每个个体的后代个数的均值，从而可以看出，若$μ < 1$，则平均个体数单调下降趋于0.若$μ = 1$时，各代平均个体数相同.当$μ > 1$时，平均个体数按指数阶上升至无穷.直觉上看家族消亡和$\mu$有关.
考虑群体最终会消亡的概率$π_0$, 设$0< p_0< 1$, 则$\pi _0= 1 \Longleftrightarrow \mu \leq 1$
由$\pi_0$的表达式$\pi_0=\sum_{j=0}^\infty \pi_0^jp_j:=F(\pi_0)$ 知它是直线$y=x$和曲线$y=F(x)$交点的横坐标，显然(1,1)是一个交点.
当$p_0+p_1=1$时，$y= F( x)$是 一 条 直 线 ,方程只有唯一解$\pi_0=1$,家族必定消亡,此时
$$
\mu=\sum_{i=0}^\infty jp_j=p_1<1
$$当$p_0+p_1<1$时，由于
$$
\begin{aligned}&F’(x)\quad=\quad\sum_{j=1}^\infty jx^{j-1}p_j>0,\quad0<x<1\&F’’(x)\quad=\quad\sum_{j=2}^\infty j(j-1)x^{j-2}p_j>0,\quad0<x<1\end{aligned}
$$
可见$F( x) $是 单 调 增 加 的 凸 函 数 .$\forall s\in(0,1), F( s) > s, F( 1) = 1$, 方 程 $\pi _0= F( \pi _0)$只 有 唯 一 的解$\pi_0=1;$
此时$F^\prime(1)\leq1$而 $F^\prime(1)=\sum_{j=0}^\infty jp_j=\mu$,从而$\mu\leq1.$
存在一个$0<s<1$使得 $F(s)=s$,断言，$\pi_0$必定取值为$s$,为 此 只 需 证 明 $\pi _0$是方程的最小解.
数学归纳法，$$\pi=\sum_{j=0}^\infty\pi^jp_j\geq\pi^0p_0=p_0=P{X_1=0}$$
假设$\pi \geq P{ X_n= 0}$ ,则
$$
\begin{aligned}P{X_{n+1}=0}&=\quad\sum_{j=0}^\infty P{X_{n+1}=0|X_1=j}\cdot p_j\&=\quad\sum_{j=0}^\infty P{X_n=0}^j\cdot p_j\&\leq\quad\sum_{j=0}^\infty\pi^jp_j=\pi\end{aligned}
$$
从而对一切$n$,$\pi\geq P{X_n=0}.$
$\lim_{n\to\infty}P{X_n=0}=P{\text{群体最终灭绝}}=\pi_0$,故$\pi\geq\pi_0.$这就证明了在这种情况下$\pi_0$取值应为$s.$容易看出$F’(1) = μ > 1$.此时$\pi<1$,因此等价关系成立
在实际应用中，考虑一个群体的真实增长时，分支过程的假定在群体达到无限之前就不成立了(比如独立同分布性).但另一方面，利用分支过程研究消亡现象是有意义的，因为一般灭绝常常发生在过程的早期.
人口结构变化的Markov链模型
考虑社会的教育水平与文化程度的发展变化，可以建立如下模型：
将全国所有16岁以上的人口分为文盲、初中、高中(含中专)、大学(含大专)、中级技术人才、高级技术人才、特级专家等7类，结构的变化为升级、退化(如，初中文化者会重新变为文盲)、进入 (年龄达到16岁或移民进入)迁出(死亡或移民国外).
用$(n_1(t),n_2(t),\cdots,n_7(t))$表示在$t$年各等级的人数;
$N( t) = \sum _{i= 1}^7n_i( t)$为 全 社 会 16岁 以 上 人 口 总 数 (简 称 为 总 人 数 );
以$q_{ij}$记每年从$i$级转为$j$级的人数在$i$级人数中的百分比，则
$$
\mathbf{Q}=(q_{ij})_{7\times7}
$$
是一个准转移矩阵(每行所有元素之和$\leq1).$
再考虑进入与迁出，记$w_i$为每年从$i$级迁出占$i$级总人数的比例,$r_i$为每年进入$i$级的人数占总进入人数的比例，则
$$
\sum_{j=1}^7q_{ij}+w_i=1,\quad r_i\geq0,\quad\sum_{i=1}^7r_i=1
$$
记$R(t)$为总进入人数，$W(t)$为总迁出人数，则
$$
\begin{aligned} N(t+1) &= N(t)+R(t)-W(t)\ n_j(t+1) &= \sum_{i=1}^7n_i(t)q_{ij}+r_jR(t)-n_j(t)w_j\end{aligned}
$$
令$$M(t)=N(t+1)-N(t)=R(t)-W(t)$$.
设总人数以常数百分比$\alpha$增长(可以为负增长),即
$$
M(t)=\alpha N(t)\ \alpha=\frac{N(t+1)}{N(t)}-1
$$
于是
$$
\begin{aligned}\frac{n_j(t+1)}{N(t+1)}&=\quad\frac{N(t)}{N(t+1)}[\sum_{i=1}^7\frac{n_i(t)}{N(t)}q_{ij}+r_j\frac{R(t)}{N(t)}-\frac{n_j(t)}{N(t)}w_j]\&=\quad(\frac1{1+\alpha})[\sum_{i=1}^7\frac{n_i(t)}{N(t)}q_{ij}+r_j\frac{R(t)}{N(t)}-\frac{n_j(t)}{N(t)}w_j]\end{aligned}
$$
记$a_j(t)=\frac{n_j(t)}{N(t)}$,上式可改写为
$$
\begin{aligned}a_j(t+1)&=\frac{1}{1+\alpha}[\sum_{i=1}^{7}a_i(t)q_{ij}+r_j\frac{R(t)}{N(t)}-w_ja_j(t)] \end{aligned}
$$
由$R(t)=W(t)+M(t)$,可故写为
$$
a_j(t+1)=\frac{1}{1+\alpha}[\sum_{i=1}^7a_i(t)(q_{ij}+r_jw_i)-w_ja_j(t)+\alpha r_j]
$$
这是由于
$$
\frac{W(t)}{N(t)}=\frac{\sum_{i=1}^7n_i(t)w_i}{N(t)}=\sum_{i=1}^7a_i(t)w_i
$$
特别地,当$\alpha=0 , a_j(t+1)=\sum_{i=1}^7a_j(t)(q_j+r_jw_i)-w_ja_j(t)$;
记$\mathbf{a}(t)=(a_1(t),\cdots,a_7(t)), \mathbf{P}=(\widetilde p_{ij})$
其中
$$
\widetilde{p}{ij}=
\begin{cases}
q{ij}+r_jw_i&,i\neq j\
q_{jj}+r_jw_j-w_j&,i=j
\end{cases}
$$
则上式变为
$$
a(t+1)=\mathbf{a}(t)\widetilde{\mathbf{P}}
$$
这是一个以$\widetilde{\mathbf{P}}$为转移阵的Markov链，在$t$时刻分布满足的方程.
我们希望人口维持在比较合理的稳定水平$a^*$,文盲不太多，专家也不太多，并且从现在的$a(0)$出发，通过控制人口进入各级的比例$r=(r_1,\cdots,r_7)$来尽快地达到这个稳定水平.为此我们讨论一下在不同的r下全部可能的稳定结构.由于
$$
\mathbf{a}= \mathbf a\cdot \widetilde P
$$
即
$$
\mathbf{a}=\mathbf{a}(\mathbf{Q}+(w_ir_j)-(w_j\delta_{ij}))=\mathbf{a}\mathbf{Q}+(\mathbf{a}\mathbf{w}^T)\mathbf{r}-(a_1w_1,\cdots,a_7w_7)
$$
其 中
$$
\mathbf{w} = ( w_1, \cdots , w_7) , \textbf{r}= ( r_1, \cdots , r_7) .
$$
当数$\mathbf{aw^T}\neq0$时$$\mathbf{r=aI-Q+(w_j\delta_{ij})^{-1}}$$即$\mathbf{a=(aw^{T})\cdot r(I-Q+(w_j\delta_{ij}))^{-1}.}$
因 为 要 求 $r_i\geq 0$. 从而$a_j\geq \sum {i= 1}^7a_iq{ij}- a_jw_j( \forall j)$,这 样 对 于
$$
\forall\mathbf{a}\in\mathcal{A}\doteq{\mathbf{a}:a_j\geq\sum_{i=1}^7a_iq_{ij}-a_jw_j,\forall j},
$$
找出$r$使其满足
$$
\mathrm{a=aQ+aw^{T}r-a(w_i\delta_{ij})=a\cdot\widetilde{P}}
$$
从而对于此$r,a$是一个稳定的结构.
Yule 过程
设群体中各个生物体的繁殖是相互独立，强度为$\lambda$的Poisson过程，并且群体中没有死亡，此过程称为Yule过程，也叫纯生过程;
设在时刻0群体中有1个个体，则群体将有的个体数是${1,2,3\cdots}$ ;
以$T_i(i\geq1)$记群体数目从$i$增加到$i+1$所需的时间，由Yule过程定义，当群体数目为$i$时，这$i$个个体是以相互独立的Poisson过程来产生后代的;
由Poisson过程的可加性知，这相当于一个强度为$\lambda i$的Poisson过程；由Poisson过程的平稳独立增量性，易知$T_i$与状态的转移是独立的 $(i\geq1)$,并且${T_i}$是相互独立且服从参数为$\lambda i$的指数分布;
这就说明了Yule过程是一个连续时间Markov链。
生灭过程
设马尔可夫链${X(t),t\geq0}$,状态空间$\mathcal{S}={0,1,2,\cdots}$,若转移概率矩阵$\mathbf P(t)=(p_{ij}(t))$满足：当$h$充分小时，
$$
\begin{aligned}&\begin{cases}p_{i,i+1}(h)=\lambda_ih+o(h),&\lambda_i\geq0,i\geq0,\p_{i,i-1}(h)=\mu_ih+o(h),&\mu_i\geq0,i\geq1,\p_{ii}(h)=1-(\lambda_i+\mu_i)h+o(h),&\mu_0=0,i\geq0,\\sum_{|j-i|\geq2}p_{ij}(h)=o(h),&i\geq0.\end{cases}\end{aligned}
$$
则称该过程为生灭过程.
根据生灭过程的定义，当$h$充分小时，状态的转移只有三种可能： $i\to i+1,i\to i-1,i\to i$这个特性是许多生物群体，例子裂变,信号计数等的共同特点，因而可以作为这一类为物理自然现象的数学模型。
生灭过程的$\mathbf Q$矩阵是保守的：
$$
\left.\mathbf{Q}=\left(\begin{array}{ccccccc}-\lambda_0&\lambda_0&0&0&0&0&\cdots\\mu_1&-(\lambda_1+\mu_1)&\lambda_1&0&0&0&\cdots\0&\mu_2&-(\lambda_2+\mu_2)&\lambda_2&0&0&\cdots\0&0&\mu_3&-(\lambda_3+\mu_3)&\lambda_3&0&\cdots\\vdots&\vdots&\vdots&\cdots&\vdots&\vdots&\ddots\end{array}\right.\right)
$$
若${X(t),t\geq0}$为生灭过程，则$\mathbf{P}(t),\mathbf{Q}$满足Kolmogorov微分方程
向后方程
$$
p_{ij}’(t)=\begin{cases}-\lambda_0p_{0j}(t)+\lambda_0p_{1j}(t),&i=0\-(\lambda_i+\mu_i)p_{ij}(t)+\lambda_ip_{i+1,j}(t)+\mu_ip_{i-1,j}(t),&i>0\end{cases}
$$向前方程
$$
p_{ij}’(t)=\begin{cases}-p_{i0}(t)\lambda_0+p_{i,1}(t)\mu_1,&j=0\-p_{ij}(t)(\lambda_j+\mu_j)+p_{i,j-1}(t)\lambda_{j-1}+p_{i,j+1}(t)\mu_{j+1},&j>0\end{cases}
$$
设$\tau_i$是Markov链到达状态$i$后，离开该状态前的停留时间.
对于生灭过程，$\tau_i$服从参数为$\lambda_i+\mu_i$的指数分布，并且其在### 各个状态的停留时间相互独立. 定义$T_0=0$,
$$
T_n=\inf{t>T_{n-1}|X(t)\neq X(T_{n-1})},n\geq1.
$$
$T_n$是Markov链${X(t),t\geq0}$的第$n$次转移时刻.
设$Y_n= X( T_n)$ , 则${ Y_n, n= 0, 1, 2, \cdots }$是 离 散 时 间 Markov链，其一步转移概率矩阵K：
$$
\left.\mathbf{K}=\left(\begin{array}{ccccccc}q_0&p_0&0&0&0&0&\cdots\q_1&0&p_1&0&0&0&\cdots\0&q_2&0&p_2&0&0&\cdots\0&0&q_3&0&p_3&0&\cdots\\vdots&\vdots&\vdots&\cdots&\vdots&\vdots&\ddots\end{array}\right.\right)
$$
其中$p_0=1-q_0$
$$
q_0=\begin{cases}1,&\lambda_0=0,\0,&\lambda_0>0,\end{cases}\p_i=\frac{\lambda_i}{\lambda_i+\mu_i},q_i=\frac{\mu_i}{\lambda_i+\mu_i},\quad i\geq1.
$$
生灭过程描述的情况如下：已知时刻$t$时有$i$个生物时，再等待$\tau_i$后，以概率$p_i$增加一个生物，或者以概率$q_i$减少一个生物. 这里$\tau_i\sim$Ехр$(\lambda_i+\mu_i).$
M/M/S排队系统
顾客的来到是参数为λ的Poisson过程。服务员数为$s$个，每个顾客接受服务的时间服从参数为$\mu$的指数分布。遵循先来先服务、 服务员没有|空闲就排队的原则，以$X(t)$记$t$时刻系统中的总人数， 则${X(t),t\geq0}$是一个生灭过程(来到看作出生，离去看作死亡)。若以$\lambda_n,\mu_n$分别记系统中有$n$个顾客时的来到率和离去率。则来到率是恒定参数为$\lambda$的Poisson过程$(\lambda_n=\lambda)$;离去过程的参数会发生变化：
$$
\left.\mu_n=\left{\begin{array}{ll}n\mu,&1\leq n\leq s\s\mu:,&n>s\end{array}\right.\right.
$$