index
archive
tag
about
设是一个样本空间(或任意一个集合),是的某些子集组成的集簇.如果满足：
-
若,则
-
若
则称为代 数 。称为可测空间，中的元素称为随机事件；
Mark
一个事件应该理解成一个集合，它可以用若干样本点表示；
Property
- .
- 对集合的可数交，可数并，差，补运算封闭；
以的某些子集为元素的集合称为上的)集类。对于上的任一非空集类,存在包含的最小代数，称为由生成的代数，记为
设。由所有半无限区间生成的代数称为上的 Borel 代数，记为, 其中的元素称为 Borel 集合。类似地，可定义上的 Borel 代数。
Mark
如何理解最小？对于.
Example
对样本空间,随机事件,写出以下集簇的最小代数：
- .
概率空间，事件，概率
设是可测空间， 是定义在上的实值函数。如果
- (非负性)
- (规范性)
- (可列可加性)对两两互不相容事件,(即当)有
则称是上的概率，称为概率空间，中的元素称为事件，称为事件的概率.
Property
-
(有限可加性)若且
-
(单调性)若,
-
(概率加法定理)
-
Jordan公式：.
-
若
证明
不妨设不等式右端小于$+\infty.$构造互斥事件序列$\{E_n\}$,其中 $$E_n=\left\{\begin{matrix}A_1,&n=1,\\A_n-\bigcup_{i=1}^nA_j,&n>1.\end{matrix}\right.$$ 于是有$E_n\subseteq A_{n\text{,并且}\bigcup_{i=1}^nE_i}=\bigcup_{i=1}^nA_i,\bigcup_{i=1}^\infty E_i=\bigcup_{i=1}^\infty A_i$,从而 $$P\left(\bigcup_{i=1}^\infty A_i\right)=P\left(\bigcup_{i=1}^\infty E_i\right)=\sum_{i=1}^\infty P(E_i)\leq\sum_{i=1}^nP(A_i).$$
事件的极限
事件的单调性：若对每个,有或 , 则称事件序列为单调增(或单调降)。
对单调增或单调降序列,我们分别令或 称为的极限，通常记为或
设
分别称其为的上极限和下极限。
若,则称极限存在，用表示
Mark
如何理解上极限，下极限？
- 上极限：全体出现在无穷个中的元素；
- 下极限：全体只在有限个中不存在的元素；
Property
-
若 且 , 则
证明
设$\{A_n\}$是单调增序列，构造互斥事件序列$\{B_n\}$,其中 $$B_n=\begin{cases}A_1,&n=1,\\A_n-A_{n-1},&n>1.\end{cases}$$ 于是有$\bigcup_{i=1}^nA_i=\bigcup_{i=1}^nB_i$ 及$\bigcup_{i=1}^\infty A_i=\bigcup_{i=1}^\infty B_i$,故 $$\begin{aligned}P\left(\lim_{n\to\infty}A_n\right)&=P\left(\bigcup_{i=1}^\infty A_i\right)=P\left(\bigcup_{i=1}^\infty B_i\right)=\sum_{i=1}^\infty P(B_i)\\&=\lim_{n\to\infty}\sum_{i=1}^nP(B_i)=\lim_{n\to\infty}P\left(\bigcup_{i=1}^nB_i\right)\\&=\lim_{n\to\infty}P\left(\bigcup_{i=1}^nA_i\right)=\lim_{n\to\infty}P(A_n).\end{aligned}$$ -
(Borel-Cantelli第一引理)设是一列事件，若, 则 .
证明
易知$\bigcup_{i=n}^\infty A_i$是关于$n$的单调减序列，故 $$\begin{aligned}0\leq P(\lim_{i\to\infty}\sup A_i)&=P\left(\bigcap_{n=1}^\infty\bigcup_{i=n}^\infty A_i\right)=P\left(\lim_{n\to\infty}\bigcup_{i=n}^\infty A_i\right)\\&=\lim_{n\to\infty}P(\bigcup_{i=n}^\infty A_i)\leq\lim_{n\to\infty}\sum_{i=n}^\infty P(A_i)=0.\end{aligned}$$ 从而得证. -
(Borel-Cantelli第二引理)设是一列事件，若, 则 .
随机变量，分布函数
设是概率空间，是定义在上取值于实数集的函数， 如果对任意实数, ,则称是上的随机变量，简称为随机变量.
称为随机变量的分布函数.
若向量满足对所有的都是随机变量，则称为多维随机变量，也称随机向量.
多维随机变量,的维联合)分布函数写作
这里为正整数，
Property
-
对每个变量都是单调的；
-
对每个变量都是右连续的；
-
,
边缘分布，联合密度
设为的联合分布函数.对 , 的边缘分布为
如果
对所有的 存在，则称函数的联合密度函数，并且
Mark
并非所有分布都具有概率密度，比如Cantor分布；
示性函数
任意事件 的示性函数为:
若 , 则 是随机变量;
若, 则 不是随机变量.
给定 和事件序列 , 若 且, 则称为 的一个 划分 .
若 是 的一个划分, 则 是随机变量, 其中 .
Riemann-Stieltjes积分
设为有限区间的一个分割，为上的实值函数。令
和。如果当时，极限
存在，且与分割的选择以及的取法无关，则称该极限值为函数关于 在上的 Riemann-Stieltjes积分，记为
Property
- (线性性质)
- (区间可加性
- ,其中均可为有限数或无穷大.
- 若单调不减,,则
数学期望,方差，原点矩
是随机变量的分布函数，其数学期望定义为
方差定义为
阶原点矩定义为
中心矩定义为
协方差定义为
阶混合矩定义为，混合中心矩定义为
Mark
-
期望有可能是不存在的，比如Cauchy分布：
-
概率论版本的Jesen不等式如下：
对于(是凸函数),有
-
对于全排列的置换 ,满足的下标个数为，
矩母函数
若随机变量的分布函数为,则称
为的矩母函数.
Property
- 矩母函数存在时，将唯一决定分布，也即矩母函数和分布唯一对应
- 若概率密度存在，则是的Laplace变换
特征函数
若随机变量的分布函数为,则称
为的 特 征 函 数 .
Property
-
分布函数由其特征函数唯一决定.如果有概率密度就是的Fourier变换
-
(有界性)
-
(共轭对称性)
-
(一致连续性)
-
(线性变换)设,则的特征函数是
-
两个相互独立的随机变量之和的特征函数等于它们的特征函数之积.
-
(非负定性)对于任意的正整数,任意实数及复数,有
-
设随机变量有阶矩存在，则它的特征函数可微分次，且当时，有
-
特征函数可作如下带皮阿诺型余项的Taylor展开：
收敛性
几乎必然收敛
设是随机变量序列，若存在随机变量使得
则称随机变量序列 几 乎 必 然 收 敛 (或以概率1收敛于), 记为
等价命题：当且仅当对任意的
Mark
事件发生的概率是1，几乎是一个必然事件，我们认为事件几乎处处成立；
- 考虑喂养一个宠物，并将该宠物每天消耗的食物量记为Xn.虽然Xn是不可预测的，但我们可以非常确定有一天该数字将变为零，并且此后将永远保持为零；
- 假设一个人每天早上抛七枚硬币。硬币每出现一个正面，当天下午他都会向慈善机构捐赠一块钱。然而，如果某一天硬币的结果全是反面，他就会永远停止捐赠。设为慈善机构每天从他那里收到的金额。我们几乎可以肯定，有一天这个金额将为零，并在那之后永远保持为零。然而，当我们考虑任何有限的天数时，终止条件不会发生的概率不为零（虽然这个概率极小）;
依概率收敛
设是随机变量序列,若存在随机变量,使得,有
则称随机变量序列依概率收敛于, 记为.
Mark
随着事件序列的进展，‘不寻常‘的结果发生的概率越来越小；
假设随机数生成器生成0到1之间的伪随机浮点数.设为生成器输出的数字，由于伪随机数是确定性生成的，因此其下一个值并不是真正随机的。假设当观察一系列随机生成的数字时，可以推断出它的模式并对下一个随机生成的数字是什么做出越来越准确的预测。令为在观察前个随机数后对下一个随机数的值做的猜测。随着对生成器的模式越来越了解，猜测也将变得更加准确，的结果会收敛到的结果。
Property
- 随机变量序列的充分必要条件是的任意子序列都包含几乎必然收敛于的子序列;
称随机变量 ,如果其满足 ;
设随机变量序列,随机变量,若有
则称随机变量序列 次 平均收敛于.记作
依分布收敛
设是分布函数列，如果存在一个单调不减函数, 使得在的所有连续点上均有
则称 弱 收 敛 于 ,记 为
设随机变量的分布函数分别为及,，则称依分布收敛于,记为
Mark
-
-
-
定义
验证序列
满足构造要求
-
定义
验证序列
满足构造要求
独立性
设为个事件，如果对任何及1, 有
则称 相互独立.
设维随机变量的联合分布函数为,若对所有实数组均有
成立，其中 是关于的边缘分布，则称相互独立。
Property
-
两两独立不一定相互独立.
-
-
条件概率，全概率公式，Bayes公式
设是一个事件，且. 则 事 件发生的条件下事件发生的条件概率为
全概率公式:
设是的一个有限划分，且则有
贝叶斯公式:
设 是的一个有限划分，且如果,则
条件期望,条件方差，全期望公式
设是连续型随机变量，其联合概率密度函数。对固定的若满足,给定时，的条件概率定义为：
称作在的条件下，随机变量的条件概率密度.称
为在的条件下，随机变量的 条 件 期 望 .
称
为在 的条件下，随机变量的 条 件 方 差.
Property
-
(全期望公式).
-
如果, 则.
-
如果与}独立,则.
-
.特别地,.
-
是所有用来近似中效果最好的.
-
(全方差定理)
随机过程
设是 概 率 空 间 , 是一参数集。若对每一个 是 上的随机变量，则称随机变量族为 随 机 过 程 .
Mark
- 观察随机过程的两种视角：对于随机过程
- 固定,是定义在上的样本函数，称作实现；
- 固定,是定义在上的随机变量，称作状态；
有限维分布(簇)，Kolmogorov定理,数字特征
对任意有限个,定义随机过程的维 分 布 函 数
随机过程的所有的一维分布，二维分布，维分布等的全体
称为随机过程 的 有 限 维 分 布 簇 .
Property
-
对称性：对的任一排列，有
-
相容性：对,有
Kolmogorov定理描述如下事实：
设分布函数族 满足上述的对称性和相容性，则必存在一个随机过程使
恰好是的有限维分布簇.
有限维分布簇完整地描述了随机过程的概率性质，但是实际过程中几乎无法得到完整的分布簇，因此采用数字特征描述随机过程也许是更好的办法.
- 均值函数：
- 方差函数：
- 协方差函数：
- 自相关函数：
严平稳过程，宽平稳过程
如果随机过程对任意的和任意的 均满足与 具 有 相 同的联合分布，记为
则称为 严 平 稳 过 程 .
如果随机过程的所有二阶矩都存在，并且均值函数,协方差函数只与时间差有关，则 称为 宽 平 稳 过 程.
Mark
-
严平稳过程的有限维分布关于时间平移不变；
-
严平稳过程的主要性质和选取的起始点无关而和变量之间的距离有关；
-
宽平稳过程的协方差函数可以记为,因为\gamma(s,t+s)=\gamma(0,t),s,t\in\mathbb{R};
-
宽平稳过程：是偶函数，,且具有非负定性，也即对于任意时刻和实 数，有
证明
$\mathbf A=(a_1,a_2,...,a_n),\mathbf Z=(E[t_1]-\mu,E[t_2]-\mu,...,E[t_n]-\mu)$ $0\le Var(\mathbf A^T \mathbf Z)=A^TE[ZZ^T]A=\sum_{i=1}^N\sum_{j=1}^Na_ia_j\gamma(t_i-t_j)$
遍历性
设为一平稳过程，若
或当参数空间为时，
则称的 均 值 有 遍 历 性 .
若
或当参数空间为时，
则称的 协 方 差 有 遍 历 性.
若随机过程的均值和协方差函数都具有遍历性，则称此随机过程有遍历性.
均值遍历性定理：
-
设是平稳过程，其协方差函数为,则的均值有遍历性的充分必要条件是
-
设是平稳序列，其协方差函数为的均值有遍历性的充分必要条件是
Proof
首先，计算的均值和方差。记
则有
进而
在上述积分中，做变换\begin{cases}\tau=t-s\v=t+s\end{cases},则变换的 Jacobi 行列式值为：J=\left|\begin{array}{cc}1&-1\1&1\end{array}\right|^{-1}=\dfrac{1}{2} 积分区域变换为顶点分别在轴和 轴上的菱形区域
由于是偶函数，故
推论
- 若,则均值遍历性定理成立.
- 对于平稳序列而言,若,则均值遍历性定理成立.
平稳增量，独立增量
如果对任何随机变量是相互独立的，则称 为 独 立 增 量 过 程 . 如 果 对 任 何 ,有 ,则称为是平稳增量过程.
有独立增量和平稳增量的过程称为平稳独立增量过程.
Property
-
假设是一个独立增量过程，则具有平稳增量的充分必要条件是：其特征函数具有可乘性，即
-
设是 一 个 平 稳 独 立 增 量 过 程 ,
-
- 其中均是常数。
proof:注意到
这是Cauchy方程，简单验证连续性即可；
其次,假设，