概率论与数理统计

《概率论与数理统计》课程的知识点整理。

[TOC]

样本空间和概率

集合论描述的样本空间和随机事件

样本空间与随机事件

• 样本点：随机试验的一种可能的结果， 用表示。

• 样本空间： 一个随机试验所有的样本点的集合， 用表示。

• 随机事件：样本空间的一个子集叫做随机事件， 简称事件， 常用大写字母表示。

如"掷一次骰子， 观察出现的点数"这个随机试验中， 1、2、3、4、5、6都是样本点， 而样本空间为

设事件A: 掷出奇数点。 则A包含了1, 3, 5这三个样本点，

事件的关系(集合的运算)

• A的逆事件： , A不发生

• A是B的子事件： , A发生一定导致B发生

• A和B的和事件: ， A或B发生

  • 多个事件的和事件: , n个事件中至少一个发生

• A和B的积事件： ， A和B同时发生

  • 多个事件的积事件: , n个事件同时发生

• A和B的差事件： , A发生而B不发生

• A和B是互斥事件: ， A和B不能同时发生

• A和B是对立事件： ， A、B不同时发生， 但必有一个发生

事件的运算

• 交换律
• 结合律
• 分配律
• 德摩根定理：

概率与概率模型

概率公理

用表示事件A的概率

• 非负性：
• 可加性： 若A和B是互斥事件， 则
• 归一化：

概率的常用性质

• 减法公式:
• 广义加法公式:

古典概型（离散模型）

若样本空间由有限个样本点组成， 且由每个样本点组成的事件(基本事件)的概率相等，

有 如上面的“掷骰子试验”就是一个古典概型，

事件A"掷出奇数"的概率

几何概型（连续模型）

若试验的样本空间是一个连续集合,其相应的概率律与离散情况有很大的差别.在离散情况下,用基本事件的概率就可以确定概率律,但连续情况却不同.

罗密欧和朱丽叶约定在某时刻见面,而每个人到达约会地点的时间都会有延迟,延迟时间在0~1小时.第一个到达约会地点的人会在那儿等待15分钟,等了15分钟后,若对方还没有到达约会地点,先到者会离开约会地点.问他们能够相会的概率有多大?

考虑直角坐标系的单位正方形 .正方形中的每个点的两个坐标分别代表他们可能的延迟时间.每个点都可以是他们的延迟时间,而且是等可能的.由于等可能性的特点,我们将 的子集出现的概率定义为这个子集的面积.这个概率律满足三条概率公理.罗密欧和朱丽叶能够相会的事件可用下图中阴影部分表示.它的概率等于7/16.

条件概率

在事件已发生的基础上, 求事件发生的概率. 这个概率就叫做B发生之下A的条件概率, 记为.

条件概率定义:

全概率公式和贝叶斯公式

全概率公式

若事件构成样本空间的一组划分, 则对于任意事件, 有: 全概率定理是与著名的贝叶斯准则联系在一起的.贝叶斯准则将形如的条件概 率与形如的条件概率联系起来.

贝叶斯公式

若事件构成样本空间的一组划分, 且对于所有每一个, 满足, 则对于任意满足的事件B, 有

根据以往的记录，某种诊断肝炎的试验有如下效果：对肝炎病人的试验呈阳性的概率为0.95；非肝炎病人的试验呈阴性的概率为0.95．对自然人群进行普查的结果为：有千分之五的人患有肝炎．现有某人做此试验结果为阳性，问此人患有肝炎的概率为多少？

解:

设事件: 患有肝炎, 事件: 试验结果为阳性.

由题中信息可知, , ,

要求的也就是, 与构成了一组划分, 由贝叶斯公式

独立性

对于事件， 若满足, 则称相互独立。

当满足 且时， ， 。

多个事件的独立性

若从n个事件中任取m个事件， 都有， 则称这n个事件是相互独立的。

如若相互独立， 当且仅当:

若相互独立， 则、、都相互独立。

伯努利概型

设试验只有两种可能的结果, , 将独立地重复进行n次,这称这一系列重复的独立试验为n重伯努利试验或n重伯努利概型.

定理: 设, 则n次试验中， 事件A恰好发生次的概率为:

离散随机变量

随机变量

在实际中， 随机试验的每一个样本点往往可以用数值来表示， 样本点和数值的映射被称为随机变量， 记为。从数学上讲, 随机变量 是试验结果的实值函数， 也就是说， 对于每一个样本点， 都有数值与之对应.

举个例子， 连续抛掷一枚硬币共5次,在这个试验中正面出现的次数是一个随机变量, 的取值范围为.

然而作为试验结果的长度为5的正面和反面的序列却不能作为随机变量,因为它对于一个试验结果没有给出一个明显的数值.

离散随机变量

若一个随机变量的值域(随机变量的取值范围)为一个有限集合或最多为可数无限集合,则称这个随机变量为离散的.

离散随机变量有如下特点：

• 离散随机变量是试验结果的一个实值函数,但是它的取值范围只能是有限多个值或可数无限多个值;
• 一个离散随机变量有一个分布列,它对于随机变量的每一个取值, 给出一个概率;
• 离散随机变量的函数也是一个离散随机变量, 它的分布列可以从原随机变量的分布列得到.

分布列

使用离散随机变量可以方便的描述基本事件， 基本事件等同于, 设， 则随机变量等于x的概率记为:.

离散随机变量取每个值时的概率是随机变量的最重要的特征, 描述这一特征的函数或图表就是其分布列。

如，设为将硬币独立地抛两次的试验中， 正面向上的次数。

则的分布列为 对于分布列， 有

01分布

当离散随机变量只有两种可能的取值时， 我们称是01分布， 或是伯努利随机变量。

二项分布

在伯努利概型中， 设为n次试验中A发生的次数()， 则有分布列, 称是参数为的二项分布， 记作。

几何分布

在连续抛掷硬币的试验中, 每次抛掷, 正面出现的概率为 p ,反面出现的概率为 1-p, 而且各次抛掷是相互独立的.令 X 为连续地抛掷一枚硬币, 直到第一次出现正面所需要抛掷的次数. X 就称为几何随机变量.前 k-1 次抛掷的结果为反面向上, 第 k 次抛掷的结果为正面向上的概率为 . 因此 X 的分布列为

image-20230303212728760

泊松分布

若随机变量的分布列满足: 则称服从参数的泊松分布。

---

高数二知识补充

高数二补充

image-20230303213941942

连续随机变量

分布函数

设为一随机变量， x是任意实数， 则X的分布函数, 分布函数简写为

密度函数

设随机变量分布函数为, 若非负函数满足, 则被称为的密度函数, 被称为连续型随机变量。

密度函数简写为

密度函数的性质

• 非负性，
• 归一性，
• 对于任意实数, 有
• 的大小并不代表取x的概率, 但越大, 在x附近取值的概率也就越大
• 若在x处连续， 则有

连续随机变量的性质

对于连续型随机变量, 有

• 的分布函数连续
• , 所以对于连续型随机变量, 其在某一点上的取值概率没有意义, 我们更多关心其在区间内的取值概率.

正态分布

当一个随机变量X被称为正态分布时， 它的概率密度有如下格式： 随机变量X服从随机分布式, 简写为

image-20230316082220452

正态分布特点

• 正态分布曲线呈钟形, 且关于对称, 再处达到最大值
• 为曲线的拐点
• , 所以x轴为正态分布的水平渐近线
• 正态分布的均值为, 方差为
• 线性变换后随机变量的正态性保持不变, 如随机变量, 均值为, 方差为

标准正态分布

当时, 称X满足标准正态分布, 记为

image-20230316085903256

标准正态分布的性质

若随机变量, 则

• (利用标准正态分布关于y轴对称的特点)
• 如何正态分布都可以通过线性变换转换为标准正态分布. 设为任意一正态随机变量, 令, 显然为正态随机变量.

二维随机变量(多个随机变量的联合分布)

二维随机变量的分布函数

定义为二维随机变量的分布函数。

image-20230423170030246

二维随机变量分布函数的性质

• 对于固定的值， 有

和分布的卷积公式

设随机变量相互独立， 密度函数为, 设则

边缘分布

定义

二维随机变量通常使用分布函数来描述其本质特征， 而其中单个随机变量， 也可以用相应的分布函数单独描述。由单个或确定的分布就称为边缘分布。

公式

对于二维离散型随机变量，

---

对于二维连续型随机变量。

所以, 关于的边缘分布函数为

关于的边缘密度函数为

数字特征

数学期望

定义

离散型 连续型

已知X的分布， 求

离散型 连续型

性质

• 对于k为常数,
• 对任意随机变量X, Y, 有
• 对于相互独立的两个随机变量X, Y, 有

常见分布的数学期望

image-20230425135438938

方差

定义

是刻画X取值分散程度的一个量.

若X的取值比较集中,则方差D(X)较小, E(X)作为随机变量的代表性好；

若X的取值比较分散,则方差D(X)较大, E(X)作为随机变量的代表性差.

标准差

称为X的标准差.

性质

• 若c为常数, 则
• 若k为常数, 则
• 对于任意随机变量, 有
• 对于相互独立的两个随机变量X, Y, 有

常见分布的方差

image-20230425140516258

大数定律

切比雪夫不等式

设随机变量的数学期望和方差都存在, 则, 有

参数估计与假设检验

总体和样本

总体： 统计问题研究对象的全体

个体：总体中的每一个成员

---

样本

设是取自总体的的一组样本, 且满足

• 相互独立
• 与同分布

则称是容量为n的简单随机样本(简称样本).

样本观测值： 对样本的观察值, 记作

统计量与样本矩