概率论
概率分布
概率分布中，离散的概率分布叫概率质量函数，连续的叫概率密度函数
边缘概率
边缘概率也就是知道一个联合概率\(P(x,y)\)，求\(P(x)\)的过程，其实就是对另一个变量求和
\[
\forall x \in \text{x}, P(\text{x}=x)=\sum_{y}P(\text{x}=x,\text{y}=y)
\]
连续的自然积分就可以
\[
\int p(\text{x}=x,\text{y}=y)\mathrm{d}y
\]
条件概率
条件概率公式就是，联合概率，除上单个随机变量的概率
\[
P(\text{y}=y | \text{x}=x)=\frac{P(\text{y}=y, \text{x}=x)}{P(\text{x}=x)}
\]
链式法则
公式
\[
P(\text{x}^{(1)}, \cdots, \text{x}^{(n)})=P(\text{x}^{(1)})\Pi_{i=2}^{n}P(\text{x}^{(i)}|\text{x}^{(1)},\cdots,\text{x}^{(i-1)})
\]
那么这个是什么，那就是提出来一个\(P(\text{x}^{(1)})\)之后，所有变量都要以\(\text{x}^{(1)}\)和其之前的所有变量为条件的概率之积。
因为在逐步累乘的过程中，先前的所有都是已经发生的事实，因此直接乘上条件概率即可。
换一个思路，从条件概率公式入手的话，就会发现，如果把所有的条件概率都去掉，变成上下两个联合概率的形式，其实就是前一项的分母和后一项分子是相同的，越到最后其实就剩下了一个所有变量的联合概率了。
这个比较常用的就是联合概率的分解了比如\(P(a,b,c)=P(a|b,c)P(b|c)P(c)\)
独立性和条件独立性
如果两个随机变量的联合概率等于各自概率的乘积，那么两个变量独立，即
\[
\forall x \in \text{x},y\in \text{y}, p(\text{x}=x,\text{y}=y)=p(\text{x}=x)p(\text{y}=y)\Leftrightarrow \text{x}\perp \text{y}
\]
特殊的，如果有个条件变量，那么则变成
\[
\forall x \in \text{x},y\in \text{y},z\in \text{z}, p(\text{x}=x,\text{y}=y | z=\text{z})=p(\text{x}=x | \text{z}=z)p(\text{y}=y|\text{z}=z)\Leftrightarrow \text{x}\perp \text{y}|\text{z}
\]
期望、方差、协方差
期望反映的是随机变量的平均值
方差反映的是对随机变量采样时，随便变量的函数值呈现的差异
协方差反映的是两个变量线性相关性的前度及变量的尺度
期望的公式
\[
\mathbb{E}_ {\text{x}\sim P}[f(x)]=\sum_{x}P(x)f(x)
\mathbb{E}_ {\text{x}\sim p}[f(x)]=\int p(x)f(x)\mathrm{d} x
\]
期望是线性的
\[
\mathbb{E}_ {\text{x}}[\alpha f(x)+\beta g(x)]=\alpha\mathbb{E}_ {\text{x}}[f(x)]+\beta\mathbb{E}_ {\text{x}}[g(x)]
\]
概率论中的方差公式，注意这里外层的期望，其实就是随机变量与其均值之差平方的平均值(最后这个平均值值得注意一下，其实是有两个均值的)
\[
\text{Var}(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])^2]
\]
统计中的方差公式，其实就是离散的情况
\[
\sigma^2(x)=\frac{\sum_{i=1}^{n}(x_i-\bar{x})^2}{n}
\]
协方差公式
\[
\text{Cov}(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(x)])]
\]
协方差矩阵是一个\(n\times n\)的矩阵
\[
\text{Cov}(\textbf{x})_ {i,j}=\text{Cov}(\text{x}_ i, \text{x}_ j)
\]
特殊的，
\[
\text{Cov}(\text{x}_ i, \text{x}_ i)=\text{Var}(\text{x}_ i)
\]
常见的概率分布
这里就不过多赘述了，一般表述的时候\(p(x;a,b)\)中，分号后面的\(a,b\)表示的是参数
Bernoulli 分布
定义
\[
P(\text{x})=\left\{\begin{matrix}
1-\phi,&\text{x}=0 \\
\phi, &\text{x}=1
\end{matrix}\right.
\]
性质
\[
P(\text{x}=x)=\phi^{x}(1-\phi)^{1-x}
\mathbb{E}_ {\text{x}}[x]=0\cdot (1-\phi)+1\cdot \phi=\phi
\text{Var}_ {\text{x}}(\text{x})=(1-\phi)(0-\phi)+\phi(1-\phi)=\phi(1-\phi)
\]
Multinoulli 分布
也叫多项式分布，就是 Bernoulli 分布的扩展
Gasussian 分布
也叫高斯分布、正态分布
\[
\mathcal{N}(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^{2}}}\exp(-\frac{1}{2\sigma^2}(x-\mu)^2)
\]
标准正态分布中，\(\mu=0,\sigma=1\)
一种常用的替换方法是\(\beta^{-1}=\sigma^2\)，便于控制参数
挖个坑，求正态分布的积分，和后面提到的先验知识量最小
根据中心极限定理，正态分布更贴近真实的分布
另外，在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性，因此，我们可以认为正态分布是对模型加入的先验知识量最小的分布
多维正态分布
\[
\mathcal{N}(\mathbf{x};\mathbf{\mu},\mathbf{\Sigma})=\frac{1}{\sqrt{(2\pi)^n\det{(\mathbf{\Sigma})}}}\exp(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu})^{T}\mathbf{\Sigma}^{-1}(\mathbf{x}-\mathbf{\mu}))
\]
结构化概率模型 | 图模型
在有向图中，如果\(a\)影响\(b\)的取值，则从\(a\)到\(b\)画一条有向的线。跟确切的来说，有向模型对于分布中的每一个随机变量\(x_{i}\)，都包含一个影响因子，这个组成\(x_i\)条件概率的影响因子被称作为\(x_i\)的父节点，记为\(P_{a_{G}(x_i)}\)
\[
p(x)=\Pi_{i}p(x_i | P_{a_{G}(x_i)})
\]
References
- 《深度学习》，Ian Goodfellow,Yoshua Bengio,Aaron Courville，人民邮电出版社
最后更新:
2022年4月27日 19:47:05
创建日期:
2022年4月27日 19:47:05