数字特征与特征函数

数学期望¶

离散型随机变量的数学期望¶

设置离散型随机变量\(\epsilon\) 的分布列为

\(\begin{bmatrix}x_1&x_2&……&x_k&……\\p_1&p_2&……&p_k&……\end{bmatrix}\)

如果级数\(\sum_kx_kp_k\)绝对收敛，则称此级数的和为\(\epsilon\) 的数学期望或均值\((mean)\)，计作\(E\epsilon=\sum_kx_kp_k\)

连续型随机变量的数学期望¶

设\(\epsilon\)为连续型随机变量，有密度函数\(p(x)\)当\(\int_{-\infty}^{+\infty}|x|p(x)dx<\infty时\) 称\(E\epsilon=\int_{-\infty}^{+\infty}xp(x)dx\)为\(\epsilon\)的数学期望

一般定义¶

设随机变量\(\epsilon\)有分布函数\(F(x)\)，若\(\int_{-\infty}^{+\infty}|x|d F(x)<\infty\) 称\(E\epsilon=\int_{-\infty}^{+\infty}xd F(x)\)为\(\epsilon\)的数学期望

斯提尔吉斯(Stieltjes)积分

随机变量函数的数学期望¶

设\(\epsilon\ \eta\)为随机变量分布函数分别为\(F_{\epsilon}(x)\ F_{\eta}(x)\) ；\(f(x)\)是一元波雷尔函数，计\(\eta=f(\epsilon)\) 则 \(E_{\eta}=\int_{-\infty}^{+\infty}xdF_{\eta}(x)=\int_{-\infty}^{+\infty}f(x)dF_{\epsilon}(x)\)
(Stein 引理) \(P119\)

数学期望的基本性质¶

性质1¶

若\(a\le \epsilon \le b\)则 \(E\epsilon\) 存在且\(a\le E\epsilon\le b\)

性质1‘¶

性质2¶

\(E_{\epsilon_1},E_{\epsilon_2},E_{\epsilon_3}…… E_{\epsilon_n}\)存在，则对任意常数\(c_1,c_2,……c_n\)和b \(E(\sum_{i=1}^nc_i\epsilon_i+b)\)存在，且\(E(\sum_{i=1}^nc_i\epsilon_i+b)=\sum_{i=1}^nc_iE\epsilon_i+b\)

特别地：\(E(\sum_{i=1}^n\epsilon_i)=\sum_{i=1}^nE\epsilon_i\) \(E(c\epsilon)=cE\epsilon\)

Exercise :\(p121\)

性质3¶

若\(\epsilon_1,\epsilon_2……\epsilon_n\)相互独立，各\(E_{\epsilon_i}\)存在，则\(E(\epsilon_1,\epsilon_2……,\epsilon_n)=E\epsilon_1E\epsilon_2……E\epsilon_n\)

性质4(有界收敛定理)¶

假设对任意\(\omega\in\Omega\) 有\(\lim_{n\rightarrow\infty}\epsilon(\omega)=\epsilon(\omega)\)并且，对一切的\(n >=1\) \(|\epsilon_n|\le M\) M为常数，则\(\lim_{n\rightarrow\infty}E\epsilon_n=E\epsilon\)

条件期望¶

\(E(\eta|\epsilon=x)=\int_{-\infty}^{+\infty}ydF_{\eta|\epsilon}(y|x)\)

\(E(\eta|\epsilon=x)=\int_{-\infty}^{+\infty}yp_{\eta|\epsilon}(y|x)dy\)

\(E(\eta|\epsilon=x)=\sum yp_{\eta|\epsilon}(y|x)dy\)

再对\(E(\eta|\epsilon=x)\)求期望，会得到\(E[E(\eta|\epsilon=x)]=E\eta\)

连续型

离散型

全期望公式¶

\(\epsilon\) 是离散型随机变量时，计\(p_i=P(\epsilon=x_i) \Rightarrow E\eta=\sum_i p_iE(\eta|\epsilon=x_i)=\sum_iE(\eta|\epsilon=x_i)P(\epsilon=x_i)\)

条件期望的性质¶

P125

方差，协方差与相关系数¶

方差¶

\(Var\epsilon=E(\epsilon-E\epsilon)^2=E\epsilon^2-(E\epsilon)^2\)

Chebyshev 不等式¶

\(P(|ξ−Eξ|≥ε)≤ Varξ\)

\(P(|ξ − Eξ| ≥ ε) =\int_{|x-Eξ|>=\epsilon}dF(x)\le \int_{|x-Eξ|>=\epsilon}\frac{(x-Eξ)^2}{\epsilon^2}dF(x)\\ \le \frac{1}{\epsilon^2}\int_ {-\infty}^{+\infty}(x-Eξ)^2dF(x) =\frac{Varξ}{\epsilon^2}\)

性质1

\(Varξ=0 \Leftrightarrow P(ξ=c)=1\) (c是常数)

性质2

\(Var(cξ+b)=c^2Varξ\)

性质3

若 \(c \ne Eξ\ \ \ varξ<E(ξ-c)^2\)

\(p130\)最佳预测问题

性质4

\(Var (\sumξ_i )= \sum Varξ_i +2\sum_{1\le i<j\le n} E(ξ_i −Eξ_i)(ξ_j −Eξ_j)\)

协方差¶

设\(\epsilon_i \epsilon_j\)的联合分布函数为\(F_{ij}(x,y)\)若\(E|(\epsilon_i-E\epsilon_i)(\epsilon_j-E\epsilon_j)|<\infty\) 称 \(E(\epsilon_i-E\epsilon_i)(\epsilon_j-E\epsilon_j)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\epsilon_i)(y-E\epsilon_j)dF_{ij}(x,y)\)为\(\epsilon_i\)和\(\epsilon_j\)的协方差，计作\(Cov(\epsilon_i\ \epsilon_j)\)

性质¶

1.\(Cov(\epsilon\ \eta)=Cov(\eta\ \epsilon)=E\epsilon\eta-E\epsilon E\eta\)
2.a b are constant \(Cov(a\epsilon,b\eta)=abCov(\epsilon.\eta)\)
3.\(Cov(\sum_{i=1}^n\epsilon_i,\eta)=\sum_{i=1}^nCov(\epsilon_i,\eta)\)
4.\(CBC^{T}\)

矩¶

特征函数¶

\(f(t)=Ee^{it\epsilon}\)

Example¶

\(P(\epsilon=c)=1--f(t)=e^{ict}\)
\(B(n,p)-- f(t)=\sum_{k=0}^nC_n^kp^kq^{n-k}e^{itk}=\sum_{k=0}^nC_n^k(pe^{it})^kq^{n-k}=(pe^{it}+q)^n\)
\(Poisson P(\lambda)--f(t)=\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}e^{-\lambda}e^{ikt}=\sum_{k=0}^{\infty}\frac{(\lambda e^{it})^k}{k!}e^{-\lambda}=e^{\lambda e^{it}}e^{-\lambda}=e^{\lambda(e^{it}-1)}\)
\(Uniform\ U(a,b)--f(t)=\int_a^b\frac{1}{b-a}e^{itx}dx=\frac{e^{itb}-e^{ita}}{i(b-a)t}\)
\(N(a,\sigma^2)--f(t)=\frac{1}{\sqrt{2\pi\sigma}}\int_{-\infty}^{+\infty}e^{itx-(x-a)^2/2\sigma^2}dx=e^{ita-\frac{\sigma^2t^2}{2}}\)

Properties¶

\(|f(t)|\le f(0)=1\\f(-t)=\bar{f(t)}\)
\(f(t)\)在\((-\infty,+\infty)\)上一致连续
\(f(t)\)非负定

\(f(t)\)为特征函数\(\Leftrightarrow f(t)\)非负定，连续且\(f(0)=1\) * \(\epsilon_1……\epsilon_n\)相互独立，特征函数分别为\(f_1(t)……f_n(t)\) 记\(\eta=\epsilon_1+……+\epsilon_n\) 则\(\eta\)的特征函数\(f_\eta(t)=f_1(t)f_2(t)……f_n(t)\) * 若\(E\epsilon^n\)存在，则\(f(t)\)n次可微，进而 \(k\le n\)时，\(f^{k}(t)=i^k\int_{-\infty}^{+\infty}x^ke^{itx}dF(x),f^{(k)}(0)=i^kE\epsilon^k\)特别地 \(E\epsilon^2\)存在时 \(E\epsilon=-if'(0),E\epsilon^2=-f''(0),Var\epsilon=-f''(0)+[f'(0)]^2\)

反过来，若n为偶数，且\(f^{(n)}(0)\)存在，则\(E\epsilon^n\)存在 * \(\eta=a\epsilon+b, f_\eta(t)=e^{ibt}f(at)\)

逆转公式¶

设分布函数\(F(x)\)的特征函数为\(f(t)\) 另x1，x2为\(F(x)\)的连续点，则\(F(x_2)-F(x_1)=lim_{T\rightarrow \infty}\frac{e^{-itx_1}=e^{-itx^2}}{it}f(t)dt\)

唯一性定理¶

分布函数可由特征函数唯一确定

逆傅立叶变换¶

设\(f(t)\)是特征函数且\(\int_{=\infty}^{+\infty}|f(t)|dt<\infty\)则分布函数F(x)连续，此时 \(F'(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}e^{-itx}f(t)dt\) * 若f(t)是某随机变量的特征函数，则\(\bar{f(t)},|f(t)|^2\)也是特征函数 \(f(-t)=\bar{f(t)}\)是\(-\epsilon\)的特征函数 \(\epsilon_1-\epsilon_2\)（独立同分布）的特征函数为\(f(t)\bar{f(t)}=|f(t)|^2\)

分布函数的可加性¶

多元特征函数¶

设随机向量\(\vec{\epsilon}=(\epsilon_1,……,\epsilon_n)'\)的分布函数为\(F(x_1……,x_n)\)称\(f(t_1,……t_n)=\int_{-\infty}^{+\infty}……\int_{-\infty}^{+\infty}e^{i(t_1x_1+……+t_nx_n)}dF(x_1……，x_n)\)为他的特征函数 * \(\eta=a_1\epsilon_1……+a_n\epsilon_n\\f_\eta(t)=Ee^{it\sum_{k=1}^na_k\epsilon_k}=f(a_1t,……a_nt)\) 其他详细见P48

多元正态分布¶

P149-P154

最后更新: 2024年3月25日 12:53:47
创建日期: 2023年12月13日 22:33:59