跳转至

数字特征与特征函数

数学期望

离散型随机变量的数学期望

设置离散型随机变量\(\epsilon\) 的分布列为

\(\begin{bmatrix}x_1&x_2&……&x_k&……\\p_1&p_2&……&p_k&……\end{bmatrix}\)

如果级数\(\sum_kx_kp_k\)绝对收敛，则称此级数的和为\(\epsilon\) 的数学期望或均值\((mean)\)，计作\(E\epsilon=\sum_kx_kp_k\)

连续型随机变量的数学期望

设\(\epsilon\)为连续型随机变量，有密度函数\(p(x)\)当\(\int_{-\infty}^{+\infty}|x|p(x)dx<\infty时\) 称\(E\epsilon=\int_{-\infty}^{+\infty}xp(x)dx\)为\(\epsilon\)的数学期望

一般定义

设随机变量\(\epsilon\)有分布函数\(F(x)\)，若\(\int_{-\infty}^{+\infty}|x|d F(x)<\infty\) 称\(E\epsilon=\int_{-\infty}^{+\infty}xd F(x)\)为\(\epsilon\)的数学期望

  • 斯提尔吉斯(Stieltjes)积分

随机变量函数的数学期望

  • 设\(\epsilon\ \eta\)为随机变量分布函数分别为\(F_{\epsilon}(x)\ F_{\eta}(x)\) ；\(f(x)\)是一元波雷尔函数，计\(\eta=f(\epsilon)\) 则 \(E_{\eta}=\int_{-\infty}^{+\infty}xdF_{\eta}(x)=\int_{-\infty}^{+\infty}f(x)dF_{\epsilon}(x)\)

  • (Stein 引理) \(P119\)

数学期望的基本性质

性质1

若\(a\le \epsilon \le b\)则 \(E\epsilon\) 存在且\(a\le E\epsilon\le b\)

性质1‘

若\(|\epsilon| < \eta\) 且\(E\eta\) 存在 则\(E\epsilon\)存在 且\(|E\epsilon|\le E|\epsilon|\le E\eta\)

性质2

\(E_{\epsilon_1},E_{\epsilon_2},E_{\epsilon_3}…… E_{\epsilon_n}\)存在，则对任意常数\(c_1,c_2,……c_n\)和b \(E(\sum_{i=1}^nc_i\epsilon_i+b)\)存在，且\(E(\sum_{i=1}^nc_i\epsilon_i+b)=\sum_{i=1}^nc_iE\epsilon_i+b\)

特别地：\(E(\sum_{i=1}^n\epsilon_i)=\sum_{i=1}^nE\epsilon_i\) \(E(c\epsilon)=cE\epsilon\)

  • Exercise :\(p121\)

性质3

若\(\epsilon_1,\epsilon_2……\epsilon_n\)相互独立，各\(E_{\epsilon_i}\)存在，则\(E(\epsilon_1,\epsilon_2……,\epsilon_n)=E\epsilon_1E\epsilon_2……E\epsilon_n\)

性质4(有界收敛定理)

假设对任意\(\omega\in\Omega\) 有\(\lim_{n\rightarrow\infty}\epsilon(\omega)=\epsilon(\omega)\)并且，对一切的\(n >=1\) \(|\epsilon_n|\le M\) M为常数，则\(\lim_{n\rightarrow\infty}E\epsilon_n=E\epsilon\)

条件期望

条件期望

\(E(\eta|\epsilon=x)=\int_{-\infty}^{+\infty}ydF_{\eta|\epsilon}(y|x)\)

\(E(\eta|\epsilon=x)=\int_{-\infty}^{+\infty}yp_{\eta|\epsilon}(y|x)dy\)

\(E(\eta|\epsilon=x)=\sum yp_{\eta|\epsilon}(y|x)dy\)

再对\(E(\eta|\epsilon=x)\)求期望，会得到\(E[E(\eta|\epsilon=x)]=E\eta\)

连续型

11

离散型

12

全期望公式

\(\epsilon\) 是离散型随机变量时，计\(p_i=P(\epsilon=x_i) \Rightarrow E\eta=\sum_i p_iE(\eta|\epsilon=x_i)=\sum_iE(\eta|\epsilon=x_i)P(\epsilon=x_i)\)

条件期望的性质

  • P125

方差，协方差与相关系数

方差

\(Var\epsilon=E(\epsilon-E\epsilon)^2=E\epsilon^2-(E\epsilon)^2\)

Chebyshev 不等式

\(P(|ξ−Eξ|≥ε)≤ Varξ\)

\(P(|ξ − Eξ| ≥ ε) =\int_{|x-Eξ|>=\epsilon}dF(x)\le \int_{|x-Eξ|>=\epsilon}\frac{(x-Eξ)^2}{\epsilon^2}dF(x)\\ \le \frac{1}{\epsilon^2}\int_ {-\infty}^{+\infty}(x-Eξ)^2dF(x) =\frac{Varξ}{\epsilon^2}\)

  • 性质1

\(Varξ=0 \Leftrightarrow P(ξ=c)=1\) (c是常数)

  • 性质2

\(Var(cξ+b)=c^2Varξ\)

  • 性质3

若 \(c \ne Eξ\ \ \ varξ<E(ξ-c)^2\)

\(p130\)最佳预测问题

  • 性质4

\(Var (\sumξ_i )= \sum Varξ_i +2\sum_{1\le i<j\le n} E(ξ_i −Eξ_i)(ξ_j −Eξ_j)\)

协方差

设\(\epsilon_i \epsilon_j\)的联合分布函数为\(F_{ij}(x,y)\)若\(E|(\epsilon_i-E\epsilon_i)(\epsilon_j-E\epsilon_j)|<\infty\) 称 \(E(\epsilon_i-E\epsilon_i)(\epsilon_j-E\epsilon_j)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\epsilon_i)(y-E\epsilon_j)dF_{ij}(x,y)\)为\(\epsilon_i\)和\(\epsilon_j\)的协方差，计作\(Cov(\epsilon_i\ \epsilon_j)\)

性质

  • 1.\(Cov(\epsilon\ \eta)=Cov(\eta\ \epsilon)=E\epsilon\eta-E\epsilon E\eta\)
  • 2.a b are constant \(Cov(a\epsilon,b\eta)=abCov(\epsilon.\eta)\)
  • 3.\(Cov(\sum_{i=1}^n\epsilon_i,\eta)=\sum_{i=1}^nCov(\epsilon_i,\eta)\)
  • 4.\(CBC^{T}\)

相关系数

令\(\epsilon^*=(\epsilon-E\epsilon)/\sqrt{Var\epsilon} \\ \eta^*=(\eta-E\eta)/\sqrt{Var\eta}\)

称\(r_{\epsilon\eta}=Cov(\epsilon^*,\eta^*)=\frac{E(\epsilon-E\epsilon)(\eta-E\eta)}{\sqrt{Var\epsilon Var\eta}}\) 为\(\epsilon \ \eta\)的相关系数 \(E\epsilon^* \eta^*\) instead of \(Cov(\epsilon^*,\eta^*)\)?

  • Cauchy-Schwar 不等式 \(|E\epsilon\eta|^2\le E\epsilon^2 E\eta^2\) 等式成立当且仅当\(\exist t_o \ st. P(\eta=t_0\epsilon)=1\) \(Proof\ P134\)
性质
  • 对相关系数\(r_{\epsilon\eta}\)有 \(|r_{\epsilon\eta}|\le 1\)

\(r_{\epsilon\eta}=1\)成立\(iff\ P(\frac{\epsilon-E\epsilon}{\sqrt{Var\epsilon}}=\frac{\eta-E\eta}{\sqrt{Var\eta}})=1\)

\(r_{\epsilon\eta}=-1\)成立\(iff\ P(\frac{\epsilon-E\epsilon}{\sqrt{Var\epsilon}}=-\frac{\eta-E\eta}{\sqrt{Var\eta}})=1\)

  • All the below are equavilant

\((1) Cov(\epsilon,\eta)=0\)

\((2) \epsilon \ \eta\)不相关

\((3) E\epsilon\eta=E\epsilon E\eta\)

\((4)Var{\epsilon+\eta}=Var\epsilon+Var\eta\)

矩

特征函数

\(f(t)=Ee^{it\epsilon}\)

Example

  • \(P(\epsilon=c)=1--f(t)=e^{ict}\)
  • \(B(n,p)-- f(t)=\sum_{k=0}^nC_n^kp^kq^{n-k}e^{itk}=\sum_{k=0}^nC_n^k(pe^{it})^kq^{n-k}=(pe^{it}+q)^n\)
  • \(Poisson P(\lambda)--f(t)=\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}e^{-\lambda}e^{ikt}=\sum_{k=0}^{\infty}\frac{(\lambda e^{it})^k}{k!}e^{-\lambda}=e^{\lambda e^{it}}e^{-\lambda}=e^{\lambda(e^{it}-1)}\)
  • \(Uniform\ U(a,b)--f(t)=\int_a^b\frac{1}{b-a}e^{itx}dx=\frac{e^{itb}-e^{ita}}{i(b-a)t}\)
  • \(N(a,\sigma^2)--f(t)=\frac{1}{\sqrt{2\pi\sigma}}\int_{-\infty}^{+\infty}e^{itx-(x-a)^2/2\sigma^2}dx=e^{ita-\frac{\sigma^2t^2}{2}}\)

Properties

  • \(|f(t)|\le f(0)=1\\f(-t)=\bar{f(t)}\)
  • \(f(t)\)在\((-\infty,+\infty)\)上一致连续
  • \(f(t)\)非负定

\(f(t)\)为特征函数\(\Leftrightarrow f(t)\)非负定，连续且\(f(0)=1\) * \(\epsilon_1……\epsilon_n\)相互独立，特征函数分别为\(f_1(t)……f_n(t)\) 记\(\eta=\epsilon_1+……+\epsilon_n\) 则\(\eta\)的特征函数\(f_\eta(t)=f_1(t)f_2(t)……f_n(t)\) * 若\(E\epsilon^n\)存在，则\(f(t)\)n次可微，进而 \(k\le n\)时，\(f^{k}(t)=i^k\int_{-\infty}^{+\infty}x^ke^{itx}dF(x),f^{(k)}(0)=i^kE\epsilon^k\)特别地 \(E\epsilon^2\)存在时 \(E\epsilon=-if'(0),E\epsilon^2=-f''(0),Var\epsilon=-f''(0)+[f'(0)]^2\)

反过来，若n为偶数，且\(f^{(n)}(0)\)存在，则\(E\epsilon^n\)存在 * \(\eta=a\epsilon+b, f_\eta(t)=e^{ibt}f(at)\)

逆转公式

设分布函数\(F(x)\)的特征函数为\(f(t)\) 另x1，x2为\(F(x)\)的连续点，则\(F(x_2)-F(x_1)=lim_{T\rightarrow \infty}\frac{e^{-itx_1}=e^{-itx^2}}{it}f(t)dt\)

唯一性定理

分布函数可由特征函数唯一确定

逆傅立叶变换

设\(f(t)\)是特征函数且\(\int_{=\infty}^{+\infty}|f(t)|dt<\infty\)则分布函数F(x)连续，此时 \(F'(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}e^{-itx}f(t)dt\) * 若f(t)是某随机变量的特征函数，则\(\bar{f(t)},|f(t)|^2\)也是特征函数 \(f(-t)=\bar{f(t)}\)是\(-\epsilon\)的特征函数 \(\epsilon_1-\epsilon_2\)（独立同分布）的特征函数为\(f(t)\bar{f(t)}=|f(t)|^2\)

分布函数的可加性

多元特征函数

设随机向量\(\vec{\epsilon}=(\epsilon_1,……,\epsilon_n)'\)的分布函数为\(F(x_1……,x_n)\)称\(f(t_1,……t_n)=\int_{-\infty}^{+\infty}……\int_{-\infty}^{+\infty}e^{i(t_1x_1+……+t_nx_n)}dF(x_1……，x_n)\)为他的特征函数 * \(\eta=a_1\epsilon_1……+a_n\epsilon_n\\f_\eta(t)=Ee^{it\sum_{k=1}^na_k\epsilon_k}=f(a_1t,……a_nt)\) 其他详细见P48

多元正态分布

P149-P154

最后更新: 2024年3月25日 12:53:47
创建日期: 2023年12月13日 22:33:59