随机过程（1.3）—— 随机变量的特征函数

我们通常使用分布函数研究随机变量的性质，但是分布函数往往很难求。特征函数是研究随机变量分布的另一个重要工具，它和分布函数具有一一对应的关系，它们对随机变量的刻画是等同的，但是特征函数要好求得多

文章目录

1. 特征函数的定义2. 重要分布的特征函数3. 特征函数的性质3.1 五条性质3.2 Example

4. 补充内容4.1 唯一性定理4.2 逆转公式4.3 分布函数的再生性4.4 多元特征函数

1. 特征函数的定义

设随机变量

X

X

X 的分布函数（d.f.）为

F

(

x

)

F(x)

F(x)，则

X

X

X 的特征函数（c.f.）定义为

φ

X

(

t

)

:

=

E

e

i

t

X

=

∫

R

e

i

t

x

d

F

X

(

x

)

,

t

∈

R

\varphi_X(t):= Ee^{itX} = \int_\mathbb{R} e^{itx} dF_X(x), \space\space\space t\in\mathbb{R}

φX​(t):=EeitX=∫R​eitxdFX​(x), t∈R

其中

i

i

i 是虚数单位，可见特征函数本质是分布函数

F

(

X

)

F(X)

F(X) 的傅里叶变换，特征函数和分布函数有一一对应关系可以把特征函数分解到实部和虚部，即

φ

X

(

t

)

=

∫

R

cos

t

x

d

F

(

x

)

+

i

∫

R

sin

t

x

d

F

(

x

)

\varphi_X(t) = \int_\mathbb{R} \text{cos}t x dF(x)+i\int_\mathbb{R}\text{sin}t x dF(x)

φX​(t)=∫R​costxdF(x)+i∫R​sintxdF(x)。这个式子看起来很工整，但其实也很难用，一般不用它 离散型随机变量和连续型随机变量的特征函数

若

X

X

X 为离散型 r.v. 且分布律为

P

(

X

=

x

j

)

=

p

j

,

j

=

1

,

2

,

.

.

.

P(X=x_j)=p_j,j=1,2,...

P(X=xj​)=pj​,j=1,2,...，则

φ

X

(

t

)

=

∑

j

e

i

t

x

j

p

j

\varphi_X(t) = \sum_je^{itx_j} p_j

φX​(t)=j∑​eitxj​pj​若

X

X

X 为离散型 r.v. 且概率密度函数为

f

f

f，则

φ

X

(

t

)

=

∫

R

e

i

t

x

f

(

x

)

d

x

\varphi_X(t) = \int_\mathbb{R}e^{itx}f(x)dx

φX​(t)=∫R​eitxf(x)dx

2. 重要分布的特征函数

0-1分布

b

(

1

,

p

)

b(1,p)

b(1,p) 的特征函数为：

φ

(

t

)

=

e

i

t

p

+

e

0

p

=

p

e

i

t

+

q

\varphi(t) = e^{it}p + e^0p = pe^{it}+q

φ(t)=eitp+e0p=peit+q泊松分布

π

(

λ

)

\pi(\lambda)

π(λ)，

P

(

X

=

k

)

=

λ

k

k

!

e

−

λ

,

k

=

0

,

1

,

2...

P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda},k=0,1,2...

P(X=k)=k!λk​e−λ,k=0,1,2... 的特征函数为：

φ

(

t

)

=

E

e

i

t

X

=

∑

k

=

0

∞

λ

k

k

!

e

−

λ

e

i

t

k

=

∑

k

=

0

∞

(

λ

e

i

t

)

k

k

!

e

−

λ

=

e

λ

e

i

t

e

−

λ

=

e

λ

(

e

i

t

−

1

)

\begin{aligned} \varphi(t) = Ee^{itX} &= \sum_{k=0}^\infin \frac{\lambda^k}{k!}e^{-\lambda} e^{itk} \\ &=\sum_{k=0}^\infin \frac{(\lambda e^{it})^k}{k!} e^{-\lambda} \\ &= e^{\lambda e^{it}}e^{-\lambda} \\ &= e^{\lambda (e^{it}-1)} \end{aligned}

φ(t)=EeitX​=k=0∑∞​k!λk​e−λeitk=k=0∑∞​k!(λeit)k​e−λ=eλeite−λ=eλ(eit−1)​ 注意这个推导用到了泰勒展开

e

x

=

1

+

x

+

x

2

2

!

+

.

.

.

+

x

n

n

!

+

.

.

.

e^x = 1+x+\frac{x^2}{2!}+...+\frac{x^n}{n!}+...

ex=1+x+2!x2​+...+n!xn​+...标准正态分布

N

(

0

,

1

)

N(0,1)

N(0,1) 的特征函数为

φ

(

t

)

=

∫

R

e

i

t

x

1

2

π

exp

[

−

x

2

2

]

d

x

=

∫

R

1

2

π

exp

[

−

x

2

−

2

i

t

x

2

]

d

x

=

∫

R

1

2

π

exp

[

−

(

x

−

i

t

)

2

−

(

i

t

)

2

2

]

d

x

=

e

−

t

2

2

∫

R

1

2

π

e

−

(

x

−

i

t

)

2

2

d

x

=

e

−

t

2

2

\begin{aligned} \varphi(t) &= \int_\mathbb{R}e^{itx}\frac{1}{\sqrt{2\pi}}\text{exp}[{-\frac{x^2}{2}}]dx \\ &= \int_\mathbb{R}\frac{1}{\sqrt{2\pi}}\text{exp}\big[-\frac{x^2-2itx}{2} \big]dx \\ &= \int_\mathbb{R}\frac{1}{\sqrt{2\pi}}\text{exp}\big[-\frac{(x-it)^2-(it)^2}{2} \big]dx \\ &= e^{-\frac{t^2}{2}} \int_\mathbb{R} \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-it)^2}{2}}dx \\ &=e^{-\frac{t^2}{2}} \end{aligned}

φ(t)​=∫R​eitx2π

​1​exp[−2x2​]dx=∫R​2π

​1​exp[−2x2−2itx​]dx=∫R​2π

​1​exp[−2(x−it)2−(it)2​]dx=e−2t2​∫R​2π

​1​e−2(x−it)2​dx=e−2t2​​ 注意倒数第二步中

∫

R

1

2

π

e

−

(

x

−

i

t

)

2

2

d

x

\int_\mathbb{R} \frac{1}{\sqrt{2\pi}}e^{-\frac{(x-it)^2}{2}}dx

∫R​2π

​1​e−2(x−it)2​dx 其实是在

R

\mathbb{R}

R 上对分布

N

(

i

t

,

1

)

N(it,1)

N(it,1) 的概率密度函数积分，所以直接得 1

3. 特征函数的性质

3.1 五条性质

φ

X

(

0

)

=

1

\varphi_X(0)=1

φX​(0)=1，

∣

φ

X

(

t

)

∣

≤

1

|\varphi_X(t)|\leq 1

∣φX​(t)∣≤1，

φ

X

∗

(

t

)

=

φ

X

(

−

t

)

\varphi_X^*(t) = \varphi_X(-t)

φX∗​(t)=φX​(−t)

φ

X

(

⋅

)

\varphi_X(·)

φX​(⋅) 在

R

\mathbb{R}

R 上一致连续（指不但要连续，而且当距离足够近时，函数值没有明显的变化）

对于一组相互独立的随机变量，和的特征函数 = 特征函数的连乘。即若

X

1

,

X

2

,

.

.

.

,

X

n

X_1,X_2,...,X_n

X1​,X2​,...,Xn​ 相互，有

φ

∑

j

=

1

n

X

j

(

t

)

=

φ

X

1

(

t

)

.

.

.

φ

X

n

(

t

)

\varphi_{\sum_{j=1}^n X_j}(t) = \varphi_{X_1}(t)...\varphi_{X_n}(t)

φ∑j=1n​Xj​​(t)=φX1​​(t)...φXn​​(t) 这个性质是特征函数比分布函数简单的关键原因之一

若

E

∣

X

∣

n

<

∞

E|X|^n < \infin

E∣X∣n<∞，则

φ

X

(

t

)

\varphi_X(t)

φX​(t) 关于

t

∈

R

t \in \mathbb{R}

t∈R 为

n

n

n 阶可导，且对于

k

≤

n

k\leq n

k≤n 有

E

X

k

=

i

−

k

φ

X

(

k

)

(

0

)

EX^k = i^{-k}\varphi_X^{(k)}(0)

EXk=i−kφX(k)​(0) 常用此式求

E

X

k

EX^k

EXk，证明如下

令

Y

=

a

X

+

b

Y=aX+b

Y=aX+b，则

φ

Y

(

t

)

=

e

i

t

b

φ

X

(

a

t

)

\varphi_Y(t) = e^{itb}\varphi_X(at)

φY​(t)=eitbφX​(at)，证明如下

3.2 Example

求 二项分布

b

(

n

,

p

)

b(n,p)

b(n,p) 和正态分布

N

(

μ

,

σ

2

)

N(\mu,\sigma^2)

N(μ,σ2) 的特征函数

4. 补充内容

4.1 唯一性定理

对于 r.v.s.

X

1

,

X

2

X_1,X_2

X1​,X2​，其分布函数相等等价于特征函数相等，即

F

X

1

(

x

)

≡

F

X

2

(

x

)

⇔

φ

X

1

(

x

)

≡

φ

X

1

(

x

)

F_{X_1}(x) \equiv F_{X_2}(x) \Leftrightarrow \varphi_{X_1}(x) \equiv \varphi_{X_1}(x)

FX1​​(x)≡FX2​​(x)⇔φX1​​(x)≡φX1​​(x) 唯一性定理说明了特征函数和分布函数的一一对应关系

4.2 逆转公式

若 r.v.

X

X

X 的特征函数

φ

\varphi

φ 绝对可积，即

∫

R

∣

φ

(

t

)

∣

d

t

<

+

∞

\int_\mathbb{R} |\varphi(t)|dt < +\infin

∫R​∣φ(t)∣dt<+∞，则

X

X

X 为连续型 r.v.，其分布函数处处可导，导函数

f

f

f 有界连续，且

f

(

x

)

=

1

2

π

∫

R

e

−

i

t

X

φ

(

t

)

d

t

f(x) = \frac{1}{2\pi} \int_\mathbb{R} e^{-itX} \varphi(t) dt

f(x)=2π1​∫R​e−itXφ(t)dt逆转公式给出了使用特征函数反向计算概率密度函数的方法。但这个其实没什么用，因为我们引入特征函数的原因就是使用分布函数和概率密度函数计算太麻烦了

4.3 分布函数的再生性

所谓分布函数的再生性，就是说服从同一分布的两个随机变量相加，得到的随机变量仍然服从该分布二项分布、泊松分布、正态分布的再生性如下 这里涉及到随机变量的加减运算，以前只能用卷积公式进行证明，非常麻烦，借助特征函数则可简单地进行证明。下面证明一下前两个

4.4 多元特征函数

令

X

=

[

X

1

,

X

2

,

.

.

.

,

X

n

]

⊤

,

x

=

[

x

1

,

x

2

,

.

.

.

,

x

n

]

⊤

,

t

=

[

t

1

,

t

2

,

.

.

.

,

t

n

]

⊤

\pmb{X} = [X_1,X_2,...,X_n]^\top,\pmb{x} = [x_1,x_2,...,x_n]^\top,\pmb{t} = [t_1,t_2,...,t_n]^\top

XXX=[X1​,X2​,...,Xn​]⊤,xxx=[x1​,x2​,...,xn​]⊤,ttt=[t1​,t2​,...,tn​]⊤，则

X

\pmb{X}

XXX 的特征函数为

φ

X

(

t

)

=

φ

(

t

1

,

t

2

,

.

.

.

,

t

n

)

=

E

e

i

t

⊤

X

=

E

e

i

∑

k

=

1

n

t

i

X

i

=

∫

∫

⁣

⋯

∫

R

n

e

i

t

⊤

x

d

F

(

x

)

\begin{aligned} \varphi_{\mathbf{X}}(\pmb{t}) &= \varphi(t_1,t_2,...,t_n) \\ &=Ee^{i\mathbf{t^\top X}} \\ &=Ee^{i \sum_{k=1}^nt_iX_i} \\ &= \int\int \dots\int_{\mathbb{R}^n}e^{i\mathbf{t^\top x}} dF(\mathbf{x}) \end{aligned} \\

φX​(ttt)​=φ(t1​,t2​,...,tn​)=Eeit⊤X=Eei∑k=1n​ti​Xi​=∫∫⋯∫Rn​eit⊤xdF(x)​多元特征函数的性质

φ

(

t

1

,

t

2

,

.

.

.

,

t

n

)

\varphi(t_1,t_2,...,t_n)

φ(t1​,t2​,...,tn​) 在

R

n

\mathbb{R}^n

Rn 中一致连续，且

∣

φ

(

t

1

,

t

2

,

.

.

.

,

t

n

)

∣

≤

φ

(

0

,

0

,

.

.

.

,

0

)

=

1

| \varphi(t_1,t_2,...,t_n) | \leq \varphi(0,0,...,0) = 1

∣φ(t1​,t2​,...,tn​)∣≤φ(0,0,...,0)=1若

X

\pmb{X}

XXX 的特征函数为

φ

X

(

t

1

,

t

2

,

.

.

.

,

t

n

)

\varphi_{\mathbf{X}}(t_1,t_2,...,t_n)

φX​(t1​,t2​,...,tn​)，则

Y

=

C

m

×

n

X

\pmb{Y} = \pmb{C}_{m\times n}\pmb{X}

YYY=CCCm×n​XXX 的特征函数为

φ

Y

(

s

)

=

φ

X

(

C

⊤

s

)

\varphi_{\mathbf{Y}}(\pmb{s}) = \varphi_{\mathbf{X}}(\pmb{C^\top s})

φY​(sss)=φX​(C⊤sC⊤sC⊤s)若

X

\pmb{X}

XXX 的特征函数为

φ

X

(

t

1

,

t

2

,

.

.

.

,

t

n

)

\varphi_{\mathbf{X}}(t_1,t_2,...,t_n)

φX​(t1​,t2​,...,tn​)，各分量

X

k

X_k

Xk​ 的特征函数为

φ

X

k

(

t

k

)

\varphi_{X_k}(t_k)

φXk​​(tk​)，则

X

1

,

.

.

.

,

X

n

相

互

独

立

⇔

φ

X

(

t

1

,

t

2

,

.

.

.

,

t

n

)

=

∏

k

=

1

n

φ

X

k

(

t

k

)

X_1,...,X_n 相互独立 \pmb{\Leftrightarrow} \varphi_{\mathbf{X}}(t_1,t_2,...,t_n) = \prod_{k=1}^n \varphi_{X_k}(t_k)

X1​,...,Xn​相互独立⇔⇔⇔φX​(t1​,t2​,...,tn​)=k=1∏n​φXk​​(tk​)