一、周期平稳
在这一章中，我们来研究两个非平稳随机过程。第一个被称为周期平稳 (cyclostationary) 随机过程。
回顾宽平稳随机过程的定义，其相关函数一定满足：
\[\begin{equation} \forall T,R_X(t,s)=R_X(t+T,s+T) \end{equation}\]即相关函数可以写为一个一元函数 $R_X(\tau)$ 的形式，仅仅与时间差 $\tau=t-s$ 有关。
周期平稳随机过程的定义在形式上和宽平稳比较相似：
\[\begin{equation} \exists T,R_X(t,s)=R_X(t+T,s+T) \end{equation}\]只是把任取 $T$ 变为存在 $T$。因此，周期平稳可以看作是对宽平稳假设的一种放松。
1.1. 周期平稳和宽平稳的关系
下面的结论可以将周期平稳和宽平稳联系起来。
令 $X(t)$ 是周期为 $T$ 的周期平稳随机过程，设 $\theta\sim U[0,T]$ 独立于 $X(t)$，则随机过程 $Y(t)=X(t+\theta)$ 一定是宽平稳的。
下面我们来证明这一点。
考虑 $Y(t)$ 的相关函数，我们希望其只依赖于时间差。事实上，我们有：
\[\begin{equation} \begin{aligned} R_Y(t,s) &=\mathbb{E}[Y(t)Y(s)]\\ &=\mathbb{E}[X(t+\theta)X(s+\theta)] \end{aligned} \end{equation}\]这里出现了两个不同的随机变量：$X$ 和 $\theta$。当我们遇到这样的情况时，一个非常非常重要的工具就是使用【条件期望】(conditional expectation)。条件期望的思想是分而治之，逐个击破。我们先把一个随机变量作为条件固定下来，去研究剩下的随机变量。详见附录1。
在这个例子中，我们先把 $\theta$ 作为条件固定下来，此时 $\theta$ 的随机性就暂时消失了，变为我们比较熟悉的形式：
\[\begin{equation} \begin{aligned} R_Y(t,s) &=\mathbb{E}[X(t+\theta)X(s+\theta)]\\ &=\mathbb{E}_{\theta}\left[ \mathbb{E}_{X}\left[ X(t+\theta)X(s+\theta) \mid\theta \right] \right]\\ &=\mathbb{E}_{\theta}\left[ R_X(t+\theta,s+\theta) \right]\\ &=\frac{1}{T}\int_{0}^{T}R_X(t+\theta,s+\theta)\mathrm{d}\theta\\ &\overset{\theta'=s+\theta}{=}\frac{1}{T}\int_{s}^{s+T}R_X(t-s+\theta',\theta')\mathrm{d}\theta'\\ &\overset{周期性}{=}\frac{1}{T}\int_{0}^{T}R_X(t-s+\theta',\theta')\mathrm{d}\theta' \end{aligned} \end{equation}\]因此，$R_Y(t,s)$ 只依赖于时间差 $t-s$，这说明 $Y(t)$ 是宽平稳的。
1.2. Case: 脉冲幅度调制
脉冲幅度调制 (Pulse Amplitude Modulation, PAM) 是一种非常常见的通信信号，其信号模型如下：
\[\begin{equation} X(t)=\sum_{k=-\infty}^{+\infty}\alpha_k\phi(t-kT) \end{equation}\]其中，$\alpha_k$ 是作用在幅度上的信息符号 (information symbol)，我们假设 $\alpha_k$ 是一个宽平稳的随机过程。
注意一个信息符号并不一定承载1bit，要看调制方式。
比如说，在4ASK调制中，每个信息符号承载2bit，而在正交幅度调制 (QAM) 中，每个信息符号往往承载7～8bit。
$\phi$ 称为基带波形 (baseband waveform)，主要用于发射信号谱形状的修饰。
综上，我们把信息 $\alpha_k$ 调制在每一个基带波形 $\phi$ 上，且基带波形以 $T$ 为周期，这里的 $T$ 一般称为码片长度。
我们希望考察 $X(t)$ 是否具有平稳性，并进而考察其谱特性。
1.2.1. 平稳性
考虑 $X(t)$ 的相关函数：
\[\begin{equation} \begin{aligned} R_X(t,s) &=\mathbb{E}[X(t)X(s)]\\ &=\mathbb{E} \left( \sum_{k}\alpha_{k}\phi(t-kT) \right) \left( \sum_{n}\alpha_{n}\phi(s-nT) \right)\\ &=\sum_{k}\sum_{n} \underbrace{\mathbb{E}[\alpha_{k}\alpha_{n}]}_{w.s.s.} \cdot\phi(t-kT)\cdot\phi(s-nT)\\ &=\sum_{k}\sum_{n} R_\alpha(k-n) \cdot\phi(t-kT)\cdot\phi(s-nT) \end{aligned} \end{equation}\]这里我们注意到，变量 $t$ 和 $s$ 都是作用在确定性的基带波形 $\phi$ 上的，而不是在随机过程 $\alpha$ 上。因此，很难保证宽平稳所需要的时移不变性。也就是说，$X(t)$ 是一个非平稳随机过程。
我们进一步考察 $X(t)$ 是否是周期平稳的。事实上：
\[\begin{equation} \begin{aligned} R_X(t+T,s+T) &=\sum_{k=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty} R_\alpha(k-n) \cdot\phi(t-(k-1)T)\cdot\phi(s-(n-1)T)\\ &\overset{ k'=k-1,n'=n-1 }{=}\sum_{k'=-\infty}^{+\infty}\sum_{n'=-\infty}^{+\infty} R_\alpha(k'-n') \cdot\phi(t-k'T)\cdot\phi(s-n'T)\\ &=R_X(t,s) \end{aligned} \end{equation}\]因此，$X(t)$ 是周期平稳的。
1.2.2. 谱特性
由于 $X(t)$ 不是宽平稳的，因此我们没法对其相关函数进行傅里叶变换来得到功率谱。
因此，我们需要利用周期平稳和宽平稳之间的关系，考察宽平稳随机过程 $Y(t)=X(t+\theta)$ 的功率谱，其中，$\theta\sim U(0,T)$ 是独立于 $X(t)$ 的随机变量。
下面我们来计算 $Y(t)$ 的相关函数：
\[\begin{equation} \begin{aligned} R_Y(t,s) &=\mathbb{E}_{\theta}[R_X(t+\theta,s+\theta)]\\ &=\frac{1}{T}\int_{0}^{T}R_X(t+\theta,s+\theta)\mathrm{d}\theta\\ &= \frac{1}{T} \int_{0}^{T} \sum_{k=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty} R_\alpha(k-n) \cdot\phi(t+\theta-kT) \cdot\phi(s+\theta-nT) \mathrm{d}\theta\\ &= \frac{1}{T} \sum_{k=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty} R_\alpha(k-n) \int_{0}^{T} \phi(t+\theta-kT) \phi(\underbrace{s+\theta-nT}_{=\theta'}) \mathrm{d}\theta\\ &= \frac{1}{T} \sum_{k=-\infty}^{+\infty}\sum_{n=-\infty}^{+\infty} R_\alpha(k-n) \int_{s-nT}^{s-(n-1)T} \phi(\theta'+t-s-(k-n)T) \phi(\theta') \mathrm{d}\theta'\\ &\overset{k'=k-n,n'=n}{=} \frac{1}{T} \sum_{k'=-\infty}^{+\infty}\sum_{n'=-\infty}^{+\infty} R_\alpha(k') \int_{s-n'T}^{s-(n'-1)T} \phi(\theta'+t-s-k'T) \phi(\theta') \mathrm{d}\theta'\\ \end{aligned} \end{equation}\]上面这个式子比较复杂，但我们可以发现，化简到最后与 $n’$ 有关的项只剩积分限，而积分限的求和是很好做的，因为求和中的每一项就是在一个长度为T的区间上进行积分。
因此，对 $n$ 的求和就相当于把积分限变为整个实数域：
\[\begin{equation} \begin{aligned} R_Y(t,s) &= \frac{1}{T} \sum_{k'=-\infty}^{+\infty} R_\alpha(k') \int_{-\infty}^{+\infty} \phi(\theta'+t-s-k'T) \phi(\theta') \mathrm{d}\theta'\\ \end{aligned} \end{equation}\]我们定义下面的实域相关函数：
\[\begin{equation} R_{\phi}(\tau):=\int_{-\infty}^{+\infty}\phi(\theta+\tau)\phi(\tau)\mathrm{d}\theta \end{equation}\]注意这是对确定性函数的相关函数，只是和随机过程的相关函数形式上很类似。
代入上式得：
\[\begin{equation} \begin{aligned} R_Y(t,s) &= \frac{1}{T} \sum_{k'=-\infty}^{+\infty} R_\alpha(k') R_{\phi}(\underbrace{t-s}_{=\tau}-k'T) \end{aligned} \end{equation}\]我们对上式进行傅里叶变换：
\[\begin{equation} \begin{aligned} S_{Y}(\omega) &= \frac{1}{T} \int_{-\infty}^{+\infty} \sum_{k'=-\infty}^{+\infty} R_\alpha(k') R_{\phi}(\tau-k'T) \exp(-j\omega\tau) \mathrm{d}\tau\\ &= \frac{1}{T} \sum_{k'=-\infty}^{+\infty} R_\alpha(k') \int_{-\infty}^{+\infty} R_{\phi}(\underbrace{\tau-k'T}_{=\tau'}) \exp(-j\omega\tau) \mathrm{d}\tau\\ &= \frac{1}{T} \sum_{k'=-\infty}^{+\infty} R_\alpha(k') \int_{-\infty}^{+\infty} R_{\phi}(\tau') \exp(-j\omega(\tau'+k'T)) \mathrm{d}\tau'\\ &= \frac{1}{T} \underbrace{\sum_{k'=-\infty}^{+\infty} R_\alpha(k') \exp(-j\omega k'T)}_{\alpha\text{的傅里叶变换}} \underbrace{\int_{-\infty}^{+\infty} R_{\phi}(\tau') \exp(-j\omega\tau') \mathrm{d}\tau'}_{\phi\text{的傅里叶变换}}\\ &=\frac{1}{T}S_{\alpha}(\omega T)S_{\phi}(\omega) \end{aligned} \end{equation}\]因此，我们平时说的通信信号的谱特性，都是指上面的式子。这个式子与信息符号 $\alpha$ 和基带波形 $\phi$ 的功率谱都相关。
二、正交增量
除了周期平稳之外，另外一种常见的非平稳随机过程是正交增量 (Orthogonal Increment)。
考虑一个随机过程 $X(t)$，且 $X(0)=0$。它是一个正交增量过程，当且仅当 $X(t)$ 满足：
\[\begin{equation} \forall t_1\lt t_2\le t_3\le t_4, X(t_4)-X(t_3) \perp X(t_2)-X(t_1) \end{equation}\]注意，两个随机变量 $X$ 和 $Y$ 是正交的，当且仅当其相关为0，即：
\[\begin{equation} X\perp Y \iff \mathbb{E}[XY]=0 \end{equation}\]我们可以从直观上理解一下正交增量。从它的定义可以看到，在任意的时间区间内，其增量都是相互独立的，也就是说每时每刻都会有新的信息到达。
2.1. 正交增量的相关函数
我们来计算一下上述正交增量的相关函数。
我们先假设 $t\gt s$，则：
\[\begin{equation} \begin{aligned} R_X(t,s) &=\mathbb{E}[X(t)X(s)]\\ &= \mathbb{E}\left[ (X(t)-X(s)+X(s)) X(s) \right]\\ &= \underbrace{\mathbb{E}\left[ (X(t)-X(s)) (X(s)-X(0)) \right]}_{=0}+ \mathbb{E}\left[X^2(s)\right]\\ &=\mathbb{E}\left[X^2(s)\right] \end{aligned} \end{equation}\]当没有 $t\lt s$ 的假设时，上式实际上就是：
\[\begin{equation} R_X(t,s)=\mathbb{E}\left[X^2(\min(t,s))\right] \label{eq:correlation-orthogonal-increment} \end{equation}\]显然，这不是一个宽平稳的随机过程。这个相关函数并非依赖于时间差 $\tau=t-s$，而是依赖于两个时间中较小的那一个 $\min(t,s)$。
那么，这个结论是否构成判断正交增量的一个充分条件呢？即当 $R_X(t,s)$ 仅依赖于 $\min(t,s)$ 时，我们能否断言 $X(t)$ 就是一个正交增量过程呢？
答案是肯定的。事实上，设 $R_X(t,s)=g(\min(t,s))$，我们来计算定义中两个增量的相关：
\[\begin{equation} \begin{aligned} \mathbb{E}\left[ (X(t_4)-X(t_3)) (X(t_2)-X(t_1)) \right] &=R_X(t_4,t_2)+R_X(t_3,t_1)-R_X(t_4,t_1)-R_X(t_3,t_2)\\ &=g(t_2)+g(t_1)-g(t_1)-g(t_2)\\ &=0 \end{aligned} \end{equation}\]因此，当 $R_X(t,s)$ 只与 $\min(t,s)$ 有关时，$X(t)$ 就是一个正交增量过程。
2.2. Case: 布朗运动
布朗运动 (Brownian Motion) 是一个非常重要的随机过程，它在许多领域都有应用。我们现在先从正交增量的角度来理解它。
布朗运动的定义如下：一个随机过程 $B(t)$ 是一个布朗运动，当且仅当它满足以下条件：
- $B(0)=0$
- $B(t)$ 是一个正交增量过程
- $\forall t\gt s$，其增量服从均值为0的高斯分布：$B(t)-B(s)\sim \mathcal{N}(0,\sigma^2(t-s))$
布朗运动是一个典型的非规则运动。在任意小的时间间隔内，布朗运动的增量都是随机的。因此，布朗运动的样本轨道是完全随机的，处处连续但处处不可微。
2.2.1. 布朗运动的相关函数
布朗运动的相关函数是非常好计算的。
首先，我们在性质3中令 $s=0$ 得 $B(t)\sim\mathcal{N}(0,\sigma^2 t)$。
利用公式 \eqref{eq:correlation-orthogonal-increment} 写出的正交增量过程的相关函数，我们有：
\[\begin{equation} \begin{aligned} R_B(t,s) &=\mathbb{E}\left[B^2(\min(t,s))\right]\\ &=\text{Var}[B(\min(t,s))]\\ &=\sigma^2\min(t,s) \end{aligned} \end{equation}\]2.2.2. 布朗运动与宽平稳的关系
考虑布朗运动的均方导数：
\[\begin{equation} Y(t):=\frac{\mathrm{d}}{\mathrm{d}t}B(t) \end{equation}\]由于我们上面已经提到布朗运动是处处不可微的，这里的导数实际上是广义导数（也称均方导数，类似于阶跃函数求导变为delta函数）。
下面我们说明，$Y(t)$ 是一个宽平稳的随机过程。
\[\begin{equation} \begin{aligned} R_Y(t,s) &=\mathbb{E}\left[Y(t)Y(s)\right]\\ &= \mathbb{E}\left[ \frac{\mathrm{d}B(t)}{\mathrm{d}t} \frac{\mathrm{d}B(s)}{\mathrm{d}t} \right]\\ &=\frac{\partial^2}{\partial t\partial s}\mathbb{E}[B(t)B(s)]\\ &=\sigma^2\frac{\partial^2}{\partial t\partial s}\min(t,s) \end{aligned} \end{equation}\]注意到：$\min(t,s)=\frac{1}{2}(t+s-\vert t-s\vert)$，因此：
\[\begin{equation} \begin{aligned} R_Y(t,s) &=\frac{\sigma^2}{2}\left(\frac{\partial^2}{\partial t\partial s}t+s-\vert t-s\vert\right)\\ &=-\frac{\sigma^2}{2}\frac{\partial^2}{\partial t\partial s}\vert t-s\vert\\ \end{aligned} \end{equation}\]在广义导数的意义下，我们有：
\[\begin{equation} \begin{aligned} \frac{\mathrm{d}}{\mathrm{d}x}\lvert x\rvert&=\text{sgn}(x)\\ \frac{\mathrm{d}}{\mathrm{d}x}\text{sgn}(x)&=2\delta(x)\\ \end{aligned} \end{equation}\]因此，我们有：
\[\begin{equation} \begin{aligned} R_Y(t,s) &=-\frac{\sigma^2}{2}\frac{\mathrm{d}}{\mathrm{d}s}\text{sgn}(t-s)\\ &=\sigma^2\delta(t-s) \end{aligned} \label{eq:white-noise} \end{equation}\]其中，$\delta(x)$ 是 delta 函数，它的定义为：
\[\begin{equation} \delta(x)=\begin{cases} 1,&\text{if }x=0\\ 0,&\text{otherwise} \end{cases} \end{equation}\]公式 \eqref{eq:white-noise} 说明，布朗运动的均方导数是一个宽平稳的随机过程，我们一般称其为白噪声 (white noise)。
我们来试图解释一下这背后的原因。
在信号处理领域中，我们对一个信号求导相当于使用一个高通滤波器。相反地，对一个信号积分相当于使用一个低通滤波器。
- 图像处理中的边缘提取算子，如Laplacian算子、Sobel算子等，他们都在求相邻像素点的梯度，之后找到梯度较大的点就是边缘点，即找边缘就是高通滤波器。
- 相对应的，去噪算子（如中值滤波、高斯滤波等）都是利用一些卷积核对周围的像素点进行平滑处理，这都是低通滤波器。
在金融领域中，布朗运动被大量地用来描述股票价格的随机运动。现代金融学的一个基本理念就是：股票价格的随机运动可以被分解为一个恒定的 drift 项（可以理解为趋势）和一个白噪声项。
因此，在布朗运动中，能称为平稳 (stationary) 的是白噪声项，而趋势只能称为平滑 (smooth)。也就是说，在一定的时间段内，股票价格的上下波动是随机的，且没有相关性。
通过对布朗运动求导，相当于用一个高通滤波器，去掉了趋势项，只保留了随机噪声项，因此也就变成了一个平稳的随机过程。
Appendix
Apd.1. 条件期望
考虑两个随机变量 $X,Y$，条件期望定义为：
\[\begin{equation} \mathbb{E}[Y\mid X=x]=\int_{-\infty}^{\infty}yf_{Y\mid X}(y\mid x)\mathrm{d}y \end{equation}\]其中，$f_{Y\mid X}(y\mid x)$ 是 $Y$ 的条件概率密度 (conditional probability density)，它的定义为：
\[\begin{equation} f_{Y\mid X}(y\mid x)=\frac{f_{X,Y}(x,y)}{f_X(x)} \end{equation}\]虽然条件期望可以用上面的积分来定义，但它本质上是一个【随机变量】，和普通期望有本质上的不同。
条件期望的性质
条件期望一个非常重要的性质是：条件期望的期望等于非条件期望。这是条件期望最重要的用途，它可以帮助我们计算多元随机函数的期望，而不需要考虑随机变量之间的关联。
\[\begin{equation} \mathbb{E}_{X}[\mathbb{E}_{Y}[g(X,Y)\mid X]]=\mathbb{E}_{X,Y}[g(X,Y)] \end{equation}\]证明如下：
\[\begin{equation} \begin{aligned} \text{LHS} &=\int_{-\infty}^{\infty}\mathbb{E}_{Y}[g(x,Y)\mid x]f_X(x)\mathrm{d}x\\ &=\int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty}g(x,y)f_{Y\mid X}(y\mid x)\mathrm{d}y \right) f_X(x)\mathrm{d}x\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} g(x,y)f_{Y\mid X}(y\mid x)f_X(x)\mathrm{d}x\mathrm{d}y\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} g(x,y)f_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y\\ &=\text{RHS} \end{aligned} \end{equation}\]我们用下面一些经典例子来说明条件期望的这个性质。
Case 1：随机个独立随机变量之和
假设有 $n$ 个 i.i.d. 的随机变量 $X_1,X_2,\dots,X_n$，我们已知其和的期望为：
\[\begin{equation} \begin{aligned} \mathbb{E}\left[ \sum_{n=1}^{n}X_k \right] &=\sum_{k=1}^{n}\mathbb{E}[X_k]\\ &=n\mathbb{E}[X_1] \end{aligned} \end{equation}\]设随机变量 $N$ 独立于 $X_1,X_2,\dots,X_n$，我们希望计算 $N$ 个 $X_k$ 的和的期望：
\[\begin{equation} \begin{aligned} \mathbb{E}\left[ \sum_{k=1}^{N}X_k \right] &=\mathbb{E}_{N}\left[ \mathbb{E}_{X}\left[ \left(\sum_{k=1}^{N}X_k\right)\mid N \right] \right]\\ &=\mathbb{E}_{N}\left[ N\mathbb{E}[X_1] \right]\\ &=\mathbb{E}[N]\mathbb{E}[X_1] \end{aligned} \end{equation}\]从上式我们又可以写出一个有用的小推论：
\[\begin{equation} \mathbb{E}_{Y}[Yg(X)\mid X]=g(x)\mathbb{E}[Y\mid X] \end{equation}\]Case 2：均方估计
考虑两个随机变量 $X,Y$，我们希望用一个函数 $g(X)$ 来估计 $Y$，使得：
\[\begin{equation} \min_{g}\mathbb{E}\left(Y-g(X)\right)^2 \end{equation}\]这是一个泛函优化的问题，本来需要对函数 $g$ 进行求导，用变分法求解。
但我们也可以通过条件期望来求出这个解：
\[\begin{equation} \begin{aligned} \mathbb{E}\left(Y-g(X)\right)^2 &=\mathbb{E}\left(Y-\mathbb{E}(Y\mid X)+\mathbb{E}(Y\mid X)-g(X)\right)^2\\ &= \mathbb{E}\left(Y-\mathbb{E}(Y\mid X)\right)^2 +\mathbb{E}\left(\mathbb{E}(Y\mid X)-g(X)\right)^2\\ &\qquad +2\underbrace{\mathbb{E}\left[(Y-\mathbb{E}(Y\mid X))(\mathbb{E}(Y\mid X)-g(X))\right]}_{=0}\\ &=\mathbb{E}\left(Y-\mathbb{E}(Y\mid X)\right)^2 +\underbrace{\mathbb{E}\left(\mathbb{E}(Y\mid X)-g(X)\right)^2}_{\ge0}\\ &\ge \mathbb{E}\left(Y-\mathbb{E}(Y\mid X)\right)^2 \end{aligned} \label{eq:mean-square-estimation} \end{equation}\]因此，我们可以得到最优的函数 $g(X)$ 为：
\[\begin{equation} g(X)=\mathbb{E}[Y\mid X] \end{equation}\]下面我们来说明公式 \eqref{eq:mean-square-estimation} 中的交叉项为什么是0。
注意到 $\mathbb{E}[Y\mid X]$ 是一个关于 $X$ 的随机变量，因此我们先把 $X$ 作为条件：
\[\begin{equation} \begin{aligned} \text{交叉项} &=\mathbb{E}\left[(Y-\mathbb{E}[Y\mid X])(\mathbb{E}[Y\mid X]-g(X))\right]\\ &=\mathbb{E}_{X}\left[ \mathbb{E}_{Y}\left[ (Y-\mathbb{E}[Y\mid X]) \underbrace{(\mathbb{E}[Y\mid X]-g(X))}_{\text{constant}} \right] \mid X \right]\\ &=\mathbb{E}_{X}\left[ (\mathbb{E}[Y\mid X]-g(X))\cdot \mathbb{E}((Y-\mathbb{E}[Y\mid X])\mid X) \right]\\ \end{aligned} \end{equation}\]其中，
\[\begin{equation} \begin{aligned} \mathbb{E}((Y-\mathbb{E}[Y\mid X])\mid X) &=\mathbb{E}[Y\mid X]-\mathbb{E}\left[\mathbb{E}[Y\mid X]\mid X\right]\\ &=\mathbb{E}[Y\mid X]-\mathbb{E}[Y\mid X]\mathbb{E}[1\mid X]\\ &=0 \end{aligned} \end{equation}\]因此，交叉项为0得证。
