随机过程(9)

我们前面讨论了很多的随机过程，包括宽平稳、高斯过程等等。这些随机过程都是连续时间、连续状态的随机过程。从今天开始，我们将集中关注在离散状态的随机过程上。在研究离散状态的随机过程时，我们所使用的工具和关注的着眼点都和连续状态的随机过程不同。

一、泊松过程

对于离散状态的随机过程，我们考察的是在一段固定的时间 $[0,t]$ 内，某个事件发生的次数 $N(t)$。由于事件发生的间隔是随机的，因此 $N(t)$ 是一个随机变量。这种过程也被称为计数过程 (Counting Process) 或点过程 (Point Process)。

在这一章中，我们先对随机过程给出一些基本条件来加以研究：

独立增量 (Independent Increment)：即 $\forall t_1\lt t_2\le t_3\lt t_4$，有 $N(t_4)-N(t_3)$ 与 $N(t_2)-N(t_1)$ 独立。
平稳增量 (Stationary Increment)：即 $\forall t_1\lt t_2$，在 $[t_1,t_2]$ 内时间发生的次数仅依赖于时间差 $N(t_2)-N(t_1)\sim P(t_2-t_1)$。

我们希望研究的是这个随机事件发生次数的分布，即 $P(N(t)=k)$。只要有了这个结果，根据平稳性条件，我们就可以知道任意的时间区间内发生的次数 $P(N(t_2)-N(t_1)=k)$。

1.1. 泊松分布的概率分布函数

我们选用的工具是矩母函数 (Moment Generating Function, MGF)。对于离散随机变量 $X$，其分布为 $P(X=X_k)=p_k$，则 $X$ 的矩母函数定义为：

\[\begin{equation} \begin{aligned} G_X(z) &= \mathbb{E}\left[ z^X \right]\\ &= \sum_k z^kp_k \end{aligned} \end{equation}\]

下面我们来考察 $N(t)$ 的矩母函数：

\[\begin{equation} G_{N(t)}(z) = \mathbb{E}\left[ z^{N(t)} \right] \end{equation}\]

考虑经过一小段时间 $\Delta t$ 后矩母函数的差分：

\[\begin{equation} \begin{aligned} &\quad\ \frac{1}{\Delta t}\left(G_{N(t+\Delta t)}(z)-G_{N(t)}(z)\right)\\ &= \frac{1}{\Delta t}\left( \mathbb{E}\left[z^{N(t+\Delta t)}\right] - \mathbb{E}\left[z^{N(t)}\right] \right)\\ &= \frac{1}{\Delta t}\left( \mathbb{E}\left[z^{N(t)-N(0)}\left( z^{N(t+\Delta t)-N(t)}-1 \right)\right] \right)\\ &= \frac{1}{\Delta t}\left( \mathbb{E}\left[ z^{N(t)-N(0)} \right] \mathbb{E}\left[ z^{N(t+\Delta t)-N(t)}-1 \right] \right)\\ &= G_{N(t)}(z)\cdot \frac{1}{\Delta t} \mathbb{E}\left[ z^{N(t+\Delta t)-N(t)}-1 \right]\\ &= G_{N(t)}(z)\cdot \frac{1}{\Delta t} \mathbb{E}\left[ z^{N(\Delta t)}-1 \right] \end{aligned} \end{equation}\]

等式左右两端令 $\Delta t\to 0$ 得：

\[\begin{equation} \begin{aligned} \frac{\partial G_{N(t)}(z)}{\partial t} &= G_{N(t)}(z)\cdot \lim_{\Delta t\to 0} \frac{1}{\Delta t} \mathbb{E}\left[ z^{N(\Delta t)}-1 \right]\\ &= G_{N(t)}(z)\cdot \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left( \sum_{k=0}^\infty z^k P(N(\Delta t)=k) -1 \right)\\ &= G_{N(t)}(z)\cdot \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left[ \left( P(N(\Delta t)=0)-1 \right) + zP(N(\Delta t)=1) + \sum_{k=2}^\infty z^k P(N(\Delta t)=k) \right] \end{aligned} \end{equation}\]

1.1.1. 第一项

我们先考虑右侧的第一项：

\[\begin{equation} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left( P(N(\Delta t)=0)-1 \right) \end{equation}\]

由于 $P(N(t)=0)$ 意味着在 $[0,t]$ 内事件发生的次数为 $0$。也就是说，我们任取 $s\in (0,t)$，都有：

\[\begin{equation} \begin{aligned} P(N(t)=0) &= P(N(s)=0,N(t)-N(s)=0)\\ &= P(N(s)=0)P(N(t)-N(s)=0)\\ &= P(N(s)=0)P(N(t-s)=0)\\ \end{aligned} \end{equation}\]

也就是说，如果我们令 $g(t)=P(N(t)=0)$，则 $g(t)$ 满足：

\[\begin{equation} \forall s\in(0,t),\quad g(t)=g(s)g(t-s) \end{equation}\]

也就是：

\[\begin{equation} \forall s,t\geq 0,\quad g(t+s)=g(t)g(s) \end{equation}\]

上面的方程是一个经典的柯西指数方程。可以证明，符合柯西指数方程的连续函数只能指数函数（证明见附录1）

\[\begin{equation} P(N(t)=0)=\exp(-\lambda t) \end{equation}\]

其中，由于概率一定小于1，因此常数 $\lambda\gt 0$。

因此，等式右侧的第一项我们就解出来了：

\[\begin{equation} \begin{aligned} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left( P(N(\Delta t)=0)-1 \right) &= \lim_{\Delta t\to 0} \frac{\exp(-\lambda \Delta t)-1}{\Delta t}\\ &=-\lambda \end{aligned} \end{equation}\]

1.1.2. 第二项

我们再考虑右侧的第二项：

\[\begin{equation} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left( zP(N(\Delta t)=1) \right) \end{equation}\]

仿照上面的思路，由于 $P(N(t)=1)$，我们任取 $s\in (0,t)$，都有：

\[\begin{equation} \begin{aligned} P(N(t)=0) &= P(N(s)=1,N(t)-N(s)=0) + P(N(s)=0,N(t)-N(s)=1)\\ &= P(N(s)=1)P(N(t-s)=0) + P(N(s)=0)P(N(t-s)=1)\\ &= P(N(s)=1) \exp(-\lambda (t-s)) + \exp(-\lambda s) P(N(t-s)=1)\\ \end{aligned} \end{equation}\]

令 $g(t)=P(N(t)=1)$，则 $\forall s\in(0,t)$，都有：

\[\begin{equation} g(t+s)=g(t)\exp(-\lambda s)+g(s)\exp(-\lambda t) \end{equation}\]

即

\[\begin{equation} \frac{g(t+s)}{\exp(-\lambda(t+s))} = \frac{g(t)}{\exp(-\lambda t)} + \frac{g(s)}{\exp(-\lambda s)} \end{equation}\]

附录1 的证明过程已经告诉我们，符合这样条件的连续函数只能是线性函数：

Note：这里老师的推导其实不太严谨。这是国科大的同学提出的做法，思想上是很优美的。但正确的做法是需要引入稀疏性的条件来保证这里结果的 $\lambda$ 和第一项的 $\lambda$ 是一样的。

\[\begin{equation} \frac{g(t)}{\exp(-\lambda t)}=\lambda t \end{equation}\]

即

\[\begin{equation} g(t)=\lambda t\exp(-\lambda t) \end{equation}\]

于是，等式右侧的第二项：

\[\begin{equation} \begin{aligned} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \left( zP(N(\Delta t)=1) \right) &= z\lim_{\Delta t\to 0} \frac{\lambda \Delta t\exp(-\lambda \Delta t)}{\Delta t}\\ &=\lambda z \end{aligned} \end{equation}\]

1.1.3. 第三项

我们最后考虑右侧的第三项：

\[\begin{equation} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \sum_{k=2}^\infty z^k P(N(\Delta t)=k) \end{equation}\]

由于无穷级数

\[\begin{equation} \sum_{k=2}^\infty z^k P(N(\Delta t)=k) \end{equation}\]

的收敛域是 $\left\vert z \right\vert\le 1$，因此根据三角不等式，

\[\begin{equation} \begin{aligned} \left\vert \sum_{k=2}^\infty z^k P(N(\Delta t)=k) \right\vert &\le \sum_{k=2}^\infty \left\vert z \right\vert^k P(N(\Delta t)=k)\\ &\le \sum_{k=2}^\infty P(N(\Delta t)=k)\\ &= P(N(\Delta t)\ge 2) \end{aligned} \end{equation}\]

根据概率的归一性：

\[\begin{equation} P(N(\Delta t)=0)+P(N(\Delta t)=1)+P(N(\Delta t)\ge 2)=1 \end{equation}\]

因此，

\[\begin{equation} \begin{aligned} 0&= \lim_{\Delta t\to 0} \frac{1}{\Delta t} (P(N(\Delta t)=0)-1+P(N(\Delta t)=1)+P(N(\Delta t)\ge 2))\\ &=-\lambda+\lambda + \lim_{\Delta t\to 0}\frac{1}{\Delta t}P(N(\Delta t)\ge 2) \end{aligned} \end{equation}\]

也就是说，

\[\begin{equation} \lim_{\Delta t\to 0}\frac{1}{\Delta t}P(N(\Delta t)\ge 2)=0 \end{equation}\]

根据概率的保序性

\[\begin{equation} \lim_{\Delta t\to 0} \frac{1}{\Delta t} \sum_{k=2}^\infty z^k P(N(\Delta t)=k)=0 \end{equation}\]

1.1.4. 整理得结果

综上所述，

\[\begin{equation} \begin{aligned} \frac{\partial G_{N(t)}(z)}{\partial t} &= G_{N(t)}(z)\cdot \left( -\lambda+\lambda z+0 \right)\\ &=\lambda(z-1)G_{N(t)}(z) \end{aligned} \label{eq:poisson-pde} \end{equation}\]

当 $t=0$ 时，

\[\begin{equation} \begin{aligned} G_{N(0)}(z) &= \mathbb{E}\left[ z^{N(0)} \right]\\ &= \mathbb{E}[1]\\ &= 1 \end{aligned} \end{equation}\]

我们就可以求解这个关于 $t$ 的线性偏微分方程，得到矩母函数为：

\[\begin{equation} G_{N(t)}(z) = \exp(\lambda(z-1)t) \label{eq:poisson-mgf} \end{equation}\]

由于

\[\begin{equation} G_{N(t)}(z)=\sum_k z^kp_k \end{equation}\]

因此我们将矩母函数进行泰勒展开之后，对比系数就能得到分布 $p_k$：

\[\begin{equation} \begin{aligned} G_{N(t)}(z) &=\exp(-\lambda t)\exp(\lambda t z)\\ &= \sum_k \exp(-\lambda t) \frac{(\lambda t)^k}{k!}z^k \end{aligned} \end{equation}\]

对比系数得：

\[\begin{equation} P(N(t)=k)= \frac{(\lambda t)^k}{k!} \exp(-\lambda t) \end{equation}\]

这就是著名的泊松分布，具体来说就是参数为 $\lambda t$ 的泊松分布。

同时，我们有：

\[\begin{equation} P(N(t)-N(s)=k)= \frac{(\lambda (t-s))^k}{k!} \exp(-\lambda (t-s)) \end{equation}\]

1.2. 泊松分布的性质

下面我们来分析参数为 $\lambda t$ 的泊松分布的性质：

\[\begin{equation} P(N(t)=k)= \frac{(\lambda t)^k}{k!} \exp(-\lambda t) \label{eq:poisson} \end{equation}\]

1.2.1. 均值

根据均值的定义：

\[\begin{equation} \begin{aligned} \mathbb{E}[N(t)] &= \sum_{k=0}^{\infty} kP(N(t)=k)\\ &= \sum_{k=0}^{\infty} k \frac{(\lambda t)^k}{k!} \exp(-\lambda t)\\ &= \sum_{k=0}^{\infty} \frac{(\lambda t)^k}{(k-1)!} \exp(-\lambda t)\\ &= \exp(-\lambda t) \sum_{j=0}^{\infty} \frac{(\lambda t)^{j+1}}{j!}\\ &= \exp(-\lambda t)\cdot \lambda t \sum_{j=0}^{\infty} \frac{(\lambda t)^j}{j!}\\ &= \exp(-\lambda t)\cdot \lambda t \exp(\lambda t)\\ &=\lambda t \end{aligned} \end{equation}\]

也就是说，

\[\begin{equation} \lambda = \frac{\mathbb{E}[N(t)]}{t} \end{equation}\]

由于均值是 $[0,t]$ 内事件发生的平均次数，因此 $\lambda$ 的物理含义就是单位时间内事件发生的平均次数。于是，$\lambda$ 也被称为泊松分布的强度。

从另一个角度看，$\lambda$ 也可以看作单位时间内事件发生次数的变化率：

\[\begin{equation} \lambda = \frac{\mathrm{d}}{\mathrm{dt}}\mathbb{E}[N(t)] \end{equation}\]

这个变化率是一个常数，这恰好与我们的平稳性条件对应上。

1.2.2. 样本轨道

泊松过程的样本轨道是下面的阶梯函数：

因此，泊松过程也被称为跳过程 (Jump Process)。

张真人名言：人生是泊松过程（合影留念）^_^

我们对人生往往有两种误解。

一种误解是：我们从小受到的教育是“好好学习，天天向上”，因此我们往往认为人生是一个线性递增的过程。但实际上没有谁的人生是线性的，不可能每天都在向上都有收获。

另一种误解是：人生是一个布朗运动，完全无法预测，明天究竟是什么样谁都不知道，你永远不知道意外和未来哪个先来。

有这两个认识的人都没有认真学习过随机过程。因为只要学过随机过程，就能体会到人生就是一个泊松过程。我们大部分时间都在等待，等待跃升的机会和人生的下一个分叉路口。我们上高中上了三年，实际上就在等待上高考的那一天，三年里全部的努力都是为了高考这一刻。

因此，我认为泊松过程就是对人生最恰如其分的表述，人的一生就是一场等待的艺术。巴普洛夫说，“机遇只青睐有准备的人”。因此，我们如何去看待等待这件事情，如何去经历等待，这直接决定了我们的人生轨迹。因为实际的人生可能比泊松过程还要更悲观一点，因为我们总会有失败的时候，而泊松过程只会往上走。但是不管怎么样，大部分时间都是在等待中度过的。

然而，在等待的过程中，我们可能会遇到一些小的波动，比如说获得奖学金、加薪。但这些都是飞跃之前的小波动，我们千万不能把这些事情当回事，而是要时刻看准大趋势：真正决定你人生轨迹和高度的都是你飞跃的那一个瞬间。我们如何有效把握机会，如何让自己有更好的提升与变化，这才是关键所在。平时的小波动都是暂时的，只要我们把大目标定好，并且为之持续不断地努力，这都是一个有效的等待。

1.2.3. 事件发生的间隔

下面我们来计算泊松分布的分布函数。考虑事件第一次发生的间隔 $T_1$：

\[\begin{equation} F_{T_1}(t)= P(T_1\leq t) \end{equation}\]

我们下面进行概率转换 (Probability Transformation)。由于第一次时间发生的时间小于等于 $t$，这等价于在 $[0,t]$ 内这个事件至少发生了一次，即：

\[\begin{equation} \begin{aligned} F_{T_1}(t) &=P(T_1\leq t)\\ &= 1-P(T_1\gt t)\\ &= 1-P(N(t)=0)\\ &= 1-\exp(-\lambda t) \end{aligned} \end{equation}\]

因此，第一次事件发生间隔服从的分布为：

\[\begin{equation} \begin{aligned} f_{T_1}(t) &=\frac{\mathrm{d}}{\mathrm{d}t}F_{T_1}(t)\\ &=\frac{\mathrm{d}}{\mathrm{d}t}(1-\exp(-\lambda t))\\ &= \begin{cases} \lambda\exp(-\lambda t),&t\geq 0\\ 0,&t\lt 0 \end{cases} \end{aligned} \end{equation}\]

这是一个参数为 $\lambda$ 的指数分布。

进一步，我们可以得出以下结论：

第 $n$ 次事件发生间隔 $T_n$ 同样服从指数分布（平稳性条件）。
不同事件发生间隔是相互独立的（独立性条件）。

也就是说，事件发生间隔是一个服从参数为 $\lambda$ 的指数分布的 i.i.d. 随机变量序列：

\[\begin{equation} T_1,\dots,T_n \stackrel{\text{i.i.d.}}{\sim} \text{Exp}(\lambda) \label{eq:interval} \end{equation}\]

1.2.4. 事件发生的时刻

我们现在来研究事件第 $n$ 次发生的时刻 $S_n$。注意到：

\[\begin{equation} S_n=\sum_{k=1}^n T_k \end{equation}\]

因此，$S_k$ 是一系列独立的随机变量之和。通常来说，我们处理这种问题的方式是利用特征函数。

考虑 $S_n$ 的特征函数：

\[\begin{equation} \begin{aligned} \phi_{S_n}(\omega) &= \mathbb{E}\left[ \exp(j\omega S_n) \right]\\ &= \mathbb{E}\left[ \exp\left(j\omega\sum_{k=1}^n T_k\right) \right]\\ &= \left( \mathbb{E}\left[ \exp\left(j\omega T_1\right) \right]\right)^n\\ &= \phi_{T_1}^n(\omega) \end{aligned} \end{equation}\]

由于 $T_1\sim \text{Exp}(\lambda)$，因此其特征函数为：

\[\begin{equation} \begin{aligned} \phi_{T_1}(\omega) &= \mathbb{E}\left[ \exp(j\omega T_1) \right]\\ &= \int_{0}^{\infty} \lambda\exp(-\lambda t) \exp(j\omega t) \mathrm{d}t\\ &= \frac{\lambda}{\lambda-j\omega} \end{aligned} \end{equation}\]

因此，$S_n$ 的特征函数为：

\[\begin{equation} \phi_{S_n}(\omega)= \left(\frac{\lambda}{\lambda-j\omega}\right)^n \end{equation}\]

这个特征函数很难做傅里叶反变换得到分布函数。这是因为这个函数并非解析函数（全纯函数），在分母上有奇点（甚至是 $n$ 阶奇点）。如果想要做傅里叶反变换，我们需要留数定理来帮助我们做积分。

因此，我们需要另外的做法：概率转换。$P(S_n\leq t)$ 意味着第 $n$ 次事件发生的时刻小于等于 $t$，这也意味着在 $[0,t]$ 内这个事件至少发生了 $n$ 次。

\[\begin{equation} \begin{aligned} F_{S_n}(t) &= P(S_n\leq t)\\ &= P(N(t)\geq n)\\ &= \sum_{k=n}^{\infty} P(N(t)=k)\\ &= \sum_{k=n}^{\infty} \frac{(\lambda t)^k}{k!} \exp(-\lambda t) \end{aligned} \end{equation}\]

我们就能求出密度函数：

\[\begin{equation} \begin{aligned} f_{S_n}(t) &=\frac{\mathrm{d}}{\mathrm{d}t}F_{S_n}(t)\\ &= \frac{\mathrm{d}}{\mathrm{d}t} \sum_{k=n}^{\infty} \frac{(\lambda t)^k}{k!} \exp(-\lambda t)\\ &= \sum_{k=n}^{\infty} \lambda \frac{(\lambda t)^{k-1}}{(k-1)!} \exp(-\lambda t) - \lambda \frac{(\lambda t)^k}{k!} \exp(-\lambda t)\\ &= \lambda \exp(-\lambda t) \sum_{k=n}^{\infty} \frac{(\lambda t)^{k-1}}{(k-1)!} - \frac{(\lambda t)^k}{k!}\\ &= \lambda \exp(-\lambda t) \frac{(\lambda t)^{n-1}}{(n-1)!} \end{aligned} \end{equation}\]

这是一个参数为 $(n,1/\lambda)$ 的 Gamma 分布，即：

\[\begin{equation} S_n\sim\text{Gamma}\left(n,\frac{1}{\lambda}\right) \label{eq:moment} \end{equation}\]

在附录2中，我们简要介绍了一下 Gamma 分布和 Gamma 函数。

二、泊松过程的推广

2.1. 非齐次泊松过程

首先，我们去掉平稳增量的条件，考虑仅有独立增量的情况下，泊松分布会产生什么变化。

为了更好地分析，我们需要增加一个假设：

\[\begin{equation} \lim_{\Delta t\to 0} \frac{P(N(t+\Delta t)-N(t)=0)-1}{\Delta t} = -\lambda(t) \end{equation}\]

我们重新考察泊松分布的矩母函数的差分：

\[\begin{equation} \begin{aligned} \frac{\partial G_{N(t)}(z)}{\partial t} &= \lim_{\Delta t\to 0} \frac{1}{\Delta t}\left(G_{N(t+\Delta t)}(z)-G_{N(t)}(z)\right)\\ &= G_{N(t)}(z) \lim_{\Delta t\to 0} \left( \frac{1}{\Delta t} \mathbb{E}\left[ z^{N(t+\Delta t)-N(t)}-1 \right] \right) \end{aligned} \end{equation}\]

由于没有了平稳增量条件，这里不能直接把 $t$ 去掉。下面我们来分析这个期望，与上面的思路相同，我们也把这个期望分为三项：零阶、一阶和高阶。

\[\begin{equation} \begin{aligned} &\quad\ \mathbb{E}\left[ z^{N(t+\Delta t)-N(t)}-1 \right]\\ &= P(N(t+\Delta t)-N(t)=0)-1 + zP(N(t+\Delta t)-N(t)=1)\\ &\quad\ + \sum_{k=2}^{\infty} z^k P(N(t+\Delta t)-N(t)=k) \end{aligned} \end{equation}\]

利用新增的假设，并重复上面的推导过程，我们能够得到和上面类似的结果。二阶项

\[\begin{equation} \lim_{\Delta t\to 0} \frac{P(N(t+\Delta t)-N(t)=1)}{\Delta t} = \lambda(t) \end{equation}\]

而高阶项同样可以被忽略。

综上所述，我们有：

\[\begin{equation} \begin{aligned} \frac{\partial G_{N(t)}(z)}{\partial t} &= G_{N(t)}(z) \lim_{\Delta t\to 0} \left( \frac{1}{\Delta t} \mathbb{E}\left[ z^{N(t+\Delta t)-N(t)}-1 \right] \right)\\ &= \lambda(t)(z-1)G_{N(t)}(z) \end{aligned} \end{equation}\]

和公式 \eqref{eq:poisson-pde} 的结果对比，可以发现几乎完全相同，只是 $\lambda$ 不再是一个常数，而是一个与 $t$ 有关的函数。

求解这个微分方程得到矩母函数为：

\[\begin{equation} G_{N(t)}(z) = \exp\left( (z-1) \int_{0}^{t} \lambda(s) \mathrm{d}s \right) \end{equation}\]

此时，新的泊松分布就变成：

\[\begin{equation} P(N(t)=k)= \frac{\left(\int_{0}^{t}\lambda(s)\mathrm{d}s\right)^k}{k!} \exp\left(-\int_{0}^{t}\lambda(s)\mathrm{d}s\right) \end{equation}\]

由于强度 $\lambda(t)$ 与时间 $t$ 有关，因此这个随机过程称为非齐次 (Non-Homogeneous) 泊松过程。

2.2. 复合泊松过程

标准的泊松分布只关注事件发生的次数，但在实际情况中，每次时间发生的强度也是非常重要的。比如说，对于保险精算师来说，他更关心的不是赔付的次数，而是一段时间内赔付的总金额。

因此，我们考虑如下的随机过程：

\[\begin{equation} Y(t)=\sum_{k=1}^{N(t)}X_k \end{equation}\]

其中，$N(t)$ 是一个标准泊松过程。$X_k$ 是一组独立同分布且独立于 $N(t)$ 的随机变量，表示每次时间发生的强度。

我们来考察 $Y(t)$ 的矩母函数：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \mathbb{E}\left[ z^{Y(t)} \right]\\ &= \mathbb{E}\left[ z^{\sum_{k=1}^{N(t)}X_k} \right] \end{aligned} \end{equation}\]

这里出现了两个随机变量，因此我们需要将其中一个作为条件，这是非常常用的技巧。由于 $X_k$ 与 $N(t)$ 独立，我们把 $N(t)$ 作为条件后对 $X_k$ 没有任何影响：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \mathbb{E}_{N(t)}\left[ \mathbb{E}_{X}\left[ z^{\sum_{k=1}^{n}X_k} \mid N(t)=n \right] \right]\\ &= \mathbb{E}_{N(t)}\left[ \prod_{k=1}^{N(t)} \mathbb{E}_{X}\left[ z^{X_k} \right] \right]\\ &= \mathbb{E}_{N(t)}\left[ \prod_{k=1}^{N(t)} G_{X_k}(z) \right]\\ &= \mathbb{E}_{N(t)}\left[ G_{X_1}^{N(t)}(z) \right]\\ &= G_{N(t)}\left(G_{X_1}(z)\right) \end{aligned} \end{equation}\]

可以看到，$Y(t)$ 的矩母函数是 $X_1$ 的矩母函数与 $N(t)$ 的矩母函数的复合，因此 $Y(t)$ 称为复合泊松过程 (Compound Poisson Process)。

在公式 \eqref{eq:poisson-mgf} 中，我们给出了标准泊松分布的矩母函数。代入得：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= G_{N(t)}\left(G_{X_1}(z)\right)\\ &= \exp\left(\lambda t \left(G_{X_1}(z)-1\right)\right) \end{aligned} \label{eq:compound-poisson-mgf} \end{equation}\]

三、泊松过程应用举例

3.1. 随机电报信号

前面我们已经介绍了随机电报信号。今天，我们从泊松分布的角度重新来看待随机电报信号。

考虑随机过程 $X(t)$，满足

\[\begin{equation} X(t)=(-1)^{N(t)} \end{equation}\]

其中，$N(t)\sim \text{Poisson}(\lambda t)$，即服从参数为 $\lambda$ 的泊松分布。

下面我们来求 $X(t)$ 的相关函数。

\[\begin{equation} \begin{aligned} R_X(t,s) &= \mathbb{E}\left[ X(t) X(s) \right]\\ &= \mathbb{E}\left[ (-1)^{N(t)}(-1)^{N(s)} \right]\\ &= \mathbb{E}\left[ (-1)^{N(t)+N(s)} \right]\\ \end{aligned} \end{equation}\]

这里指数上是 $N(t)+N(s)$，不好处理。于是我们用一些小 trick，构造出“增量”的形式：

\[\begin{equation} \begin{aligned} R_X(t,s) &= \mathbb{E}\left[ (-1)^{N(t)+N(s)} \right]\\ &= \mathbb{E}\left[ (-1)^{N(t)-N(s)+2N(s)} \right]\\ &= \mathbb{E}\left[ (-1)^{N(t)-N(s)}(-1)^{2N(s)} \right]\\ &= \mathbb{E}\left[ (-1)^{N(t)-N(s)} \right]\\ &= \sum_{k=0}^{\infty} (-1)^{k} \frac{(\lambda (t-s))^k}{k!} \exp(-\lambda (t-s))\\ &= \exp(-\lambda (t-s)) \sum_{k=0}^{\infty} (-1)^{k} \frac{(\lambda (t-s))^k}{k!}\\ &= \exp(-\lambda (t-s)) \exp(-\lambda (t-s))\\ &= \exp(-2\lambda (t-s)) \end{aligned} \end{equation}\]

结果和之前的结论是一致的。

3.2. 泊松过程瘦身

3.2.1. 二项分布抽样

考虑学校早上上学，到达学校的学生数量服从标准泊松分布，且学生性别为男的概率为 $p$。

我们希望考察这样一个问题：单看到达学校的男生数量，这个数量还服从标准泊松分布吗？

为了回答这个问题，我们就需要复合泊松过程。为了只计数男生，让到达的女生不影响计数，我们可以将男生的 $X_k$ 设为1，女生的 $X_k$ 设为0。也就是说，$X_k$ 服从下面的二项分布：

\[\begin{equation} X_k\stackrel{\text{i.i.d.}}{\sim} \begin{pmatrix} 1&0\\p&1-p \end{pmatrix} \end{equation}\]

我们只需要考察

\[\begin{equation} Y(t)=\sum_{k=1}^{N(t)}X_k \end{equation}\]

所服从的分布是不是标准泊松分布，就能够回答这个问题。

下面我们只需要计算 $X_1$ 的矩母函数即可：

\[\begin{equation} \begin{aligned} G_{X_1}(z) &= \mathbb{E}\left[ z^{X_1} \right]\\ &= z^1 \cdot p + z^0 \cdot (1-p)\\ &=(z-1)p+1 \end{aligned} \end{equation}\]

代入公式 \eqref{eq:compound-poisson-mgf} 得：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \exp\left(\lambda t \left(G_{X_1}(z)-1\right)\right)\\ &= \exp\left(\lambda p t (z-1)\right) \end{aligned} \end{equation}\]

与公式 \eqref{eq:poisson-mgf} 对比发现，这正好是一个参数为 $\lambda pt$ 的标准泊松分布对应的矩母函数。

因此，$Y(t)$ 服从标准泊松分布：

\[\begin{equation} Y(t)\sim \text{Poisson}(\lambda pt) \end{equation}\]

3.2.2. 隔一个抽样

上面的例子中，我们相当于以概率 $p$ 从泊松过程中抽样，我们发现得到的新的随机过程仍然是一个泊松过程，只是其强度变为 $\lambda p$。

现在，我们换一种抽样方式：隔一个事件抽一次。这样得到的随机过程还是一个泊松过程吗？

答案是否定的。

公式 \eqref{eq:interval} 告诉我们，泊松过程的事件发生时间间隔服从指数分布。现在我们隔一个事件抽走一个，那么新的随机过程中，相邻两个时间发生的时间间隔是两个指数分布随机变量之和。公式 \eqref{eq:moment} 告诉我们，$n$ 个指数分布随机变量之和服从参数为 $(n,1/\lambda)$ 的 Gamma 分布。

因此，新的随机过程的时间间隔服从 Gamma 分布，说明这不是一个泊松过程。

3.3. 泊松过程相加

考虑两个相互独立的泊松过程 $N_1(t)$ 和 $N_2(t)$，它们的强度分别为 $\lambda_1$ 和 $\lambda_2$。

我们希望考察这两个过程相加后得到的随机过程

\[\begin{equation} Y(t)=N_1(t)+N_2(t) \end{equation}\]

是否还是一个泊松过程。

考虑 $Y(t)$ 的矩母函数：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \mathbb{E}\left[ z^{Y(t)} \right]\\ &= \mathbb{E}\left[ z^{N_1(t)+N_2(t)} \right]\\ &= G_{N_1(t)}(z)G_{N_2(t)}(z)\\ &= \exp(\lambda_1 t (z-1)) \exp(\lambda_2 t (z-1))\\ &= \exp((\lambda_1+\lambda_2)t(z-1)) \end{aligned} \end{equation}\]

因此，$Y(t)$ 仍然服从参数为 $\lambda_1+\lambda_2$ 的标准泊松分布：

\[\begin{equation} Y(t)\sim \text{Poisson}(\lambda_1+\lambda_2) \end{equation}\]

类似的结论可以立刻推广到 $n$ 个独立泊松变量相加，结果仍然是泊松变量，其强度为 $\lambda_1+\cdots+\lambda_n$。

进一步地，我们有如下的小推论。考虑两个独立的随机变量 $X_1$ 和 $X_2$ 分别服从参数为 $\lambda_1$ 和 $\lambda_2$ 的指数分布，则 $Y=\min(X_1,X_2)$ 服从参数为 $\lambda_1+\lambda_2$ 的指数分布。

3.4. 泊松过程相减

我们来考虑两个泊松过程的差

\[\begin{equation} Y(t)=N_1(t)-N_2(t) \end{equation}\]

服从什么分布。

显然，这不是一个泊松分布，因为 $Y(t)$ 可以取负值，而泊松分布只能取非负值。

考察 $Y(t)$ 的矩母函数：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \mathbb{E}\left[ z^{Y(t)} \right]\\ &= \mathbb{E}\left[ z^{N_1(t)-N_2(t)} \right]\\ &= \mathbb{E}\left[ z^{N_1(t)} \right] \mathbb{E}\left[ z^{-N_2(t)} \right]\\ &= G_{N_1(t)}\left(z\right)G_{N_2(t)}\left(z^{-1}\right)\\ &= \exp(\lambda_1 t (z-1)) \exp(\lambda_2 t (z^{-1}-1)) \end{aligned} \end{equation}\]

到这里似乎卡住了，我们不好处理这个 $z^{-1}$。

为此，我们可以从一个新的视角来看待这个问题。$Y(t)$ 可以看作是我们同时统计了来自 $N_1(t)$ 和 $N_2(t)$ 的事件，只是事件的强度不同：$N_1(t)$ 上的事件强度为 $+1$，而 $N_2(t)$ 上的事件强度为 $-1$。

上面我们已经证明，同时统计两个泊松过程的事件，得到的新过程仍然是一个泊松过程。其强度变为 $\lambda_1+\lambda_2$。因此，一个直观的想法是 $Y(t)$ 有可能是一个复合泊松过程。于是，我们希望把 $Y(t)$ 的矩母函数往复合泊松过程的方向去变形（即公式 \eqref{eq:compound-poisson-mgf}，但注意强度是 $\lambda_1+\lambda_2$）。

事实上，我们有：

\[\begin{equation} \begin{aligned} G_{Y(t)}(z) &= \exp(\lambda_1 t (z-1)) \exp(\lambda_2 t (z^{-1}-1))\\ &= \exp\left( (\lambda_1+\lambda_2) t \left( \frac{\lambda_1}{\lambda_1+\lambda_2}z + \frac{\lambda_2}{\lambda_1+\lambda_2}z^{-1} -1 \right) \right) \end{aligned} \end{equation}\]

与公式 \eqref{eq:compound-poisson-mgf} 对比，我们希望中间的

\[\begin{equation} \frac{\lambda_1}{\lambda_1+\lambda_2}z + \frac{\lambda_2}{\lambda_1+\lambda_2}z^{-1} \end{equation}\]

应当正好是某个分布的矩母函数。答案是肯定的，这正好是下面这个二项分布的矩母函数：

\[\begin{equation} X\sim \begin{pmatrix} 1&-1\\ \frac{\lambda_1}{\lambda_1+\lambda_2}&\frac{\lambda_2}{\lambda_1+\lambda_2} \end{pmatrix} \end{equation}\]

这个结果和我们前面的定性分析是完全一致的。随机变量 $X$ 以概率 $\frac{\lambda_1}{\lambda_1+\lambda_2}$ 取 $+1$，以概率 $\frac{\lambda_2}{\lambda_1+\lambda_2}$ 取 $-1$。这正好对应了从 $N_1(t)$ 或 $N_2(t)$ 中取事件，其贡献为 $+1$ 或 $-1$。

综上所述，两个泊松过程相减得到的随机过程 $Y(t)$ 是一个复合泊松过程。

3.5. 一个条件期望小练习

我们考虑下面的条件期望：

\[\begin{equation} \mathbb{E}[S_4\mid N(1)=2] \end{equation}\]

其中，$N(t)$ 是一个标准泊松过程，$S_n$ 表示第 $n$ 次事件发生的时刻。

这个条件期望就是说，在 $[0,1]$ 时间内发生 2 次事件的条件下，求第 4 次事件发生时刻的期望值。

3.5.1. 标准做法：先求条件分布

标准的做法是：先求条件分布，再求条件期望。

当 $t\geq 1$ 时：

\[\begin{equation} \begin{aligned} F_{S_4}(t\mid N(1)=2) &= P(S_4\leq t\mid N(1)=2)\\ &= \frac{P(S_4\leq t, N(1)=2)}{P(N(1)=2)}\\ &= \frac{P(N(t)\geq 4, N(1)=2)}{P(N(1)=2)}\\ &= \frac{P(N(t)-N(1)\geq 2, N(1)=2)}{P(N(1)=2)}\\ &= \frac{P(N(t)-N(1)\geq 2)P(N(1)=2)}{P(N(1)=2)}\\ &= P(N(t)-N(1)\geq 2)\\ &= P(N(t-1)\geq 2)\\ &= 1-P(N(t-1)\lt 2)\\ &= 1-P(N(t-1)=0)-P(N(t-1)=1)\\ &= 1-\exp(-\lambda (t-1))+\lambda (t-1)\exp(-\lambda (t-1)) \end{aligned} \end{equation}\]

综上所述，条件分布为：

\[\begin{equation} F_{S_4}(t\mid N(1)=2)= \begin{cases} 1-\exp(-\lambda (t-1))+\lambda (t-1)\exp(-\lambda (t-1)),&t\geq 1\\ 0,&t<1 \end{cases} \end{equation}\]

这里经典做法是先求导得到密度，然后再积分得到期望，但这里求导有些麻烦。事实上，我们可以利用下面的结论（证明见附录3，其实就是分部积分）。

Theorem 1.（非负随机变量的期望） 若 $X\ge 0$ 是一个非负随机变量，则有

\[\begin{equation} \mathbb{E}[X]=\int_{0}^{\infty} xf_X(x)\mathrm{d}x=\int_{0}^{\infty} (1-F_X(x))\mathrm{d}x \end{equation}\]

因此，条件期望为：

\[\begin{equation} \begin{aligned} \mathbb{E}[S_4\mid N(1)=2] &= \int_{1}^{\infty}\left[ \exp(-\lambda (t-1))-\lambda (t-1)\exp(-\lambda (t-1)) \right]\mathrm{d}t + \int_{0}^{1}(1-0)\mathrm{d}t\\ &= \frac{2}{\lambda}+1 \end{aligned} \end{equation}\]

3.5.2. 这种做法是对的吗？

有一部分人 (A) 提出了下面的做法，不需要计算直接就能给出这个答案。如下图所示：

由于泊松过程中相邻两个事件发生的间隔是一个参数为 $\lambda$ 的指数分布，期望为 $1/\lambda$。
在 $[1,S_4]$ 内共发生了两次事件，因此这段时间长度的期望就是两个指数分布的期望，即 $2/\lambda$。
也就是说，$[0,S_4]$ 的时间长度期望就是 $1+2/\lambda$。

另一部分人 (B) 提出了反对意见，认为这只是恰好猜对了答案。这部分人反驳的理由是：

前面的结论只是说 $T_3$（即 $[S_2,S_3]$）的长度期望是 $1/\lambda$，没有说 $[1,S_3]$ 的长度期望也是 $1/\lambda$。

A 给出的理由是：

指数分布具有无记忆性，无论从哪个起点开始（$t=1$ 还是 $t=S_2$），长度都服从指数分布。

B 继续给出了反驳的理由：

就算 $[1,S_3]$ 的长度仍然是服从指数分布，那它的期望也不会是 $1/\lambda$，因为这很显然比 $[S_2,S_3]$ 的长度要短。

于是，后面就没能得出一个统一的结论。

关于这个事情，我们将放到下一篇文章再深入分析。因为这涉及到泊松过程的一些本质特征，能够帮助我们更好地理解泊松过程的实质。

Appendix

Apd.1. 柯西指数方程的解

下面我们证明，满足

\[\begin{equation} \forall s,t\geq 0,\quad g(t+s)=g(t)g(s) \end{equation}\]

的连续函数 $g(t)$ 一定是指数函数（排除 trivial 情况 $g(t)\equiv 0$）

Lemma 1. $g(t)$ 一定是正值。

Proof of Lemma 1. 根据柯西指数方程，我们有：

\[\begin{equation} g(t)=g^2\left(\frac{t}{2}\right)\geq 0 \end{equation}\]

假设 $\exists t_0$，使得 $g(t_0)=0$，则不断递归使用柯西指数方程，我们可以得到：

\[\begin{equation} g\left(\frac{t_0}{2}\right)=g\left(\frac{t_0}{4}\right)=\cdots=g\left(\frac{t_0}{2^n}\right)=0 \end{equation}\]

根据连续性，令 $n\to\infty$ 得：

\[\begin{equation} \lim_{n\to\infty} g\left(\frac{t_0}{2^n}\right)=g(0)=0 \end{equation}\]

也就是说：

\[\begin{equation} \forall t,\quad g(t)=g(t)g(0)=0 \end{equation}\]

这就变成 trivial 情况 $g(t)\equiv 0$。排除。

综上所述，$\forall t$ 都有 $g(t)\gt 0$。

证明柯西指数方程的解. 根据 Lemma 1.，我们可以令 $h(t)=\log g(t)$。我们的条件就变为：

\[\begin{equation} \forall s,t\geq 0,\quad h(t+s)=h(t)+h(s) \end{equation}\]

只要证明 $h(t)$ 一定是一个线性函数，则 $g(t)$ 就一定是一个指数函数。

当 $t=0$ 时，$h(0)=h(0)+h(0)$，因此 $h(0)=0$。

当 $t\in\mathbb{Z}^+$，有：

\[\begin{equation} \begin{aligned} h(t) &= h(t-1)+h(1)\\ &= h(t-2)+2h(1)\\ &= \cdots\\ &= t\cdot h(1)\\ &=\lambda t \end{aligned} \end{equation}\]

当 $t\in\mathbb{Z}^-$，有：

\[\begin{equation} \begin{aligned} h(t) &= 0-h(-t)\\ &= 0-\lambda(-t)\\ &=\lambda t \end{aligned} \end{equation}\]

当 $t=\frac{n}{m}\in\mathbb{Q}$，由于 $mh\left(\frac{1}{m}\right)=h(1)=\lambda$，因此：

\[\begin{equation} \begin{aligned} h(t) &= h\left(\frac{n}{m}\right)\\ &= n\cdot h\left(\frac{1}{m}\right)\\ &= n\cdot\frac{1}{m}\lambda\\ &=\lambda t \end{aligned} \end{equation}\]

当 $t\in\mathbb{R}$ 时，根据实数的完备性，一定存在有理数列 $\lbrace q_k\rbrace\subseteq\mathbb{Q}$，使得 $q_k\to t$。因此，根据连续性：

\[\begin{equation} \begin{aligned} h(t) &= h\left(\lim_{k\to\infty} q_k\right)\\ &= \lim_{k\to\infty}h\left( q_k\right)\\ &= \lim_{k\to\infty}\lambda q_k\\ &= \lambda t \end{aligned} \end{equation}\]

综上所述，任取 $t\in\mathbb{R}$，都有 $h(t)=\lambda t$，因此 $g(t)=\exp(\lambda t)$。

Apd.2. Gamma 分布和 Gamma 函数

Gamma 分布

Gamma 分布有两个参数：

形状参数 $k\gt 0$，主要控制分布的形状。
尺度参数 $\theta\gt 0$，主要控制分布的展宽。

若随机变量 $X\sim\text{Gamma}\left(k,\theta\right)$，则 $X$ 的概率密度函数为：

\[\begin{equation} f_X(x)= \frac{1}{\Gamma(k)\theta^k} x^{k-1} \exp\left(-\frac{x}{\theta}\right) \end{equation}\]

其中，$\Gamma(k)$ 是 Gamma 函数。

Gamma 分布有以下性质：

均值：$\mathbb{E}[X]=k\theta$；
方差：$\text{Var}[X]=k\theta^2$；
矩母函数：$G_X(t)=(1-\theta t)^{-k},\quad t\lt 1/\theta$。

在一些特殊情况下，Gamma 分布退化为常见的分布：

指数分布：当 $k=1$ 时，Gamma分布退化为指数分布，常用于描述“等待时间”。
\[\begin{equation} \text{Gamma}(1,\theta)=\exp\left(\frac{1}{\theta}\right) \end{equation}\]
卡方分布：当 $k=\nu/2$，$\theta=2$ 时，Gamma分布变成自由度为 $\nu$ 的卡方分布。
\[\begin{equation} \text{Gamma}(\nu/2,2)=\chi^2(\nu) \end{equation}\]
爱尔朗分布：当 $k$ 为正整数时，称为爱尔朗分布，常见于排队论。

Gamma 函数

Gamma 函数的定义为：

\[\begin{equation} \Gamma(t)=\int_{0}^{\infty} x^{t-1}\exp(-x)\mathrm{d}x \end{equation}\]

Gamma 函数是阶乘函数在实数域上的推广。任取 $n\in\mathbb{Z}^+$，有：

\[\begin{equation} \begin{aligned} \Gamma(n) &= \int_{0}^{\infty} x^{n-1}\exp(-x)\mathrm{d}x\\ &= -\int_{0}^{\infty} x^{n-1}\mathrm{d}\exp(-x)\\ &= - \left(\left.x^{n-1}\exp(-x)\right|_{0}^{\infty}\right) + \int_{0}^{\infty} \exp(-x)\mathrm{d}x^{n-1}\\ &= (n-1) \int_{0}^{\infty} x^{n-2}\exp(-x)\mathrm{d}x\\ &= (n-1)\Gamma(n-1)\\ &= \cdots\\ &= (n-1)!\Gamma(1) \end{aligned} \end{equation}\]

其中，

\[\begin{equation} \begin{aligned} \Gamma(1) &= \int_{0}^{\infty} \exp(-x)\mathrm{d}x\\ &=1 \end{aligned} \end{equation}\]

因此，$\Gamma(n)=(n-1)!$。

Apd.3. Proof of Theorem 1.

我们来证明对于非负随机变量 $X\geq 0$ 有