跳转到内容
个人学习笔记

第三章　微积分与线性代数（Calculus and Linear Algebra）

量化学习 · 绿皮书

微积分和线性代数是量化金融中许多高等数学主题的基础。因此，在准备量化面试中较复杂的问题时，也要准备回答一些微积分或线性代数的基础题。由于大部分接受考察的微积分与线性代数知识都很容易遗忘，投入几个小时复习通常会有较大收获。若你记得大学阶段学过的线性代数知识，不妨把大学教材拿出来复习。

当然，要把任何一本微积分或线性代数教材浓缩进一章，都是极其困难的，本章也无意如此。本章仅集中讨论微积分与线性代数中一些经常出现在量化面试里的核心概念。即使讨论这些概念，也不会面面俱到，更不会详述所有细节和注意事项。如果你不熟悉某些概念，请参考自己喜欢的微积分或线性代数教材。

3.1　极限与导数（Limits and Derivatives）

导数基础（Basics of derivatives）

首先回顾极限和导数的基本定义与公式。下列记法可能略有不同，但都可以在任何一本微积分教材中找到。

导数：若 ，则

乘积法则：若 、，且二者的导数存在，则

商法则：

链式法则：若 ，则

广义幂法则：当 时，

其他常用公式和极限包括：

题目：求 的导数

求函数 的导数。

查看解答

本题可以检验你对基本求导公式，尤其是链式法则和乘积法则的掌握程度。

令 。由链式法则和乘积法则，

再次使用链式法则，令 ，有

因此，

原书提示：对形如 的函数求导时，通常先对等式两边取自然对数，再求导。

最大值与最小值（Maximum and minimum）

导数 本质上是曲线 在某点切线的斜率，或者说 相对 的瞬时变化率。当 时，如果 ，则 在 附近递增；如果 ，则 在 附近递减。

局部极大值或极小值：设 在包含 的开区间上可导。如果 是局部极大值或极小值，则 。

二阶导数判别法：设二阶导数 连续。如果 且 ，那么 是局部极小值；如果 且 ，那么 是局部极大值。

题目：比较 和

不计算具体数值，判断 与 哪个更大。

查看解答

对两者取自然对数：左侧为 ，右侧为 。因此， 等价于 ，也就是 。

考察函数 在 到 区间内的增减性。其导数为

当 时，，所以 。实际上，该函数在 处取得全局最大值。于是，对所有 ，都有 ，特别地，

另一种方法是使用第 3.4 节介绍的泰勒级数。利用 ，可得对 ，。令 ，得到 ，从而 ，最终 。

原书提示：这里同样可以先对两边取自然对数；由于 是单调递增函数， 等价于 。

洛必达法则（L’Hospital’s rule）

设 和 在 时可导，且在相关邻域内 。若 、 同时趋于 0，或者二者同时趋于无穷大，则在满足法则条件且右侧极限存在的情况下，

洛必达法则把不定式的极限问题转化为一个更容易处理的确定形式。

题目：两个极限

分别求出 及 。

查看解答

当 时， 和 都趋于无穷大，因此可以使用洛必达法则：

第二个表达式乍看不符合商的形式，但可把它改写为

此时分子趋于负无穷，分母趋于正无穷，可以应用洛必达法则：

3.2　积分（Integration）

积分基础（Basics of integration）

先回顾积分的基本定义及公式。若函数 满足 ，则称 是 的一个原函数。当 时，

另一方面，

广义幂法则的逆运算：对于 ，

其中 是任意常数。

换元积分法：若 ，，则

对于带上下限的定积分，同样需要把积分限由 的取值换为对应的 的取值。

分部积分法：

题目 A：求 的不定积分

求 。

查看解答

这是分部积分的一个例子。令 ，，则 ，。因此，

其中 为任意常数。

题目 B：求正割函数的积分

计算 。

查看解答

这道题与三角函数的微分和积分直接相关。对三角函数，只要记住其中两个基本导数 、，就可以用乘积法则或商法则导出其他公式。例如，

由此，

因为求导式中出现 ，于是有

故 ，从而

积分的应用（Applications of integration）

题目 A：两个圆柱体的交集体积

两个半径均为 1 的实心圆柱体相互垂直地相交，且它们的中心重合。求相交部分的体积。

查看解答

本题是用积分计算体积的一个应用。此类题目的困难通常不是计算积分，而是正确建立积分表达式。沿 轴方向切分，若 是高度 处的横截面积，则体积为

原书图 3.1 给出了两个圆柱相交的示意图。将交集沿水平方向切片，可得到边长 的正方形横截面；利用对称性，整体体积为

取本题半径 ，得到 。

原书图 3.1
图 3.1　两个互相垂直的圆柱体的交集（对应原书插图）

另一种解法需要更强的空间想象力：设想有一个内切于圆柱交集的球体。在垂直于 轴的每个截面上，球的圆形截面内切于交集的正方形截面，圆与正方形的面积比为 。因此，

原书这一替代解法的球体半径印为 ，但这与给出的体积结果不一致；此处按相交部分的实际内切球半径 表示。

题目 B：扫雪车

某天中午以前的某个时刻开始下雪，降雪速率恒定。剑桥市在中午派出扫雪车，从 MIT 出发，沿马萨诸塞大道向哈佛方向清扫积雪。扫雪车每分钟能够清除的雪的体积恒定。下午 1 点时，它已经前进了 2 英里；下午 2 点时，累计前进了 3 英里。雪是什么时候开始下的？

查看解答

将中午定义为时间 0，假设在中午以前 小时开始下雪。扫雪车速度与积雪的纵向截面积成反比：，其中 是扫雪车每小时可清除的固定雪量， 是积雪的横截面积。

令 表示中午之后的小时数。由于降雪速率恒定，有 ，其中 是横截面积每小时的增长率。所以

对速度积分，根据第一小时行进了 2 英里、前两小时累计行进 3 英里，得到

联立并消去 ，得到

小时

因此，降雪开始于中午之前约 0.618 小时，即上午约 11:23。

原书的中间一行将二次方程印为 ，与所给根不一致；按上面两条积分方程展开，应为 。

总体来说，这道题虽然计算直接，却同时检验了分析能力、积分知识和代数知识。

用积分计算期望（Expected value using integration）

积分广泛用于计算连续型随机变量的无条件期望和条件期望。第四章会进一步展示积分在概率统计中的应用，这里只举一例。

题目：截断正态分布的期望

设 服从标准正态分布 ，求 。

查看解答

因为 ，其概率密度为

原书接着计算正半轴上的一阶矩：

由于 ，可令 换元，得到

原书将上述结果直接写为 。严格按照条件期望定义，还须除以 ，因此题目所求为 。

3.3　偏导数与重积分（Partial Derivatives and Multiple Integrals）

偏导数：设 ，则在 处对 的偏导数是

二阶偏导数：

多变量链式法则：设 ，而每个 又是 的函数。如果所有这些函数的一阶偏导数连续，那么，对每一个 ，都有

将笛卡尔坐标下的积分转为极坐标：平面上的变量可映射为 、，重积分据此改写为

题目：高斯积分

计算 。

查看解答

如果记得标准正态分布的概率密度 ，根据概率密度积分为 1，立刻得到

利用对称性，

如果不记得正态密度，或被要求证明这条积分公式，就需要使用极坐标重积分。令 ，则

先对 积分，再对 积分：

由于 ，于是 ，因此所求半轴积分为 。

3.4　重要的微积分方法（Important Calculus Methods）

泰勒级数（Taylor’s series）

一元函数 的泰勒级数将函数表示为在 处求得的各阶导数所构成的无穷级数：

如果 ，就得到麦克劳林级数：

泰勒级数常用于把函数表示为幂级数。三个常用超越函数 、、 在 附近的展开为

泰勒级数也可以写为 次泰勒多项式与余项的和：

对于 与 之间的某个 ，拉格朗日余项为

若 是区间内 的最大值，那么

题目 A： 等于多少？

求 ，其中 为虚数单位。

查看解答

可以使用泰勒级数证明欧拉公式 。先从 的展开式入手，并把 替换为 ：

结合 ，将实部与虚部分组：

利用 与 的泰勒展开，得到 。当 时有 ；当 时有 ，因此

这里沿用原书采用的复对数主值。

题目 B：证明伯努利不等式

证明：对所有整数 及所有 ，都有

查看解答

令 。因为 正是函数在 处泰勒级数的前两项，可以用泰勒展开处理：

由泰勒公式，存在 位于 0 和 之间，使得

当 、 时，、，所以余项非负，从而 。

原书还给出一种数学归纳法的解法。基例 时，。假设 时成立；由于 保证 ，有

因此对所有整数 结论成立。

牛顿法（Newton’s method）

牛顿法又称牛顿－拉夫森法或牛顿－傅里叶法，是求解方程 的一种迭代方法。从初始值 出发，反复应用

求得新近似值 ，直至达到所需精度。

牛顿法不保证在所有情况下都收敛，尤其当起点离真正的根很远时。若 在根附近连续可导、，而且初值足够接近根，则牛顿法通常收敛。收敛时，它的收敛阶为二次，即

其中 满足 。

题目 A：求 的前三位小数

使用牛顿法，将 计算到小数点后三位。

查看解答

令 ，那么原题就是求解 。取自然的初始猜测 ，应用牛顿法：

由于 ，已经非常接近 37，故保留三位小数可得 。

如果不记得牛顿法，也可直接对 在 处做一阶泰勒近似：

另一个思路是设 。由 ，得到 。忽略较小的 项，就有 。

题目 B：解释其他求根算法

假设 是可微函数，除牛顿法以外，还有哪些算法可以求解 ？请解释它们。

查看解答

二分法（Bisection method）是一种直观的求根算法。它从两个初值 开始，满足 、。由于 连续，区间 中存在一个根。在每一步，检查区间中点 处的函数符号：若 ，就令 、；若 ，则令 、。如果函数值为 0，或者绝对值小于允许的误差，就停止。

二分法呈线性收敛，因此通常比牛顿法慢。不过，只要初始端点构成一个包根区间，其收敛便有保证。

割线法（Secant method）从两个初值 开始，反复执行

它用割线斜率 代替牛顿法中的 。当导数难以计算时，这种方法尤其有用。割线法的收敛阶为 ，高于二分法而低于牛顿法。与牛顿法相似，如果初值距离根不够近，割线法也无法保证收敛。

拉格朗日乘数法（Lagrange multipliers）

拉格朗日乘数法是带有一个或多个约束条件的函数求局部极值的一种常用技术。

设 是 个变量组成的向量 的函数，梯度为

在约束 下求 的极大或极小值，相应的必要条件可写为

其中 称为拉格朗日乘子。原书指出，这一方法是一般约束非线性优化中 KKT（Karush–Kuhn–Tucker）条件的一个特例。

题目：原点到平面的距离

求原点到平面 的距离。

查看解答

原点到平面的距离 ，就是原点与平面上任一点之间距离的最小值。求 与求 等价，所以可写为

应用拉格朗日乘数法，得到方程组

解得

因此

更一般地，对于平面 ，它到原点的距离为

3.5　常微分方程（Ordinary Differential Equations）

本节介绍几种经常出现在面试中的典型常微分方程。

可分离变量的微分方程（Separable differential equations）

可分离变量的微分方程可以写成

由于变量可以分离，原方程可改写为

对等式两边积分，就有

题目 A：求解含初值条件的微分方程

解常微分方程 ，其中 。

查看解答

取 、，可写为

两边积分，得到 ，因此 ，其中 为常数。代入初值条件 ，得 ，从而

题目 B：通过换元分离变量

求解微分方程

查看解答

这个方程按当前形式不能直接分离变量，但可以通过换元将它变为可分离变量的方程。令 ，则 ，原方程变为

于是

原书提示：引入新变量 。

一阶线性微分方程（First-order linear differential equations）

一阶线性微分方程的一般形式为

标准解法是找出一个合适的积分因子 ，使得

因此，

两边积分即可解出 ：

积分因子须满足 ，即本身满足一个可分离变量方程，其通解可以取为

题目：一阶线性方程的初值问题

在 时，求解

查看解答

这是典型的一阶线性方程，其中 、。积分因子为

又有 ，故

两边积分：

代入 ，得 ，最终解为

齐次线性方程（Homogeneous linear equations）

二阶齐次线性微分方程的一般形式为

如果 是这条齐次线性方程的两个线性无关解，那么 也是解，其中 为任意常数。这种组合称为齐次线性方程的通解。

如果 （其中 ）是常数而不是 的函数，齐次线性方程便有一套直接的解法。令 为特征方程

的两个根，分以下三种情形：

  1. 如果 是两个不同的实数根，通解为 。
  2. 如果两个实数根相等，即 ，通解为 。
  3. 如果二者是共轭复根 ，通解为 。

通过对通解求一阶和二阶导数，可以很容易检验这些表达式确实满足对应的齐次线性方程。

题目：具有共轭复根的二阶方程

求解

查看解答

此时 ，判别式 ，因而特征方程的根为

即 、。所以原微分方程的通解为

非齐次线性方程（Nonhomogeneous linear equations）

与齐次线性方程 不同，非齐次线性方程

在一般情况下不一定能直接得到闭式解。但是，只要找到一个满足非齐次方程的特解 ，再找出对应齐次方程 的通解 ，非齐次方程的通解就可写为

虽然一般情形下寻找特解可能困难，但当 是一个简单多项式时，特解通常也是某个多项式。

题目：两个非齐次微分方程

分别求解 及 。

查看解答

两条方程对应的齐次方程均为 ，其特征根为 。因此齐次部分的通解为

对于 ，很容易看出 是一个特解。所以通解为

对于 ，尝试令 。此时 ，，代入原方程得

特解为 ，所以

3.6　线性代数（Linear Algebra）

线性代数在量化金融中应用广泛，因为它在统计、优化、蒙特卡洛模拟、信号处理等领域都起着重要作用。线性代数覆盖的数学领域十分宽广，本节只讨论与统计和数值方法密切相关的几个主题。

向量（Vectors）

一个 的列向量是一维数组，可以表示 维欧几里得空间 中某个点的坐标。

内积或点积：对两个 中的向量 与 ，其内积定义为

欧几里得范数：

两个 向量之间的夹角 满足

如果 ，则这两个向量正交。把两个随机变量看作欧几里得空间中的向量时，它们的相关系数可以被理解为对应向量夹角的余弦。

题目：已知两组相关系数，求第三组的取值范围

给定三个随机变量 ，其中 与 的相关系数为 0.8， 与 的相关系数也为 0.8。问 与 的相关系数最大和最小分别是多少？

查看解答

把随机变量 视为向量。设 与 的夹角为 ，则 ；同理， 与 的夹角也是 。

为了使 与 的相关系数最小，它们之间的夹角应尽可能大。图 3.2 中，当 分别在 的两侧且共面时，其夹角为 ，于是相关系数达到最小值：

为了使相关系数最大，让向量 方向相同即可，此时相关系数为 1。

原书图 3.2
图 3.2　用于确定向量 之间最小相关系数的几何示意图

不用三角恒等式也能用勾股定理得到同样的结果。取两个长度均为 1、与 的夹角均对应余弦 0.8 的向量。由于垂直分量为 0.6， 的两端相距 1.2；因此 的内积为

所以， 的最大值为 1，最小值为 0.28。本章后面还将利用相关矩阵的半正定性重新求解这道题。

QR 分解（QR decomposition）

对任意非奇异 矩阵 ，都存在一对矩阵 ，其中 是正交矩阵、 是对角元素为正的上三角矩阵，且满足

QR 分解常用于求解线性方程组 。当 且 正交时，，所以

因为 为上三角矩阵，可以先从最后一个未知量出发，经回代逐个求出 。

题目：没有现成函数时，如何求解线性最小二乘回归？

假设你使用的编程语言没有用于线性最小二乘回归的现成函数，你会怎样设计一个求解算法？

查看解答

线性最小二乘回归是最常用的统计分析方法之一。先回顾线性回归的基本形式。一个含 个解释变量的简单模型可以写为

其中 、 是截距项， 是解释变量。

目标是找到参数向量 ，使误差平方和 最小。写成矩阵形式：

其中 、 是 列向量， 是 的解释变量矩阵（每一行表示一个回归观测，每一列表示一个解释变量或截距项）。优化问题为

对 求一阶导并令其为零，得到

令 、，问题便成为求解 ，可以使用前面介绍的 QR 分解。如果语言提供矩阵求逆函数，也可以直接计算

由于这里讨论的是线性回归，原书也列出常见的线性回归模型假设：

  1. 变量满足线性关系：。
  2. 误差项的期望为零：，。
  3. 方差恒定，且不同误差项不相关：，以及 （）。
  4. 不存在完全多重共线性；原书以解释变量之间的相关系数不等于 作说明。
  5. 与解释变量 相互独立。

原书提醒，在实践中，这些假设中的一些可能遭到违反，此时最小二乘回归未必是最佳线性无偏估计量（BLUE）。许多计量经济学教材讨论了假设被破坏时的后果以及相应的处理方法。

原书注：涉及矩阵导数的求导步骤需要一些矩阵微积分知识。计算 时，如果矩阵接近奇异或尺度不合适，逆运算也会产生较大的数值误差。

行列式、特征值与特征向量（Determinant, eigenvalue and eigenvector）

行列式：对一个 矩阵 ，其行列式定义为

其中 遍历集合 的所有排列， 为排列的符号：如果通过偶数次交换可以得到自然顺序，；如果需要奇数次交换，。

例如，二阶与三阶行列式分别为

一些常见性质为

实践中通常不会按所有排列直接展开行列式，因为计算量过大；更常见的方法是利用 LU 分解或余子式等进行计算。

特征值：令 是 矩阵。如果存在非零向量 ，使得 ，那么实数 称为 的一个特征值；每个对应的非零向量 则是 的特征向量。

特征值与特征向量在常微分方程、马尔可夫链、主成分分析（PCA）等领域有重要应用。行列式与特征值／特征向量之间也有密切联系：

对任何非零向量 ，方程 可写为 ，其中 是 单位矩阵。非零解存在的必要条件是

这一方程称为 的特征方程，它的根就是 的特征值。如果 是矩阵 的特征值，则

如果 可对角化，并且具有 个线性无关的特征向量 ，对应特征值为 ，令

那么

原书注：如果所有特征值两两不同，矩阵一定可对角化。

题目：计算二阶矩阵的特征值与特征向量

设

求它的特征值和特征向量。

查看解答

这是特征值和特征向量的一个简单例子。原书给出三种求解思路。

方法 A：直接应用特征值和特征向量的定义。

设 为一个特征值， 为对应的特征向量。根据定义，

因此

若 ，就得到 。由于特征向量非零，，相应的单位特征向量为 。若 ，则 ，得到 ，相应的单位特征向量为 。

方法 B：使用特征方程 。

解得 、。将每个特征值代入 ，即可得到各自的特征向量。

方法 C：利用特征值的乘积与和。

故 、，解得 、。再代回特征向量方程即可。

半正定矩阵与正定矩阵（Positive semidefinite/definite matrix）

当 为 的实对称矩阵时，例如协方差矩阵与相关矩阵，其所有特征值都是实数，且不同特征值对应的特征向量两两正交。

原书列出以下关于对称矩阵 半正定（positive semidefinite）的条件：

  1. 对任意非零向量 ，。
  2. 的全部特征值非负。
  3. 的左上角（或右下角）各阶主子矩阵 的行列式非负。

协方差矩阵和相关矩阵都必须是半正定的；如果随机变量之间没有完全的线性依赖，协方差／相关矩阵应当是正定的。

类似地，原书给出对称矩阵 正定（positive definite）的判据：

  1. 对任意非零向量 ，。
  2. 的所有特征值都为正。
  3. 的所有左上角（或右下角）顺序主子矩阵 的行列式均为正。

原书将第三条也作为半正定的充要条件列出。严格来说，半正定需要所有主子式非负，仅检查顺序主子式非负一般不足以保证半正定；正定情形可使用第三条所述的 Sylvester 判据。

题目：用半正定性求相关系数范围

给定随机变量 ，其中 与 的相关系数为 0.8， 与 的相关系数也为 0.8。求 与 的相关系数的最大、最小值。

查看解答

本题可以利用相关矩阵的半正定性质求解。设 与 的相关系数为 ，则三个变量的相关矩阵为

因为 必须为半正定矩阵，故 。展开行列式：

因此

所以 与 的最大相关系数为 1，最小相关系数为 0.28。

LU 分解与 Cholesky 分解（LU decomposition and Cholesky decomposition）

令 为非奇异的 矩阵。LU 分解把 表示为一个下三角矩阵 与一个上三角矩阵 的乘积：

LU 分解可用于解线性方程 以及计算 的行列式。令 ，则可依次求解 、。并且，

当 为对称正定矩阵时，Cholesky 分解将其写为

其中 是对角元素为正的唯一上三角矩阵。从本质上看，它是一种具有 性质的三角分解。原书指出，LU 分解在高斯消元过程中自然出现。

Cholesky 分解在蒙特卡洛模拟中尤其有用，因为它可以用于生成具有相关性的随机变量。

题目：如何生成两个具有指定相关系数的标准正态变量？

如果已有一个标准正态分布 的随机数生成器，怎样生成两个相关系数为 的标准正态随机变量？

查看解答

从两个相互独立的标准正态随机变量 出发，构造

容易验证

以及

由于这两个变量的方差均为 1，它们的相关系数也为 。这是通过 Cholesky 分解生成相关随机变量的基本示例。

要生成服从 维多元正态分布 的随机向量，其中均值为 ，协方差矩阵为 ，先将协方差矩阵分解为

接着生成 个相互独立的 随机变量 ，令 ，则

具有所需的均值与协方差结构；相应地，若使用下三角因子 满足 ，也可写为 。

原书最后介绍了另一种生成方法：奇异值分解（SVD）。对于任意 矩阵 ，都存在

其中 分别由与 行、列空间有关的正交向量构成， 是对角线上包含 的奇异值的矩阵。

对于正定协方差矩阵 ，特征分解可写作 ，其中 是特征向量矩阵， 是以特征值 为对角元的对角矩阵。令 是以 为对角元的矩阵，那么

如果生成相互独立的标准正态随机变量组成向量 ，就可以构造

从而得到具有所需协方差矩阵的多元正态随机向量。

原书注：多元正态分布的密度函数为

掌握状态与复习

关掉资料独立完成后记 A；提示后完成记 B；需要重学记 C。

记录尽量保存在当前浏览器，建议定期导出备份。