跳到正文
本地阅读 · 第四章 概率论(Probability Theory)

第四章 概率论(Probability Theory)

量化学习 · 绿皮书

在大多数数量金融面试中,你至少会遇到几道概率题。概率论是数量金融各个领域的基础,因此,对每一位量化面试候选人来说,掌握概率论都十分重要。良好的直觉和逻辑能帮助你解决许多概率题,但全面理解基础概率论,可以让你以清晰、简洁的方式处理一些看似违反直觉的结果。

本章复习的基础概率论不仅经常出现在面试里,也能为后续概率问题提供必要知识。知识固然重要,但直觉与逻辑也不可或缺。切勿以为学会了概率知识就能替代分析判断;第二章讨论的解题技巧依然很有帮助。下面从几个有趣的概率问题开始。

4.1 概率的基本定义与集合运算(Basic Probability Definitions and Set Operations)

先回顾概率论中的基本定义与记号。这些概念在学习过程中往往只是一笔带过,却是系统研究概率问题的基础。

  • 结果(Outcome,):一次实验或试验的结果。
  • 样本空间(Sample space,):实验中所有可能结果的集合。
  • 结果的概率:,并且 。
  • 事件(Event,):样本空间的一个子集,即一组结果;。
  • 并集: 表示属于事件 或 (或两者都属于)的所有结果。
  • 交集:(也记作 )表示同时属于 和 的所有结果。
  • 补集: 表示事件 不发生。
  • 互斥事件:。对于两两互斥的 ,有

随机变量(Random variable):把样本空间 中的每个结果 映射为实数的函数。

以投掷一枚公平六面骰子为例,样本空间是 ,每个结果概率均为 。令事件 为点数为奇数,则 、、。若 ,则 、。定义事件 的示性随机变量为

题目:硬币游戏(Coin toss game)

两名玩家玩抛硬币游戏。玩家 有 枚公平硬币,玩家 有 枚公平硬币。 抛出的正面数严格多于 的概率是多少?

查看解答

先从事件和对称性着手。移走 的最后一枚硬币,比较双方剩下的 枚硬币中正面的数量,恰有三种互斥情形:

  • : 的 枚硬币正面数较多;
  • :两人正面数一样多;
  • : 的 枚硬币正面数较少。

由对称性,,,因此 。事件 下,不论多出来的那枚硬币是什么结果, 都获胜; 下,即使增加一枚硬币, 也无法超过 ; 下,多出来的硬币以 的概率为正面。因此

获胜

题目:扑克牌游戏(Card game)

赌场使用一副52张扑克牌,13种点数各有4张。你从充分洗好的牌中抽一张,然后庄家再抽一张,不放回。若你抽到的点数大于庄家,就获胜;如果点数小于或等于庄家,则庄家获胜。你的胜率是多少?

查看解答

一种计算方法是依点数枚举。若你抽到点数为2的牌,庄家点数较小的概率为 ;抽到3时为 ;……;抽到最大点数A时为 。13种点数等可能,故

赢

更简洁的方法是利用对称性。将事件分为你的点数较大、点数相同、你的点数较小。第一个和第三个事件概率相同。给定你抽到某张牌,剩下51张中有3张点数相同,故平局概率为 。因此

赢平局

题目:醉酒乘客(Drunk passenger)

100名乘客排队登机,原本每人持有对应座位号码的机票。第一个人醉酒,随意坐进一个空座位;此后每位乘客若自己的座位空着,就坐自己的座位,否则随机选择一个空座位。你是最后一名乘客(100号),最终坐到自己座位的概率是多少?

查看解答

关注1号和100号座位。若1号座位先被占,100号最后就会坐在自己的位置;若100号座位先被占,最后一名乘客就无法坐到自己的位置。由于整个过程对这两个座位是对称的,最终概率为

号乘客坐到自己座位

若想严格理解,可从第一个人开始追踪:他若坐进自己的1号座位,剩余乘客就会各就各位;若占了100号座位,则最后一名乘客无法坐到原位;若占了中间某个 号座位,1号座位仍空着,直到 号乘客出现时,他才开始随机选择空位。问题因此在1号座位、100号座位与新的随机乘客间递归。每次随机选座,这两个关键座位被选中的机会始终对称,所以结果是 。

题目:圆上的 个点(N points on a circle)

在圆周上随机独立抽取 个点。这些点全部落入某个半圆内的概率是多少?

查看解答

选定一点作为顺时针起点,把 个点依顺时针标为 。其余 个点都落在从点1开始的顺时针半圆内的概率为 。以每个点为起点定义对应事件 ,每个事件概率相同。

这些事件在忽略概率为零的边界情形后彼此互斥:如果从点 出发按顺时针方向的半圆包含其余所有点,就不可能有另一个点也满足同样的性质。故

原书图 4.1
图4.1:从点 起始的顺时针半圆容纳其余 个点。

类似地,设某个圆弧的长度占整个圆周的比例为 (),则所有 个点都能落入某条这样的圆弧内的概率为 。

4.2 组合分析(Combinatorial Analysis)

许多概率题只需要数清某个事件可能发生的方式即可。组合分析是这种计数的数学基础。本节复习几个常用概念。

基本计数原理与常用公式

基本计数原理:设长度为 的序列有 种首项选择;对每一种首项选择,有 种第二项选择;依此类推。全部可能结果的个数为 。

排列(Permutation):把对象排成有顺序的序列,顺序不同就算不同排列。当 个对象各不相同,或分别有 个相同对象,排列数为

组合(Combination):从 个不同对象中选出 个而不考虑顺序,有

二项式定理:

容斥原理(Inclusion–Exclusion):

一般地, 个事件的并集概率等于单个事件概率之和、减去所有两两交集、加上三重交集,如此交替,直至 重交集:

题目:扑克牌型(Poker hands)

一副52张扑克牌有13种点数,每种点数4种花色。随机抽出5张,分别得到“四条”(4张同一点数)、“葫芦”(3张同一点数加另外2张同一点数)和“两对”(两组不同点数的对子,另加一张其他点数牌)的概率是多少?

查看解答

5张牌组合的总数是 。

  • 四条:先选4张相同点数牌的点数,有13种;第5张可以在其余48张中任选,因此组合数为 。
  • 葫芦:先选三张相同点数牌的点数,有13种,花色选法为 ;对子有12种剩余点数,花色选法为 。组合数为 。
  • 两对:先选两种点数 ,每对各选2种花色 ,剩余牌在另外11种点数的44张中选一张。因此组合数为 。

分别除以所有5张牌组合数,得到

四条葫芦两对

题目:跳楼梯的兔子(Hopping rabbit)

一只兔子在有 级的楼梯底部,每次可以跳一级或两级。它有多少种不同方法跳到最上面的第 级?

查看解答

从小规模情况着手: 时只有1种方法,; 时可以跳两次一级,或直接跳两级,所以 。对任何 ,兔子最后一步要么从 级跳一级,要么从 级跳两级。这两个事件互斥,因此

这是斐波那契数列的递推形式,可以据此计算任意 的结果。

题目:海盗分赃(二)(Screwy pirates 2)

第二章的海盗和平分完战利品后,又找到新战利品,把队伍扩充至11人。他们买了一只坚固的宝箱,要用锁保护。由于不信任其他人,他们同意:只有至少6人(严格多数)一起合作才能打开宝箱。他们让锁匠在箱子上装一定数量的锁,每把锁有自己的钥匙,锁匠可以为每位海盗配多把钥匙。问最少需要多少把锁?每位海盗要带多少把钥匙?

查看解答

本题是组合分析在信息分享与密码学中的一个例子。任意5人的小组都不应能打开宝箱,但任意6人都应该能够打开。

为11人中每个5人小组安装一把独有的锁,并且不给这5人该锁的钥匙,其余6人每人持有这把锁的钥匙。这样,任何5人凑在一起,总有至少一把锁无法打开;任何6人凑在一起,对每把锁至少有其中一人持钥匙。

因此,最少锁数是所有不同5人小组的数量:

把锁

每把锁有6把钥匙,分发总钥匙数为 。对称地,每位海盗持有

把钥匙

题目:国际象棋淘汰赛(Chess tournament)

一场国际象棋单败淘汰赛有 名选手,实力按 排序,每轮胜者晋级,决赛前的每一轮均随机抽签对阵。忽略偶然因素,实力较强者必胜。问1号与2号选手会师决赛的概率是多少?

查看解答

有两种思路:条件概率的乘法公式,或直接计数。

条件概率法:1号和2号没有在首轮相遇的概率为 。给定首轮没有相遇,两人均晋级,此后剩余 人,两人没有在第二轮相遇的条件概率为 。依此继续至决赛,得

会师决赛

计数法:每轮淘汰赛的晋级树把选手分为规模相等的两半。由于1号总能获胜,为了在决赛遇到2号,两人必须处于不同的 人半区。相对于固定的1号,2号在其余 个位置中,位于另半区的可选位置有 个,所以结果仍为 。

原书图 4.2
图4.2:普通分组与1号、2号处于不同半区的特殊分组。

题目:寄错求职信(Application letters)

你给5家公司投递求职申请,分别是 Morgan Stanley、Lehman Brothers、UBS、Goldman Sachs 和 Merrill Lynch。你分别写好5封个性化求职信并装入5只信封,却不小心把信随机放入信封。问5封求职信全部寄错公司的概率是多少?

查看解答

这是典型的错排与容斥原理问题。令 表示第 封信被放入正确的信封。至少有一封放对的概率为 ,全部放错的概率为它的补事件。

任意指定 封信均放对的概率为 ,这样的 元集合共有 个,因此每阶容斥项合起来是 。

所以所有5封信都寄错的概率为

题目:生日悖论(Birthday problem)

一间教室至少要有多少人,才能使至少两人同一天生日的概率超过 ?假设一年365天,每天生日概率相同。

查看解答

设教室有 人。先求所有人的生日互不相同的概率:第一个人任意,第二个人有364种不重复日期,之后依次减少。因此

生日各不相同

至少两人生日相同的概率为 各不相同。找使这个值第一次超过 的最小整数 ,结果是 人。

题目:小数点后的第100位(100th digit)

的十进制展开中,小数点右侧第100位数字是什么?

查看解答

利用提示:。更一般地,二项式展开可证明

为偶数

右侧所有项均为整数,因此左侧和为整数。又因

所以 与一个整数相差一个小于 的正数。这意味着它的小数点后至少前100位都是9。因此答案为 。

题目:整数的立方(Cubic of integer)

从1到 的整数中等概率选择一个整数 。 的末尾两位是11的概率是多少?

查看解答

把整数写为 ,其中 为个位数字。二项式展开得

要使个位为1,必须有 ,即 。要使十位也为1,考察十位数字 ,代入 ,得 ,即 。所以 的末两位必须是71。1到 中每100个连续整数恰有1个满足,概率为 。

4.3 条件概率与贝叶斯公式(Conditional Probability and Bayes’ Formula)

很多金融交易都需要在信息有限、甚至不完整的情况下做出判断。条件概率不仅常见于量化面试,也是数量概率论应用最广泛的主题之一。本节先回顾基础定义,再通过题目展示条件概率的应用。有些题并不依赖复杂计算,关键在于逻辑分析。

条件概率、乘法公式与独立性

若 ,则给定事件 已经发生时事件 的条件概率为

乘法公式:

全概率公式:若 互斥且并集构成全部样本空间,则

独立事件: 且 (在条件概率有定义时),等价于 。独立性具有对称性。

贝叶斯公式:若 是两两互斥且并集为整个样本空间的事件,则

题目:两个孩子的性别(Boys and girls)

A:某公司为至少有一个儿子的在职母亲举办聚餐。Jackson女士应邀参加,她有两个孩子。已知她至少有一个儿子,问她的两个孩子都是男孩的概率是多少?

B:新同事Parker女士有两个孩子,你曾见过其中一个孩子,知道他是男孩。问她的两个孩子都是男孩的概率是多少?

查看解答

A:把两个孩子按长幼排序,基本样本空间为 。四种情况等概率。设 为“两名孩子都是男孩”, 为“至少有一名男孩”,则

B:与A不同,你看到的是其中一名确定的孩子。给定这名孩子是男孩,在两名孩子性别独立、男女各半的假设下,另一名孩子同样是男孩的概率为 。

两问看似类似,但条件信息不相同:A是“至少有一名孩子为男孩”的家庭层面条件;B则是在特定一个孩子的性别已知时,询问另一个孩子的性别。

题目:全是女孩的世界?(All-girl world?)

在一个假想社会里,每对夫妇都希望生一个女孩。每次分娩独立,生女孩和男孩的概率均为50%。每对夫妇只要还没生出女孩,就继续生;一旦生出女孩就不再生育。这个社会的女孩占全部孩子的比例是多少?

查看解答

这种题容易让人误以为:由于每家最终至少有一个女孩,所以女孩会更多。关键是题设规定每次分娩男女概率各半、不同分娩相互独立;停止规则并不会改变每个新生儿为女孩的概率。因而在足够多家庭的总体中,女孩与男孩的占比仍为 。

题目:不公平硬币(Unfair coin)

1000枚硬币中有1枚不公平硬币,两面都是正面;另999枚都是公平硬币。随机选取一枚,连续抛10次,结果全部为正面。选中不公平硬币的条件概率是多少?

查看解答

设 为选中不公平硬币, 为前10次均为正面。则 、,且 、。根据贝叶斯公式,

原书把结果近似记为0.5。

题目:用不公平硬币制造公平概率(Fair probability from an unfair coin)

一枚硬币出现正面和反面的概率未知,可能并不公平。能否只使用这枚硬币,构造胜率恰好为1/2的游戏?

查看解答

一次抛掷显然无法保证公平;连续抛两次即可。设正面概率为 ,反面概率为 。两次独立抛掷的四种结果分别是 ,其中

把 判为一方获胜、 判为另一方获胜;遇到 或 就作废并重新抛两次。两个有效结果等概率,最终便可产生公平的二元结果。

原书说明:这是一个最简单的方法,而非效率最优的方法;更复杂的方法可参考 John von Neumann 的无偏抽样思想以及相关随机位提取研究。

题目:飞镖游戏(Dart game)

Jason向圆形靶心投出两支飞镖,第二支比第一支离靶心更远。假设他再向同一靶心投第三支,第三支比第一支更接近靶心的概率是多少?

查看解答

三次投掷独立且距离服从相同的连续分布,没有并列的情形。在已知第二支比第一支远的前提下,三次投掷距离由近到远的6种排列只剩下3种:

排列 最近 居中 最远
1 第一支 第二支 第三支
2 第一支 第三支 第二支
3 第三支 第一支 第二支

其中后两种满足第三支比第一支更近,因此概率为 。

另一种推法是扩展成 支:给定第2到第 支都比第一支更远,第 支仍是独立同分布的随机投掷。所有 支中第一支成为全局最近的条件概率关系,最终得到第 支比第一支更近的概率为 。取 即为 。

题目:生日排队(Birthday line)

在电影院,一位经理宣布会赠送电影票给队列中第一个生日与队列中此前任何一人相同的人。假设你不知道其他人的生日,每个生日在一年365天中等可能。你应该站在第几位才能最大化获赠电影票的概率?

查看解答

若你站在第 位,前 位必须生日互不相同,而且你的生日要和他们中的某一人相同。因此

当 很小时,靠后站能够增加你与前面某人生日重合的机会;但当 增大时,“前面尚未出现重复”的概率也会下降。比较相邻位置:

解不等式 ,得到 的整数范围;达到峰值的位置为 第位。

题目:三次掷骰递增(Dice order)

连续掷一枚公平六面骰子三次,所得点数严格递增的概率是多少?

查看解答

点数严格递增要求三次均为不同点数。三次互不相同的概率为 ,给定三个不同点数,六种排列只有一种严格递增。故

题目:蒙提霍尔问题(Monty Hall problem)

电视游戏有三扇门,其中一扇后有车、另两扇后有山羊。主持人知道奖品的位置。你先选一扇门,主持人随后从剩余两扇门中打开一扇有山羊的门,再让你决定保留原选择还是改选第三扇门。是否应该换门?换门获车的概率是多少?

查看解答

如果不换门,能否获车只取决于最初选择,因此概率为 。如果换门,当你最初选中的就是车(概率 )时会输;当你最初选中的是山羊(概率 )时,主持人排除另一扇山羊门,第三扇门必定是车。故换门获车概率为 。

关键是主持人知道奖品位置,且总会打开一扇有山羊的门;不能把主持人打开门后的两扇未开门直接视为各有1/2概率。

题目:阿米巴虫种群(Amoeba population)

池塘里有一只阿米巴虫。每过一分钟,它以相同概率出现以下四种情况:死亡、不变、分裂为2只、分裂为3只。所有后代每分钟都独立遵循同样规则。求这一种群最终灭绝的概率。

查看解答

设最终灭绝概率为 。以第一分钟的结果为条件,死亡时灭绝概率为1;不变时仍为 ;分裂为2只或3只时,所有独立后代都灭绝的概率分别为 、。于是

整理得

有效解包括1和 。对本题超临界的分枝过程,取区间 内的较小不动点,即

题目:罐子里的糖果(Candies in a jar)

罐子里有10颗红糖果、20颗蓝糖果和30颗绿糖果。一次随机取出一颗,直至取完。求最后取出的红糖果比最后一颗蓝糖果和最后一颗绿糖果都更早取出的概率。

查看解答

设 分别为取出最后一颗红、蓝、绿糖果的时刻。要求 。将事件按哪种颜色的最后一颗出现得更晚来划分:

事件 等价于:所有60颗糖中最后一颗为绿色,且在仅保留30颗红蓝糖果时,最后一颗为蓝色。两种条件相乘得

类似地,

因此

题目:轮流抛硬币(Coin toss game)

和 轮流抛一枚公平硬币, 先抛,接着 抛,再由 抛,如此交替。连续抛掷结果会被记录下来。一旦首次出现“正面紧接着反面”()这段序列,游戏结束,抛出最后那次反面的人获胜。问 的获胜概率是多少?

查看解答

设 为 最终获胜的概率,。按 首次抛掷的正反面分情况:

若 第一次掷出反面,则必须等到此后出现正面,才可能构成最终获胜的 序列;这相当于 先手,利用对称性有 。

若 第一次掷出正面,再看 首次抛掷: 以 的概率掷反面,直接获胜,此时 输; 以 的概率掷正面,于是相当于 先掷出了正面, 的获胜概率变为 。故

代回全概率公式:

合理性检查: 不可能在自己的首次抛掷中获胜,而 在自己的第一次抛掷中就有 的概率获胜,因此 的最终胜率小于 。

题目:俄罗斯轮盘赌系列(Russian roulette series)

传统轮盘赌使用有6个弹巢的左轮手枪,其中随机装入1颗子弹,转动弹巢。两名玩家轮流向自己头部扣动扳机;枪响者输。如果你是其中一人,可以选择先手还是后手,你应该选哪个?首问假设每次扣动扳机后不重新转动弹巢。

接下来改变规则:每次扣动扳机前都重新随机转动弹巢,你应该选择先手还是后手?自己中弹的概率是多少?

最后,改为在6个弹巢中随机放入2颗子弹。你的对手先扣动一次扳机且幸存,现在轮到你。若两颗子弹的位置随机,应该转动弹巢吗?若两颗子弹位置连续,又应该转动吗?

查看解答

一颗子弹,不重新转动:子弹在6个弹巢中的位置等概率。首手会在第1、3、5个弹巢中枪,后手在第2、4、6个弹巢中枪。因此两人的失败概率都为 ,先后手没有区别。

一颗子弹,每次重新转动:设每轮先手中弹概率 ,后手只有在先手安全时才会扣动。若一整轮两人都幸存,游戏状态重新开始。设先手最终输的概率为 ,则

因此应当选择后手,后手最终中弹概率为 。

随机放置两颗子弹:给定前一发为空且对手幸存,若不转动,在剩余5个弹巢里有2颗子弹,下一发中弹概率为 ;若重新转动,中弹概率为 。因此选择重新转动弹巢。

两颗子弹相邻:已知前一发为空,子弹位置连续,不转动时,下一发是子弹的条件概率为 ;重新转动时概率为 。因此应当选择不重新转动弹巢。

原书图 4.3
图4.3:两颗子弹放在相邻弹巢的俄罗斯轮盘赌示意。

题目:四名玩家分A牌(Aces)

将一副52张牌随机平均分给4名玩家,每人13张。每名玩家恰好拿到一张A的概率是多少?

查看解答

可以直接计数:均分整副牌的总方式数为 。先把4张A分别分给4个人,有 种方法;剩下48张牌,每人分12张,有 种方法,因此

还可以使用条件概率:第一张A可以在任何一名玩家手里;第二张A落到另外三名玩家的39个空位中的概率为 ,第三张为 ,第四张为 。于是

题目:赌徒破产问题(Gambler’s ruin problem)

赌徒初始有 美元。每局以 ()的概率赢1美元,以 的概率输1美元。他一直玩,直到资产达到 美元,或输掉全部本金为止。求他最终达到 美元的概率。

查看解答

设 为从 美元开始最终达到 美元的概率。边界条件为 、。从下一局的胜负条件化可得

利用 从 开始递推:

再利用 ,得到

题目:篮球得分(Basketball scores)

一名篮球运动员投100次罚球。如果前一次没投进,那么下一次必定进;如果前一次投进,那么下一次投进概率等于他截至目前已经投进的次数占总投篮次数的比例。例如,前40次投进23次、且第二次投篮没进,则第41次投进概率为 。若前100次投篮中第一次和第二次都没有投进,则每100次尝试总共恰好进50球的概率是多少?

查看解答

设 表示在第 次投篮后总共投进 次的概率,且最初两次已知都没投进。第三次必进,因此 。第四次投进概率为 ,据此 、。第五次同理可按全概率公式计算。

由这些小规模情况,可以归纳得到对 ,

用归纳法验证。若前 次进球 次,第 次投失概率为 ;若前 次进球 次,第 次投进概率为 。因此

边界情形也满足相应递推。于是前100次中总共投进50球的概率为

题目:公路上出现汽车(Cars on road)

假定在20分钟内至少观察到一辆汽车经过某段公路的概率为 。整段20分钟内任何时刻观察汽车的概率均匀,且不相交时间段的汽车出现事件独立。求任意5分钟内至少观察到一辆汽车的概率。

查看解答

把20分钟划分为4个5分钟区间。设5分钟内至少出现一辆汽车的概率为 ,则5分钟无车概率为 。4个区间相互独立,因此

解得 。

4.4 离散分布与连续分布(Discrete and Continuous Distributions)

本节复习量化建模中常见的随机变量分布。无论是否熟记各个分布的公式,理解分布的基本性质并能够快速推导它们,都是非常实用的技能。先从基础定义和公式开始。

随机变量常用函数(Common functions of random variables)

概念 离散型随机变量 连续型随机变量
累积分布函数(CDF)
概率质量函数(PMF)或概率密度函数(PDF)
期望
函数期望
方差 同左
标准差 同左

表4.1:离散型与连续型随机变量的基本性质。积分默认在相应的定义域上进行。

离散型随机变量(Discrete random variables)

离散均匀分布:若 在整数集合 上等概率取值,每个值的概率均为 。

二项分布:在 次独立伯努利试验中,每次成功概率为 , 为成功次数。

泊松分布:在固定时间区间里计数某事件的发生次数;若事件按固定强度 发生,长度为 的区间内的次数服从参数为 的泊松分布。

几何分布:连续独立伯努利试验中,首次成功所需的试验次数。

负二项分布:连续独立伯努利试验中,达到第 次成功所需的总试验次数。

名称 概率质量函数与取值
离散均匀分布
二项分布
泊松分布
几何分布
负二项分布

表4.2:常见离散分布的 PMF、期望和方差。

连续型随机变量(Continuous random variables)

均匀分布:随机变量在有限区间 上以相同密度取值。

正态分布(高斯分布):由于中心极限定理,它在许多随机现象中自然出现。

指数分布:常用于描述常强度泊松过程相邻两次事件的时间间隔。

伽马分布:有两个参数 ;例如,可用于描述等待泊松过程发生多次事件所需的时间。

贝塔分布:定义在 上,通过调整形状参数 和 可呈现不同形态的密度。它在概率模型中经常用于表示某个未知比例的分布。

名称 概率密度函数与定义域
连续均匀分布
正态分布
指数分布
伽马分布
贝塔分布

其中 。

表4.3:常见连续分布的 PDF、期望和方差。原书以“率参数” 表示指数与伽马分布。

题目:银行家碰面概率(Meeting probability)

两名银行家分别在下午5:00到6:00之间随机且独立地到达车站,每人的到达时间均服从均匀分布。每人只愿意等对方最多5分钟;如果5分钟内对方不来,就离开。求两人碰面的概率。

查看解答

令 分别为两人在下午5:00之后到达的分钟数,则 独立且都服从 。当且仅当 时两人能够碰面。 在边长为60的正方形上均匀分布,满足条件的区域是主对角线两侧宽度为5的带状区域。

正方形中两块不满足条件的直角三角形各有两条长55的直角边。因此

碰面

原书图 4.4
图4.4:两名银行家的到达时间分布;阴影区域表示能够碰面。

题目:随机折棒能否构成三角形(Probability of triangle)

在一根直棒上独立、均匀地随机选取两个切点,切成三段。三段能够组成三角形的概率是多少?

查看解答

不失一般性,令棒长为1,两个切点分别为 ,并先考虑 。此时三段长度为 。三角形成立当且仅当每一段的长度都小于 ,即

这些不等式在 的单位正方形中划出图4.5所示可行域。结合 与 两种对称情况,可行域总面积是单位正方形的 。故所求概率为 。

原书图 4.5
图4.5:两个随机切点的联合分布与三角形条件对应的可行区域。

题目:泊松过程与等车(Property of Poisson process)

你在公交站等车,车辆按照平均10分钟一辆的泊松过程到达(分钟)。假设该公交线路已运行很久,而你在随机时刻到达车站。你还要等多久才能见到下一辆车?平均而言,上一辆车是多久以前离开的?

查看解答

泊松过程的到达间隔服从指数分布:

分钟

指数分布的关键性质是无记忆性:

无论你已经等了多久,未来的剩余等待时间仍然服从相同的指数分布。因此,下一辆车的期望等待时间为 分钟。

用相同的思路考察过去。从随机时刻往回看,泊松过程的过去与未来对称,也没有记忆性,所以自上一辆车离开以来经过的时间同样服从期望为10分钟的指数分布。答案是 分钟以前。

这看起来违反直觉:相邻两辆车的平均间隔明明只有10分钟,但你到站时,上辆车平均已走10分钟、下辆车平均还需10分钟。原因是随机到站更容易落在较长的发车间隔中。例如,30分钟的间隔比5分钟的间隔更容易被随机时刻选中,这就是长度偏差抽样的作用。原书还指出,对一般更新过程,随机时刻的平均前向剩余时间可写为 。

题目:标准正态分布的矩(Moments of normal distribution)

若 ,求 ,其中 。

查看解答

标准正态分布的均值、方差、偏度和峰度密切联系于前四阶矩。其密度为 。由于密度函数关于0对称,所有奇数阶矩均为0:。方差为1,所以 。四阶矩可由积分分部求得3,但更方便的方法是使用矩母函数(MGF)。

为离散型为连续型

依次求导,有 、,一般地 。对标准正态分布,配方得

因此,

取 ,得到

4.5 期望、方差与协方差(Expected Value, Variance & Covariance)

期望、方差与协方差在估计投资收益和风险时不可或缺,也经常出现在量化面试中。先回顾基础性质。

期望、协方差、相关系数

若期望有限,期望的线性性为

无论各个随机变量是否独立,这个性质都成立。若 独立,则 (只要期望存在)。

协方差(Covariance):

相关系数(Correlation):

若 独立,则协方差和相关系数都为0;反过来,相关系数为0只能说明二者不相关,并不保证独立。

方差的线性组合公式:

条件期望、条件方差与全期望公式

条件期望在离散型变量下写作

连续型变量时,

全期望公式(Law of total expectation):

离散连续

题目:连接面条(Connecting noodles)

碗里有1000根面条,蒙上眼睛后,随机拿起任意两根尚未连接的面条端点,将它们接在一起。每根面条的任一端被选中的机会相同。重复这一过程,直到没有自由端点。求最终形成圆圈的数量的期望。

查看解答

先处理简单情况。只有1根面条时,唯一的连接方式是首尾相连,。有2根面条时,有 种端点配对:其中2种会形成一个新圆圈并留下另一根面条形成另一个圆圈,其余4种会连接成一根更长的面条。因此

有3根面条时,6个自由端点共有 种配对,其中3种直接把某根面条连成圆圈,其余12种把两根面条接成一根长面条。于是

一般地,若有 根面条、 个自由端点,选择某一端点后,另一个端点在 个中等可能。以概率 选中它所在面条的另一端,从而立即形成一个圆圈;否则只接长面条、不增加圆圈数。两种情形都会把未完成面条的数目从 减至 。故

从而1000根面条最终圆圈数的期望为

题目:最优对冲比率(Optimal hedge ratio)

你买入一股股票 ,打算通过做空股票 来对冲。应该做空多少股 ,才能使对冲组合的收益方差最小?已知 、 收益标准差分别为 ,收益相关系数为 。

查看解答

做空 股 时,组合收益为 ,其方差为

对 求导并令导数为0:

二阶导数为 ,因而这是方差最小化的解。

题目:掷骰收益游戏(Dice game)

重复掷一枚公平六面骰子,每次得到相应面值的收益。若某次掷出4、5或6,你可以继续掷;一旦掷出1、2或3,游戏结束。求该游戏的预期总收益。

查看解答

设从任一新一轮开始的期望总收益为 ,本轮骰子面值为 。如果 (概率1/2),本轮平均得到2点,游戏结束;如果 (概率1/2),本轮平均得到5点,之后还可以获得额外的 。应用全期望公式,

题目:第一张A的出现位置(Card game)

一副标准52张扑克牌经过充分洗牌。从牌堆顶端依次翻牌,直到翻出第一张A。所需翻牌张数的期望是多少?

查看解答

共有4张A和48张其他牌。为48张非A牌逐一构造示性变量 :如果第 张普通牌排在全部4张A之前,则 ,否则为0。那么第一张A的翻牌位置可写为

考虑特定一张普通牌与4张A之间的相对位置,这5张牌中任何一张都有相同概率排第一,因此 。利用期望的线性性,

张

更一般地,在 张普通牌和 张特殊牌的随机排列中,第一张特殊牌的预期位置是 。

题目:独立均匀随机变量之和(Sum of random variables)

设 相互独立且都服从区间 上的均匀分布。求

查看解答

从小规模着手。当 时,概率显然是1。当 时,单位正方形内 的区域是面积为 的三角形,故 。当 时,对应区域是单位立方体中的四面体,体积为 。这提示一般结果可能是 。

原书图 4.6
图4.6:当 或 时,事件 对应的阴影区域。

用数学归纳法验证。假设 ,并对 条件化:若给定 ,则剩余 项之和不得超过 。由于均匀分布的尺度性质,满足条件的体积为 。因此

归纳结论为

题目:集齐优惠券(Coupon collection)

早餐麦片盒中随机放有 种不同的优惠券,每种被抽到的概率相同,各次抽取相互独立。

A:若孩子想集齐全部 种优惠券,平均需要购买多少盒麦片?

B:如果孩子已经收集了 张优惠券,平均拥有多少种不同优惠券?

查看解答

A:令 为在已收集 种优惠券后,为获得第 种不同优惠券所需的额外购买次数。已有 种时,下一次抽到“新种类”的概率为 ,因此 服从几何分布,

总购买数 。利用期望线性性:

其中 是第 个调和数。

B:对第 类优惠券定义示性变量 :在抽到的 张中至少出现过一次则为1,否则为0。已收集的不同种类数为 。每次没抽到第 类的概率为 ,所以连续 次都没抽到的概率为 ,因此

由期望的线性性得到

原书脚注的相关问题:把18个球随机投进10个盒子,空盒子的期望数量为 。

题目:联合违约概率(Joint default probability)

假设债券 明年的违约概率为50%,债券 的违约概率为30%。问两只债券中至少一只违约的概率可能落在什么区间?

查看解答

先用极端事件关系理解结果。当每次 违约时 都违约,至少一只违约的概率最小,为50%。若两只债券的违约事件完全不重叠,则至少一只违约的概率最大,为 。所以区间是 。

也可用相关系数推导。令示性变量 分别表示两只债券是否违约,则 、、、。设相关系数为 ,那么

对于上述两类伯努利变量,相关系数的可行范围为 ;代入得到

这里相关系数不能任意取 内的值,因为两个二元事件的边际概率已经限定了可行的联合分布。

4.6 顺序统计量(Order Statistics)

设 的累积分布函数为 ,概率密度为 。对 个相互独立、同分布的随机变量 ,记其最小值和最大值为

利用独立性,可以直接得到二者的分布函数及概率密度:

题目:最大值与最小值的分布及期望(Expected value of max and min)

设 为独立同分布、且都服从 上均匀分布的随机变量。求 与 的累积分布函数、概率密度函数及期望。

查看解答

对 分布,在区间 内有 、。对最大值,

对最小值,

题目:最大值与最小值的相关系数(Correlation of max and min)

令 独立同分布,均服从 。设 、。在给定 时,求 的概率(),并求 与 的相关系数。

查看解答

先求条件概率。给定 ,等价于两点 都落在边长为 的正方形内。要使 ,两点还必须同时大于 ,符合条件的区域是边长 的小正方形。因此

原书图 4.7
图4.7:、 及其最大值与最小值对应的二维区域。

由上题知,当 时,

从边际密度 、,可得

因此

还需计算 。若 ,联合累积分布函数为

对 求混合偏导,可得联合密度 (在三角形 内)。于是

最终,

另一种更简洁的计算 的方法是利用对称性:。因 独立,有 。

这两个顺序统计量具有正相关性:当最小值增大时,最大值往往也会较大;当最小值较小时,最大值的变化范围则更大。

题目:随机爬行的蚂蚁(Random ants)

500只蚂蚁随机放在一根1英尺长的绳子上,位置彼此独立、服从 上的均匀分布。每只蚂蚁独立地随机选择一个方向,以每分钟1英尺的速度沿绳子爬行,到达任一端点就掉下去。蚂蚁的体型可忽略不计;当两只蚂蚁迎面相遇时,立即同时转身并继续以相同速度前进。问全部蚂蚁掉下绳子的期望时间是多少?

查看解答

看似复杂的关键是相遇后的转向。两只蚂蚁迎面相遇后交换方向,与两只蚂蚁在相遇时互换身份并继续直行,从整体位置变化来看完全相同。由于500只蚂蚁的位置随机且身份对最后掉落时间无影响,我们可以假装它们互不碰撞、直接穿过彼此。

因此,对每只蚂蚁而言,若它从位置 向左爬,到掉下去的时间为 分钟;若向右爬,到掉下去的时间为 分钟。由于初始位置在 均匀分布、方向随机,这些掉落时间独立同分布,仍为 。

最后一只蚂蚁掉落所需的时间,等价于500个独立均匀随机变量的最大值。根据本节前面的顺序统计量公式,

分钟

原书印刷页103的结果写作 分钟;按照原书本节给出的最大值期望公式 和题设500只蚂蚁,计算结果为 分钟。此处保留原书数字并明确标出公式核对结果。

掌握状态与复习

关掉资料独立完成后记 A;提示后完成记 B;需要重学记 C。

记录尽量保存在当前浏览器,建议定期导出备份。