《关键迭代：可信赖的线上对照实验》读书分享

[will-ww]

基本信息：

• 书名：《关键迭代：可信赖的线上对照实验》
• 作者：Ron Kohavi
• 出版时间：2020 年
• 和我们的关系：作为一种互联网模式下的用户体验测量方式，能够很好的丰富开源测量学的工具箱和方法论。

评论信息：

• 京东评论：https://item.jd.com/13205216.html
• 豆瓣评论：https://book.douban.com/subject/35434195/
• Amazon 评论：链接

[kongzhongsanbu]

本书基于近些年实验领域的研究成果和实践经验，对实验的方法和应用做了很好的全景式描述，是一本兼顾系统性的方法论和基于实战的经验法则的书籍。根据微软、亚马逊、谷歌和领英每年运行的两万多个对照实验，作者以示例和建议的方式向学生和业内人士分享了自己的实践经验，指出了需要避免的陷阱，并深入探讨了一些进阶专题，可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。本书分为五个部分：

[will-ww]

很好的分享，期待继续~

[kongzhongsanbu]

第一章

下图可以帮助你快速了解“线上对照实验”的概要。

第二章

在开启第二章前，你需要了解的关于假设检验的基础知识。

我们为什么要假设检验

我们在生活中经常会遇到对一个总体数据进行评估的问题，但我们又不能直接统计全部数据，这时就需要从总体中抽出一部分样本，用样本来估计总体情况。
举一个简单的例子：

学而思网校App进行了改版迭代，现在有以下两个版本

版本1:首页为一屏课程列表 ； 版本2：首页为信息流

如果我们想区分两个版本，哪个版本用户更喜欢，转化率会更高。我们就需要对总体（全部用户）进行评估，但是 并不是全部存量用户都会访问App，并且每天还会新增很多用户，所以我们无法对总体（全部用户）进行评估，我们只能从总体的用户中随机抽取样本（访问App）的用户进行分析，用样本数据表现情况来充当总体数据表现情况，以此来评估哪个版本转化率更高。

假设检验定义

假设检验是先对总体参数提出一个假设值，然后利用样本信息判断这一假设是否成立

假设检验的假设

由定义可知，我们需要对结果进行假设，然后拿样本数据去验证这个假设。

所以做假设检验时会设置两个假设：

一种叫原假设，也叫零假设，用H0表示。原假设一般是统计者想要拒绝的假设。原假设的设置一般为：等于=、大于等于>=、小于等于<=。

另外一种叫备择假设，用H1表示。备则假设是统计者想要接受的假设。备择假设的设置一般为：不等于、大于>、小于<。

例子在进行假设检验时，我们希望接受版本2的假设，想拒绝接受版本1的假设。所以我们的假设设置为：H0 ：μ版本1 >= μ版本2 ，H1 : μ版本1 < μ版本2。

为什么统计者想要拒绝的假设放在原假设呢？因为原假设备被拒绝如果出错的话，只能犯第I类错误，而犯第I类错误的概率已经被规定的显著性水平所控制。有点看不懂哈？没关系我们讲一下假设检验中的两种错误和显著性水平就清楚了。

弃真错误、取伪错误

我们通过样本数据来判断总体参数的假设是否成立，但样本时随机的，因而有可能出现小概率的错误。这种错误分两种，一种是弃真错误，另一种是取伪错误。

弃真错误也叫第I类错误或α错误：它是指 原假设实际上是真的，但通过样本估计总体后，拒绝了原假设。明显这是错误的，我们拒绝了真实的原假设，所以叫弃真错误，这个错误的概率我们记为α。这个值也是显著性水平，在假设检验之前我们会规定这个概率的大小。

取伪错误也叫第II类错误或β错误：它是指 原假设实际上假的，但通过样本估计总体后，接受了原假设。明显者是错误的，我们接受的原假设实际上是假的，所以叫取伪错误，这个错误的概率我们记为β。

现在清楚原假设一般都是想要拒绝的假设了么？因为原假设备被拒绝，如果出错的话，只能犯弃真错误，而犯弃真错误的概率已经被规定的显著性水平所控制了。这样对统计者来说更容易控制，将错误影响降到最小。

显著性水平

显著性水平是指当原假设实际上正确时，检验统计量落在拒绝域的概率，简单理解就是犯弃真错误的概率。这个值是我们做假设检验之前统计者根据业务情况定好的。
显著性水平α越小，犯第I类错误的概率自然越小，一般取值：0.01、0.05、0.1等

检验方式

检验方式分为两种：双侧检验和单侧检验。单侧检验又分为两种：左侧检验和右侧检验。

双侧检验：备择假设没有特定的方向性，形式为“≠”这种检验假设称为双侧检验

单侧检验：备择假设带有特定的方向性 形式为">""<"的假设检验，称为单侧检验 "<"称为左侧检验 ">"称为右侧检验

检验统计量

定义：据以对原假设和备择假设作出决策的某个样本统计量，称为检验统计量。

拒绝域

定义：拒绝域是由显著性水平围成的区域

拒绝域的功能主要用来判断假设检验是否拒绝原假设的。如果样本观测计算出来的检验统计量的具体数值落在拒绝域内，就拒绝原假设，否则不拒绝原假设。给定显著性水平α后，查表就可以得到具体临界值，将检验统计量与临界值进行比较，判断是否拒绝原假设。
双侧检验拒绝域：

左侧检验拒绝域：

右侧检验拒绝域：

假设检验步骤

提出原假设与备择假设
从所研究总体中出抽取一个随机样本
构造检验统计量
根据显著性水平确定拒绝域临界值
计算检验统计量与临界值进行比较

下图描述了解第二章的内容脉络：

[kongzhongsanbu]

在开始第三章前，我们先了解一下特维曼定律，这也许是整个数据分析中最重要的一条定律。特维曼定律是说：任何看起来有趣的或与众不同的数字通常都是错误的。
一般情况下，当看到令人惊讶的正面结果时，我们倾向于围绕他构思一个故事，分享并庆祝；当结果出人意料是负面的时候，倾向于找出研究的局限性或较小的缺陷，并将其忽视。经验告诉我们，许多极端的结果更有可能是各种错误导致的，因此我们需要增加实验的可信赖度。

对于机构而言，又是很难投资可信赖的实验，因为涉及对未知进行投资，即建立起可能会失败然后导致结果无效的实验。优秀的数据科学家应保持怀疑的心态，研究异常的现象，对结果提出质疑，并在结果看起来过于出色的时候援引特维曼定律。

[kongzhongsanbu]

第四章首先介绍实验成熟度模型，该模型展示了一个机构开始运行实验时通常经历的各个阶段，然后深人研究搭建实验平台的技术细节。
重要的机构层面的考虑因素包括领导层、流程、培训、工作是在内部完成还是外包以及最终如何使用实验结果。技术类工具将支持实验设计、部署、扩展和分析。
这里着重介绍实验成熟度模型和领导层面的因素，对于平台搭建和技术实现不做展开。

实验成熟度模型：

爬行：此阶段的目标是建立基本的先决条件，主要是日志记录和基本的数据科学功能，以便设计、运行和分析一些实验。
步行：此阶段的目标是从解决先决条件和运行一些实验到着重于制定标准指标并运行更多实验。此阶段可以通过验证日志记录，运行AA测试以及测试样本比率不匹配(SRM, Sample Ratio Mismatch)来提高可信赖程度。
跑步：此阶段的目标是转变为规模化实验。指标将是全面的，并且此时的目标是统一指标或制定一个综合评估标准以获得多个指标之间的权衡标准。处于此阶段的机构通过实验来评估大多数的新功能和改动。
飞行：此阶段的机构将A/B实验作为每次改动的标准。重点转移到支持这一规模的自动化，以及建立机构的经验传承。粗略的经验法则是，爬行阶段的机构每月大约运行一个实验，之后每个阶段的实验次数是4-5倍，步行阶段每周大约运行一个实验，跑步阶段每天一个实验，飞行阶段每年数千个实验。

领导

领导层的支持对于建立牢固的围绕实验的文化并将A／B测试嵌人到产品开发过程至关重要。
运行任何实验之前的第1阶段是自大的，对最高薪酬者的意见(Highest Paid Person’s Opinion, HiPPO) 充满信心。
机构需改变认知从强烈依赖HiPPO的模式，通过持续的测量，实验和知识积累，机构才能达成基本的认知，此时原因才能真正被理解，模型才真正起作用。为了达到最后一个阶段，不同级别的高管和经理的支持是必不可少的，这包括：

• 就高阶目标指标和护栏指标达成共识，参与制定权衡方案以最终建立OEC。
• 根据指标的改善来设定目标，而不是根据功能X和Y的交付。当从“在不损害关键指标的情况下交付功能“转变为“除非它改进了关键指标否则不交付功能“时，团队就有了根本转变。向数据启示的文化转变时，用实验作为护栏是一项艰巨的文化变革，尤其是对于大型的成熟团队而言。
• 要预设很多想法的失败，并在这些想法无法移动旨在改进的指标时表现的谦逊，建立快速失败的文化。
• 期望正确的工具化日志记录和高质量的数据。
• 审核实验结果，知道如何解释它们，执行诠释标准，尽可能减少对p值的操纵，并透明化这些结果如何影响决策。
• 通过较短的发布周期提高敏捷性，以创建健康且快速的实验反馈回路，并要求设立灵敏的代理指标。

领导者不能仅仅为机构提供实验平台和工具，他们必须为机构提供正确的激励机制、流程和授权，使其能够做出数据驱动的决策。领导层的参与对于爬行和步行阶段的机构尤其重要，他们可以使机构的目标保持一致。

[kongzhongsanbu]

第二部分 基础原理

• 速度很重要：一个全程案例剖析
  案例通过认真细致的实验设计和分析建立起延迟和网站速度的重要性，并将其作为用户参与度和营收的灵敏的代理指标。这也是一个结果很可能会普适于不同网站和领域的优良案例。
• 机构指标
  接下来，由于指标对于每个公司的基于数据启示的决策都有极其重要的作用，给管理者介绍了机构指标。无论是否运行实验，他们都需要理解、讨论和在机构内建立这些指标。文中讨论了对这些指标的需求，以及如何建立、验证和迭代它们。
• 实验指标和综合评估标准
  当一个机构开始进行线上实验时，领导者尤其需要讨论—并且最好能同意—实验指标和综合评估标准（OEC）。OEC是达到实验所需特定标准的一个或多个机构指标的组合。这个组合用于反映这些指标之间的取舍关系，从而简化了线上对照实验和规模化创新。
• 机构的经验传承合同和分析
  作为一个将大规模线上实验发展到跑步和飞行阶段的机构，建立起机构的经验传承和统合分析变得更为重要。机构的经验传承可以抓取过去的实验和变化并驱动创新，来帮助鼓励一种数据支撑的决策文化，以及促进持续的学习。
• 对照试验中的伦理
  最后，线上对照实验是在真实用户身上运行的，所以对照实验中的伦理和最终用户注意事项是非常重要的。

以上是对第二部分主要内容的梳理，接下来详细介绍核心部分：机构指标、实验指标和综合评估标准以及机构的经验传承合同和分析。

机构指标

在一个数据驱动的机构里，指标和与其相关的数据分析可以运用在各个层面上，从最高目标的设定到逐级下行的团队问责制皆可适用。关于一个机构或团队该用什么指标的讨论，对统一目标来说是有用的,继而可以在执行目标的过程中提供透明度和问责制。

实验指标和综合评估标准

机构的经验传承合同和分析

什么是机构的经验传承？
在完全接受对照实验成为创新过程的默认步骤后，就可以有效地保留一份电子日志，这个日志记录了所有实验测试过的产品改动，包括它们的描述、页面设计的截屏以及主要结果。这样的电子日志就是机构的经验传承。本节描述了如何通过统合分析利用机构的经验传承，以及从过去的实验中挖掘数据。

[kongzhongsanbu]

第三部分将介绍与线上对照实验相辅相成的方法。这部分内容对于可能会应用这些方法的数据科学家和其他工作者格外有用，也能帮助领导者了解如何在不同领域分配资源以及通过实验做数据启示的决策。
我们首先介绍补充技法，概述与线上对照实验结合使用的几种方法，包括：用户体验调研、问卷调查、焦点小组和人工评估。这些方法可以在投人资源进行线上对照实验之前用于在创意漏斗中生成和评估创意，还可以用于生成及验证在机构中广泛使用的指标或者线上对照实验中的代理指标。

以上讨论的方法之间的差异体现在两个坐标轴上:规模（即用户的数量）与单个用户的信息深度