如果你不知道读什么书，

就关注这个微信号。

公众号名称：幸福的味道

公众号ID：d716-716

小编：行行：微信号和QQ：2338856113

为了方便书友朋友找书和看书，小编自己做了一个电子书 下载网站，网站名称：周读 网址：www.ireadweek.com 小编也和结交一些喜欢读书的朋友

“幸福的味道”已提供120个不同类型的书单

1、 25岁前一定要读的25本书

2、 20世纪最优秀的100部中文小说

3、 10部豆瓣高评分的温情治愈系小说

4、 有生之年，你一定要看的25部外国纯文学名著

5、 有生之年，你一定要看的20部中国现当代名著

6、 美国亚马逊编辑推荐的一生必读书单100本

7、 30个领域30本不容错过的入门书

8、 这20本书，是各领域的巅峰之作

9、 这7本书，教你如何高效读书

10、 80万书虫力荐的“给五星都不够”的30本书

……

关注“幸福的味道”微信公众号，即可查看对应书单

如果你不知道读什么书，就关注这个微信号。

看穿一切数字的统计学

[日]西内启 著

朱悦玮 译

本书由“行行”整理，如果你不知道读什么书或者想获得更多免费电子书请加小编微信或QQ：2338856113 小编也和结交一些喜欢读书的朋友 或者关注小编个人微信公众号名称：幸福的味道 id：d716-716 为了方便书友朋友找书和看书，小编自己做了一个电子书下载网站，网站的名称为：周读 网址：http://www.ireadweek.com

图书在版编目（CIP）数据

看穿一切数字的统计学 / （日）西内启著；朱悦玮译. —北京：中信出版社，2013.10

书名原文：統計学が最強の学問である

ISBN 978–7–5086–4206–2

I.①看… II.①西… ②朱… III. ①经济统计学－通俗读物 IV. ①F222–49

中国版本图书馆CIP数据核字（2013）第208766号

TOKEIGAKU GA SAIKYO NO GAKUMON DE ARU

Copyright © 2013 Hiromu Nishiuchi

Simplified Chinese translation copyright ©2013 by CHINA CITIC PRESS.

All rights reserved.

Original Japanese language edition published by Diamond, Inc.

Simplified Chinese translation rights arranged with Diamond, Inc.

through Beijing GW Culture Communications Co., Ltd.

本书仅限中国大陆地区发行销售

看穿一切数字的统计学

著 者：［日］西内启

译 者：朱悦玮

策划推广：中信出版社（China CITIC Press）

出版发行：中信出版集团股份有限公司

（北京市朝阳区惠新东街甲4号富盛大厦2座 邮编100029）

（CITIC Publishing Group）

电子书排版：张明霞 版式设计：赵世明

中信出版社官网：http://www.publish.citic.com/

官方微博：http://weibo.com/citicpub

更多好书，尽在中信飞书 App：http://m.feishu8.com（中信电子书直销平台）

目录

第一章 为什么统计学是最牛的学问？

01 没有统计学思维的人将会吃大亏的时代

02 统计学是能够得出最好、最快答案的正确方法

03 所有的学问都从统计学开始

04 大数据时代，统计学火了

第二章 大幅减少信息成本的抽样调查

05 统计学家的大数据“狂想曲”

06 准确度令人震惊的抽样调查

07 为了1%的准确率值得花费几千万吗？

第三章 统计学的关键：误差与因果关系

08 抛弃传统的统计方法吧！

09 单纯收集数据会得出“禁食米饭”的荒谬结论

10 改变投放广告单的方式就能赚取60亿日元

11 真的增加了一亿销售额，还是只是误差？

12 值得分析的数据都是与利益明显相关的

13 统计学中的重大问题：“因果关系的方向”

第四章 最强的统计学武器：随机对照试验

14 先放牛奶还是先放红茶？

15 随机对照试验：商业竞争中的有力武器

16 “一次购买两台缝纫机可以打9折”能够增加销量吗？

17 随机化面对的现实、伦理和感情之壁

第五章 无法进行随机对照试验时该怎么办？

18 低成本、快速搜集数据的流行病学方法

19 “回归平凡”的回归分析

20 所有领域都可以应用的回归分析法

21 快速加深对统计学的理解的一张图表

22 现代统计学的主角：多元回归分析

23 统计学家最拿手的统计法

第六章 应对一切问题的统计学思考方法

24 统计学家们的残酷战争

25 发明“IQ”的心理统计学

26 诞生于市场调查现场的数据挖掘

27 分析语言的文本挖掘：莎士比亚真的存在吗？

28 “演绎”的计量经济学与“归纳”的统计学

29 贝叶斯派与频率派之间的对立

第七章 帮你站在巨人肩膀上的统计学

30 用统计学寻找“最佳答案”

31 寻找实证来结束争论

后记

第一章

为什么统计学是最牛的学问？

01 没有统计学思维的人将会吃大亏的时代

赫伯特·乔治·威尔斯关于统计学的预言

“1903年，赫伯特·乔治·威尔斯曾经预言，在未来社会，统计学思维将像阅读能力一样成为社会人必不可少的能力。”哈佛大学医学院的统计学教材的开篇写着这样一句话。

赫伯特·乔治·威尔斯是被称为“科幻小说之父”的作家和思想家。在威尔斯的著作中首次出现了时间机器和透明人等科幻概念，他凭借自己丰富的科学知识与预见性，准确地预言了核武器与联合国乃至现在被我们称为维基百科的百科事典的出现。

在现代统计学还处于黎明期的1903年，威尔斯为何做出这样的预言，我们无从得知。但是在接近100年后的今天，统计学的思考方法对我们来说毫无疑问已经成为与阅读能力同样重要的能力。就好像一个没有阅读能力的人在现代社会寸步难行，没有统计学思维的人同样难以在现代社会生存。

没有阅读能力就无法理解合同和法律中的内容，没有统计学思维就无法了解概率和数据。这两者缺一不可，否则就会陷入毫无防备的状态，成为那些合法诈骗的受害者，而你自己又无法抱怨。

让抽签必胜的统计学思维

举一个我身边的例子，在上大学的时候，我经常与研究室的朋友抽签决定谁去便利店买东西。

抽签有很多种方法，那天我们选择的方法是由4名参与者画出8条竖线，然后我在其他人都看不见的情况下，从左边数起，在第4条竖线下面画了一颗星星，剩下的3人则在我看不见的情况下，每人画4条横线。参加者猜拳决定顺序，从1~8条竖线中选择一条，一轮结束后顺序调转过来继续。选中星星符号的人要替其他人去便利店买东西（图1–1）。

图1–1

要是全凭直觉来玩这个游戏，那么你获胜的概率一定很低。

我们尝试按照这个规则重复1 000次，将每条竖线选中星星的次数进行模拟试验，结果如图1–2所示。

选中星星概率最高的是正上方的4，在1 000次的试验中选中了210次，也就是说有21.0%的概率。紧接着，就是右边的19.4%概率。最右边的概率最低，只有3.3%。

实际上，在类似这样的抽签游戏中，或许是出于人类的心理倾向，最先选择两端竖线的人少之又少。

也就是说，看上去好像是每人1/4，也就是25%概率的公平比赛，但实际上一直选择两端的我可能去便利店的概率只有11.4%［=（81+33）/1 000］。凭直觉选择靠近中心竖线的朋友，则有40.4%［=（210+194）/1000］的概率选中。对于抽签的结果，他们每次都会带着“最近运气真差”的感觉去便利店买东西。

图1–2

另外，似乎有的地方政府在对公共工程进行招标时的最后选择是“相同条件的情况下采用抽签方式作决定”，也许有的公司就利用概率知识提高了公司的中标率。

掌握统计学的人就能够掌握世界

当然，画横线的过程就像模拟试验一样是完全随机的，所以不管概率有多低，我也不能完全规避。但是，只要掌握一定程度的统计学，就能够在这种不确定的情况下稍微耍一点手段，抢得先机。

比如，我为一家零售企业作数据分析，我将他们之前漫无目的投放直接邮寄广告（DM）的目标群体，分成了“应该发送的客户”和“不应该发送的客户”，经过优化选择后他们的销售额增加了6%。因为他们之前的销售额是1 000亿日元，增加的6%也就是60亿日元。

我并没有增加DM的投放量，所以没有增加成本，只是通过分析找出发送DM后“能够增加销售额的顾客”和“不会增加销售额的顾客”，就好像在抽签中所使用的手段一样，使销售额提高6%的“手段”也是存在的。

假如你和你的公司没有使用这种手段，而竞争对手的公司却使用了，那就会抢走你的顾客与利益。

对于生存在21世纪的我们来说，统计学已经是必不可少的技能，同时对于很多人来说也是最强的武器。在商业领域应用统计学解决问题被称为商务智能，其中的智能指的就是经常出现在谍战电影中的中央情报局（CIA）的“I”。而且，从中国古代的《孙子兵法》开始，就一直强调战争中情报的重要性。

掌握情报的人就能够掌握世界，这句话放在现代社会，就应该是“掌握统计学的人，就能够掌握世界”。

02 统计学是能够得出最好、最快答案的正确方法

统计学成为最强武器的原因

为什么统计学会成为最强的武器呢？

用一句话来回答，那就是不管在什么领域，收集数据进行分析都是得出最好、最快答案的方法。

如果你在一家零售企业工作，总裁打算召开全体会议研究如何增加销量，那么这究竟会是怎样一种情况呢？

首先，先对增加销量提出方案，然后那些老资历的员工就会主观地提出“我感觉……”或者“根据我常年的经验……”之类的建议。

我可以断言，如果你的公司拥有足够多的数据，但是却不对数据进行分析，而只是根据直觉和经验来进行讨论的话，那完全是在浪费时间。不仅如此，还会白白地浪费会议参加者的人工费。日本有很多公司，对于那些时薪为800日元的年轻人非常苛刻，经常呵斥他们偷懒，但是却对那些时薪高于他们几倍甚至几十倍的老员工在会议上浪费时间的情况毫不在意。

单凭感觉做出的决定导致犯错误的情况，会给经营者、员工以及客户造成困扰，但是在这个世界上有些情况是绝对不允许出现错误的，比如说人命相关的情况。

如果你的一个错误选择会导致10万人失去性命的话，你究竟应该以什么为依据做出判断呢？在这种时候，你还会依靠领导的直觉和经验来做出决定吗？

或者说，像日本首相或者日本厚生劳动大臣这些手握重权的人，如果由他来决定包括你和你的家人在内的10万人的性命，他若是只凭借毫无根据的个人意见来进行决定的话，你会是什么感觉呢？

一个错误的判断就会导致10万人失去生命，这种状况像是科幻电影中出现的场面。但是在医疗领域，特别是我从事的“公共卫生”以及“社会医学”、“保健行政”等领域，这类情况却时有发生。

日本每年有35万人死亡，其中约19万人死于心脏病，约3万人死于自杀。但是，如果能够采取适当的预防和治疗措施，就可以拯救其中几万人的性命。

为了在面对像这样关系到大量人命的问题时不会做出错误的选择，在19世纪的伦敦，人类历史上第一次利用统计学的力量与夺走数以万计人类性命的原因展开了战斗。

为了遏止原因不明的流行病而诞生的学问叫作“流行病学”，世界上最早的流行病学研究开始于19世纪的伦敦，针对的是一种叫作霍乱的流行病。在流行病学之中，统计学也发挥了巨大的作用。

当时霍乱在英国本土爆发了4次，据说总共夺走了十几万人的性命。尽管当时的科学技术没有现代这么先进，但是当时的伦敦也聚集了大量接受过高等教育的科学家和医生，还有优秀的政府官员。虽然他们都是非常聪明且能力很强的人，面对霍乱的流行却一筹莫展。甚至可以说，他们的一些决定对当时的局面是有害无利的。

比如，有的医生提议用他调制的特别除臭剂来阻止霍乱的流行。

当时的伦敦正处于工业革命的高潮期，在这一时期，依靠农业无法养家糊口的人全都挤进城市，进入工厂变成劳动者。城市的建设跟不上急剧增加的人口数量，于是城市中充满了狭窄而肮脏的房屋，房屋中又挤满了蜂拥而入的人群，因为没有完善的排水系统，垃圾与排泄物充斥着庭院、地下室以及街头巷尾。这些恶臭当然使人难以忍受，或许这位提议用除臭剂的医生是认为，既然死于霍乱的人大多是那些居住在“恶臭之地”的散发着恶臭的劳动者们，那么只要消除这些恶臭就能够控制霍乱的肆虐。

但是，有更加果敢的官员认为应该把“脏东西”彻底清除。这位官员组织清扫城中的垃圾，疏通排水管道，让污物流入河中。这位官员采取行动的时间正是霍乱第一次和第二次大爆发的期间，但是第二次霍乱的大爆发（约死亡7万人）却比最初爆发时（约死亡2万人）导致了更高的死亡率。

总之，看上去充满知识和见识的他们，绞尽脑汁想出的办法，消耗大量时间和劳力进行的工作，都白白浪费了，甚至还造成了更糟糕的结果。

简单的方法就能拯救10万人的生命

那么，他们究竟应该怎么做呢？被称为“流行病学之父”的外科医生约翰·斯诺所做的事情相当简单。

访问有家人因霍乱去世的家庭，询问具体情况并且仔细观察周围环境。

对比在同样状况下，感染霍乱的人和没感染霍乱的人的区别。

做出假设后收集大量数据，针对霍乱发病与不发病之间的区别，对假设是否准确进行验证。

约翰·斯诺将自己的调查结果制作成一个详细的报告书，其中最能够显示出霍乱预防方法的内容如表1–1所示。

表1–1 斯诺的报告

家庭数

因霍乱死亡人数

每1万户死亡人数

使用供水公司A

40 046

1 263

315

使用供水公司B

26 107

98

37

出处：约翰·斯诺《霍乱的传染模式》

当时在伦敦有许多家供水公司，即便同一个地区的邻居也可能选择不同的公司。表1–1中斯诺所进行的分析，是在同样贫穷肮脏的地区之中，使用不同供水公司的家庭数以及因霍乱死亡的人数。

在调查中，使用供水公司A的家庭有1 263人死于霍乱，而使用供水公司B的家庭则只有98人死于霍乱。当然，单纯地比较死者数字是不公平的，所以必须通过“家庭数量”来进行调整。如果家庭数量多的话，出现霍乱感染者的概率也会增加。

于是，斯诺将家庭数量限制在1万户，然后再对两者的霍乱死亡人数进行比较。但即便如此，使用供水公司A的家庭死亡率仍然是使用供水公司B家庭的8.5倍。

当时伦敦社会还没有专门选择供水公司的习惯，而在同一个地区一户人家的房屋面积以及居住于其中的人数是基本相同的。所以，在同样的条件下，只是因为所使用的供水公司不同，就会有高出8.5倍的死亡风险，这究竟是因为什么呢？

斯诺提出的解决霍乱爆发的方法非常简单。

“停止使用供水公司A的水！”

在斯诺发表这一研究结果之后的30年，德国的微生物学家罗伯特·科霍才发现霍乱的病原体“霍乱弧菌”，并且证明了霍乱弧菌能够存活于水中，霍乱患者的排泄物中也含有此种细菌，而饮用了含有霍乱弧菌的水就会感染霍乱。

实际上，供水公司A和供水公司B的区别就在于，前者在流经伦敦中心的泰晤士河下游取水，而后者从泰晤士河上游取水。而当时的泰晤士河，正因为前面提到过的那位“果敢官员”的努力，充满了大量的霍乱患者的排泄物。也就是说，那位官员在无意间创造了一个非常高效的“扩大再生产”霍乱患者的社会系统。

虽然科霍的发现具有很高的科学价值，但是即便知道病原体究竟是什么，以及霍乱的发病原因，但是要想阻止霍乱的流行，还是需要改变饮用水的水源。

遗憾的是，斯诺的主张因为“缺乏科学依据”或者“没有足够的证据”而没有被学会和政府所采纳，可是听从他的建议放弃使用被霍乱污染水源的城镇却成功地防止了霍乱的继续传播。

正如霍乱的故事所表明的那样，一群优秀的聪明人聚集在一起，不一定能够提出简单而强力的解决方法，甚至还有可能互相制约。而且他们提出的方法，虽然乍看上去很有道理，但实际上却经常是无益甚至有害的。

流行病学研究延长了人类的寿命

斯诺提出的“流行病学”的概率思考方式，逐渐成为整个医学领域不可缺少的知识。吸烟导致患胃癌的风险上升、高血压导致患心脏病和脑溢血的风险上升等情况，对于现在的我们来说已经是理所当然的常识。但50年前，在美国一个叫作弗明汉的小村庄中进行的大规模流行病学研究结果公布之前，这还不是人人皆知的常识。在此之前，医生和科学家对吸烟是否有害健康，以及高血压是否对身体不好一直众说纷纭。

但是，正因为“要想减少癌症的发病率就降低吸烟率”以及“要想减少心脏病的发病率就降低血压”这些流行病学研究的简单结论，使得我们的医学研究与健康政策方针都发生了改变，而我们的寿命相比50年前也有了实质性的延长。

如果这一判断到现在还被认为只是基于讨论的错误判断的话，那么究竟会有多少人因此而失去性命。由此可见，统计学所发挥的作用实在是难以估量。

03 所有的学问都从统计学开始

统计学的“实证”方法改变了医学界

“流行病学”这种基于数据和统计分析做出最佳判断的思考方法，在被斯诺发现之后100年的今天，已经成为医学领域不可缺少的东西。

现代医疗最重要的手段叫作EBM（Evidence–Based Medicine），翻译过来就是“基于实证的医疗”，也叫“循证医学”。而在上述的实证之中最重要的一环，就是通过科学的方法所得出的统计数据和分析结果。

斯诺的流行病学仅仅根据基本的数据采集就揭晓了霍乱产生的原因，但是随着现代统计学的进步，流行病学的方法论也逐渐变得更加完善，因此可以做出更加准确的判断。

人类的身体充满了不确定性，如果对数据进行分析就会发现很多问题。在生理学理论上完全正确的治疗方法有可能对某些人群完全没有疗效，著名医院的那些权威医师到目前为止一直使用的治疗方法，实际上是完全错误的。

因此，不能仅凭医师的经验和直觉，而应该重视数据以及分析结果，也就是基于实证做出最合适的判断，这已经成为现代医学主流的思考方法。

EBM的思考方法从20世纪80~90年代才逐渐扩展到全世界，而对于目前活跃在医疗第一线的医师们来说，大多都“在学生时代基本没有学过这个知识”。

对医师进行统计学教育似乎在美国也是一个非常严峻的问题，美国医师协会甚至在他们发行的学术杂志上发表了一篇文章称“对医学生进行的基础统计学测试结果令人非常遗憾”。要将EBM彻底拓展到医学第一线，想必还有很长的路要走。

但是即便困难重重，统计学的实证方法在医学中所处的重要地位还是没有变的。比如说一家制药公司要开发新药品的时候，首先，需要用缜密地计划出来的研究方法对采集来的数据进行适当的统计分析。其次，还必须将分析结果提交给厚生劳动省，如果没有做到这些，新药品就无法得到批准，也无法适用于医疗保险。当这款药品上市之后，制药公司如果希望自己的商品能够得到更好的销量，那就必须投入巨额的研究费用进行临床试验，并且凭借研究的结果将药品推销给医师们。

正如我在上一节中说过的那样，实证方法可以略过讨论直接得出最佳答案。当然，所依据数据的提取方法和分析方法，对最终结论的准确性会有一定的影响。但是即便如此，要想反驳实证，仅凭理论和个人经验是远远不够的，只能针对统计学数据和方法的局限性来进行反驳，或者另外建立一个新的实证数据模型来进行对抗。

活用在教育中的实证方法

现在大家多少对实证方法的优势有了一些了解，实际上实证方法并不只局限于应用在医学领域。

比如说，近年来在美国教育界也非常积极地提倡实证方法的重要性，并且开始对基于实证研究的教育方法进行评价。

其中最具代表性的当属从小布什执政时期提出的《不让一个孩子掉队法》开始的WWC工程。

在《不让一个孩子掉队法》中类似“针对处于不利状况的学生的教育服务计划，必须根据科学的研究结果进行考虑”和“只有具备科学研究依据的预防年轻人采取暴力行为和吸毒的政策，才会得到财政预算”这样带有同“基于实证研究”相似的说法的的表述总共出现了100次以上。

为了对基于实证研究的教育程序进行计划和评价，WWC工程将到目前为止所有与教育相关的实证研究全部收集到一起，并且进行了系统整理。研究的结果被公布在互联网上，阐明“什么样的教育方法是科学的”，希望借此提高全美国的教育质量。虽然《不让一个孩子掉队法》这个政策本身褒贬不一，但是将科学的研究方法引入教育领域这件事情，本身却是一件非常了不起的功绩。

不可思议的是，一旦提到教育相关的问题，就算是对教育一无所知的人也会提出自己的意见和看法。任何一个居住在先进国家的正常人，基本上都接受过某种形式的学校教育，孩子们一出生也要接受教育。

因此，这些人出于“我接受过教育”或者“我教育过孩子”的个人经验，对教育的优劣做出判断，并且提出自己的意见。还有些人，只是因为在上大学时就当上了律师，或者所有的孩子都进了东京大学，就将其个人经验奉为真理、深信不疑。

究竟什么样的教育方法才是最好的，对于这个问题的回答也与医疗问题一样属于充满不确定性的领域，因为受教育者的特性和能力以及周围的环境都会对最终的结果产生重要影响。当自己生病的时候，想必没有人会马上去找百岁老人询问长寿的秘诀吧？可是，那些为孩子成绩烦恼的家长，却争先恐后地购买将所有孩子都送进东京大学的老年人所写的个人经验，会出现这种现象难道大家不觉得很莫名其妙吗？

比如下面这些情况：

让教师根据学生的成绩进行竞争，教师奖金的发放也与成绩挂钩。

孩子在念小学之前就接受精英教育，一定会培养出天才少年。

在数学教育中，更多地使用计算机就可以进一步提高教学效率。

不管是教育学者还是教育家，甚至普通的老百姓都纷纷提倡这些建议。但实际上，要想知道这些建议是否真的正确，最终还是要靠数据和统计学的力量进行判断。

顺便说一下，对于“教师奖金的发放与成绩挂钩”这一建议，2006~2009年在美国纳什维尔的许多公立学校中，有人以2.4万名学生以及3 000名教师为对象进行了数据采集。结果显示“在统计学上看不出有任何的改善，甚至有不好的影响”。

关于早期精英教育，有人在美国纳什维尔的公立学校中选择了4 700名3~4岁的孩子对其进行读写和算数的早期教育，结果显示在3~4岁这个年龄段的孩子读写与算数的成绩确实高于同年龄段的其他孩子，但是到小学1年级进行的追踪调查却发现两者之间的成绩差已经消失。

使用计算机进行教育，是上述3个建议中唯一有希望的，与接受传统教育方法的学生相比，使用计算机学习的学生的数学成绩有明显提高，这一点在统计学上也已经得到了明确的证实，有一个被称为“我可以学习”的项目就是最好的例子。

当然，美国人研究的结果是否放之四海而皆准还需要进一步讨论，但是能够对假设的教育方法进行是否行之有效的判断，正是统计学的作用所在。

任何领域都需要统计学思维方法

不只在教育学方面，从心理学方面、社会学方面、自然科学方面来说，只要是需要对假设进行验证的时候，都需要利用统计学的知识选取适当数据且进行分析。

有一部叫作《点球成金》的电影，里面展示了如何运用被称为“SABER metrics”的棒球记录统计学思维方法，使一个平民球队在大联盟中取得季后赛胜利的故事。除了棒球之外的其他各项体育运动，也纷纷开始了对数据进行分析并以此取得胜利的尝试。

另外，在经济学中，多年以来都是以几个假设条件（假设人类采取理性的行动、假设交易成本为零）为基础通过理论思考数据模型，但是在利用电子设备收集整理过去几百年间各国的经济相关数据（性别、年龄、人口、国民收入、储蓄额、物价等）之后，我们终于可以通过统计学的分析来对诸如“如何对是否出现经济增长进行说明”这样的问题给出明确回答。

经济增长中最重要的一点当属“技术的进步”，而技术的进步则要依靠教育水平和技术开发，是否能够将经济增长的成果适当地分配给开发者，则基于“社会制度”（比如说一些优惠政策）。相反，天然资源的有无则与经济增长的关系并不密切。这一点，是在进行数据整理和统计学分析之后，才初次被世人所了解的事实。

当然，经营管理、市场营销、改革创新等营销领域的内容也不例外。

“好的领导力和坏的领导力区别在哪里？”

“怎样才能够划分出最有潜力的市场区域？”

“如何激励研究人员才能够使技术开发更有效率？”

面对这些问题，很多领导和经济学家都会提出各自的见解，但就像教育学的例子一样，只有统计学才能够给出“针对现状最佳的答案”。

不管人们希望也好，不希望也罢，几乎任何领域相关学者都必须学习使用统计学的时代已经来临了，只要拥有统计学思维，即便在自己的人生中遭遇超出自身经验和直觉的问题，也能够轻松化解。

拥有了统计学思维，你甚至有可能直接得出世界顶尖学者经过多年研究才能取得的结论。是否拥有这种能力，一定会对大家的人生产生非常重大的影响。

04 大数据时代，统计学火了

为什么统计学现在这么火？

为什么直到现在，统计学才在各个领域得到重视呢？

通过数据之间的关联性、利用因果关系进行推论的现代统计学的基本思考方法，早在20世纪初期就已经确立，主要的统计分析方法则在20世纪60年代全部出现。如今，距离被称为现代统计学之父的罗纳德·艾尔默·费希尔去世已经过了半个世纪。如果统计学真的如前文所说具有如此强大的力量，那为什么在之前的社会中没有被大规模应用呢？实际上这个问题并不在于统计学本身，而是在于能够活用统计学的外部环境发生了变化。

为了使大家能够更好地理解这一变化，让我对第二节中提到过的将弗明汉居民全部卷入其中的大规模流行病学研究作进一步的详细介绍。

这项流行病学研究一般被称为弗明汉研究，是在第二次世界大战结束之后不久的1948年，为了查明当时持续增加的心脏病患者的病因而成立的调查。科霍的研究证明了包括霍乱细菌在内的各种细菌是造成传染病的原因，由此产生了利用疫苗和抗生素来进行治疗的方法。但是，在因为细菌感染而死亡的人数减少之后，与细菌没有关系的病症，比如心脏病和癌症以及脑中风等疾病却成了以美国为首的发达国家中死亡率最高的疾病，这也成为当时医学界的一大难题。

在这样的背景下，以施行新政而闻名的富兰克林·罗斯福总统对此非常重视（顺便说一句，罗斯福总统本人也是死于心脏病），并且由此展开了可以称为人类史上第一次的大规模流行病学研究项目。不管是心脏病还是霍乱，只要是不明原因的病症，要想查明其发病原因，只有进行慎重且大规模的数据采集，并且对采集的数据进行仔细分析。除此之外别无他法。

弗明汉当时有大约2.8万名居民，其中29~69岁的居民中有5 127人响应了研究小组的号召参加了这项研究，占这部分人数的2/3。因为当时对心脏病的成因几乎没有任何线索，所以除了性别、年龄等基本信息之外，还记录了每个人的过往病史与生活习惯、血压、心电图、血液成分、社会经济学指标等各种各样的项目。当时采集的血液，随着后来检查方法的不断进步又追加了很多检查项目，因此一直冷冻保存至今。

弗明汉研究一直到今天仍在继续，每当有其他研究出现新进展的时候都会对其进行追加的项目调查，如今参加最初研究的那些人的后代还参加了对遗传因子的调查研究。

弗明汉研究针对5 000余名对象定期进行检查与询问，调查频率是每两年1次。

如此大规模而且彻底的调查研究，为什么不每年进行呢？实际上当时的研究者也非常渴望能够做到1年1次。但是，由于当时的技术能力所限，每两年进行一次就已经是调查频率的极限了。

至于限制调查频率的原因，则是数据输入、管理以及采集所花费的时间和精力。

弗明汉研究小组在最初进行数据采集时所使用的设备，据说只有一台大型穿孔卡片机。

说起穿孔卡片，可能很多人连实物都没有见过吧。简单来说就是在一个厚纸片上利用物理手段打孔，根据打孔的位置记录数据。

首先，人工记录5 000人的生活习惯和血液检查的结果，再将数值转换为穿孔卡片进行保存，检查是否有错误，然后对各个调查项目的平均值和比例进行综合统计。进行这样的工作，每两年一次的频率已经是极限了。

至于弗明汉研究的目标“找到心脏病的成因”，需要对各个变量和多样的调查项目之间的关联性进行分析，这就需要用到逻辑回归的分析方法（实际上，逻辑回归分析本身就是因弗明汉研究而诞生的方法）。但是，对5 000名研究对象的数据进行分析，就相当于使用5 000个质数的矢量，进行包括对数变换在内的非常繁杂的矩阵计算，只有这样才能够得出最终答案。

一直到20世纪60年代国际商业机器公司（IBM）发明了大型通用计算机，并且将其应用到研究中之后，弗明汉研究才能够对10年间的调查数据进行分析。

无聊的“纸和笔的统计学”已经过时了

从那以后的计算机技术进步，可以说是突飞猛进。

穿孔卡片上记录的数据可以非常简单地记录在只读光盘（CD–ROM）或者硬盘上，数据输入也可以看着画面非常简单地进行。获得的数据可以通过互联网非常方便地收集和传送，至于统计分析，不仅可以通过个人电脑来进行，甚至连现在的智能手机都能够胜任。

以前的统计学家们常用的研究方法有两种，或者省去计算的麻烦直接进行类似的准确度较高的推测，或者尽可能少地对数据进行计算并得出准确度较高的推测，但是这些研究方法现在基本上已经不会出现在实际分析当中。随着计算机技术的进步，不管是庞大的数据还是繁杂的计算，都已经不再是统计分析的瓶颈。

另外，以前的统计学教育只能依靠黑板和粉笔，或者纸和笔，主要以理解算式，对几十个数据进行手工计算和分析为主。但是，现在的统计分析只需要写一个简单的程序，或者使用现成的统计分析工具，对大规模的数据进行实际分析也成为可能。

虽然我们现在主要使用的统计学思考方法和分析方法，早在几十年前就已经基本完成，但是像现在这样让每个人都能够随时随地地简单使用，还是在20世纪末计算机技术发生革命性进步之后，才得以实现的。

以前的纸和笔的统计学与现代的计算机统计学之间存在着巨大的差距，现代的统计学家必须在精通数理知识的同时，还掌握计算机技术的应用。

如果本书的读者朋友们在大学时代对统计学课程留下了一种无聊的印象，那么可能是因为只接受过“纸和笔的统计学”教育，所以对于一直在时代最前沿给出最佳解答的计算机统计学的力量没有切身感受，这也是情有可原的。

“大数据”时代浓浓的统计学气息

统计学在近几年的变化，可以说受计算机的影响最为强烈。

计算机使商业模式发生了翻天覆地的变化。商品的采购、库存、销售等记录基本上全都已经数据化，成本和销量的把控与用纸笔进行管理的时代相比也变得更加简单。顾客资料与消费记录、工作人员的工作时间与评定、健康状态、支付的报酬与成本核算等信息，都可以存储在公司内部系统和Excel电子表格中。为了生产而进行的机械操作、到自己公司网站的链接，基本上所有的登录情况都会被记录下来，必要时可以综合统计作为经营的参考。就算说那些大型公司几乎所有的业务流程已经全部实现电子化，也不为过。

但是，当一系列的业务都实现计算机化之后，那些从事计算机业务的企业却遭遇了瓶颈。不管他们如何提高硬件和软件的处理性能，如果需要计算机化的业务流程没有增加，顾客对性能没有特别需求，那么他们就无法继续销售自己的商品。所以，不管是硬件厂商还是软件厂商，还是使用这些提供计算机服务的厂商，所有与计算机相关的企业，都必须对已经得到满足的顾客们，提供一个购买他们更新技术的“理由”。

从好的方面来看，要想将已经足以满足顾客需要的性能更好地加以利用，就要考虑“如何创造更多的价值”。而实际上，计算机企业所考虑的是向顾客传达“为了找出创造更多价值的方法，必须进行大量的数据处理”，为了让顾客接受这一提议，必须有一个“明显对商业有价值的理由”。

以现在的计算机技术来看，不管是多么庞大的数据量或者多么繁杂的计算都能够胜任，因此需要考虑的问题就变成了应该针对什么进行计算，而答案除了统计分析之外再无其他。当然，如果只是将“统计分析”这个简单的词语作为题目，会让人感觉缺乏吸引力，于是就诞生出“大数据”和“商务智能”的概念。现在大家之所以都对这两个题目和统计学如此关注，恐怕就是出于上述原因。

计算机行业的业界巨人，在弗明汉研究使用穿孔卡片和大型计算机时代就为其提供技术支持的IBM公司在这一点上表现得最为突出。IBM斥资数十亿美元收购了在商务智能方面非常有名的Cognos公司，以及开发统计分析软件的SPSS公司，这两家公司都是在这一领域拥有丰富经验和影响力的公司。据说2005~2011年之间，IBM公司对统计学和商务智能相关企业的投资金额已经超过140亿美元。

除了IBM之外，微软公司以及在数据库领域非常有名的甲骨文公司，还有NTT数据公司，都开始积极地收购与统计学和商务智能相关的企业。

或许这几家公司都已经发现，在接下来的时间里从自己的商业领域产生价值的主营产业，都在其中。

最能够证明这一推测的根据，来自于微软在专门用于招聘的网页上于2010年8月23日发表的一篇文章，其中提到技术领域今后最热门的3个专业，如下所示。

数据分析、机械学习、人工智能、自然语言处理。

商务智能、竞争分析。

分析、统计——特别是网页分析、分离测试（A/B测试）、统计分析。

只要是学过“计算机统计学”知识的人，都能够从上述内容里感觉到浓浓的统计学气息吧。

为了再现人类的认知机能，而从计算程序算法研究发展而来的机械学习与人工智能领域，如今若是没有统计学的理论基础就很难深入学习，至于商务智能则完全可以说是统计学在商业领域的应用。要想完成A/B测试的计划，20世纪中叶现代统计学之父罗纳德·艾尔默·费希尔所完成的被称为“试验设计”的统计学相关知识，则是最为重要的基础。

未来10年最受欢迎的职业是统计

另外，谷歌（Google）则比微软更加明确地表达了对统计学家的赞誉。谷歌的首席经济学家哈尔·范里安博士曾经在2009年1月麦肯锡公司发行的杂志上这样说道：

我一直坚信，未来10年最受欢迎的职业是统计。

最近，美国人经常使用“sexy”这个词来表达“受欢迎的”或者“有魅力的”，比如，“新款苹果手机的设计非常sexy”。哈尔认为统计学家也是“sexy”的。

作为一名统计学家，我对于哈尔的发言感到非常光荣，而且这绝对不是什么只停留在口头上的赞誉。统计学如今已经得到了计算机这个强有力的伙伴，可以被应用在所有领域，可以出现在世界上的每一个角落，以及人生中的每一个瞬间，能够对所有渴望得到回答的问题给出最佳答案。

曾经人类为了得到（自认为）正确的答案而只能寻求神的启示，后来在漫长时间中只能服从权威人士的意见。

但是，现在的情况不一样了。最佳答案就存在于每个人周围的数据之中。只要掌握统计学这个最强的学问，不管是想要健康、聪明，还是富裕，都变得非常简单。正如之前所说过的那样，这是世界上的学者们通过统计学证明的事实。

而想掌握这个最强、最受欢迎的学问，不必像IBM那样支付数额庞大的资金，只要在你的人生中投入一些学习时间就足够了。

第二章

大幅减少信息成本的抽样调查

05 统计学家的大数据“狂想曲”

正如前一章所说的那样，“大数据”这个词从诞生到流行经历了很长一段时间。

而现在的企业几乎每周都会发布关于“大数据”的报告，杂志和网络媒体上也时常出现“大数据今后的发展”或者“如何在大数据时代生存”等相关文章。如今，只要是稍微关心计算机信息的人，对于“大数据”这个词一定不会感到陌生。

在硬件供应商、系统集成商、独立咨询公司等，有很多期待“大数据”概念可以带来商业机会的人。顺便说一下，那些对计算机和统计学都不太了解的商业评论家们，也纷纷断言“今后是大数据的时代”。

就连那些一提起与阻止列表和收支记录等工作相关的数据记录就只能想到Excel表格的人，也对新数据库的技术很感兴趣，对100多年以前发明的统计方法一窍不通的人也对“数据挖掘”充满期待。由此可见，现在对统计学家来说是最适合大展拳脚的时代。

演奏大数据“狂想曲”的专业术语

但是，对于“大数据”，或者说对于“大数据”的分析会产生什么样的价值，会给投资成本的核算带来多少好处，这些内容究竟又有多少人能够理解呢？

是没有人能够理解，还是理解的人因为与自己的商业利益没有太大的关联，所以没有进一步的宣扬和提倡？不管怎样，对于这方面的问题我们很少会见到与之有关的回答。

取而代之的是，我们经常会听到为了更有效率地处理大规模的数据，推出新产品、新规格、新功能等。

比如在硬件方面，甲骨文公司引以为傲的Exadata系统的性能比以前的数据库系统强大10倍以上，而被称为Hadoop的工作模式，则可以允许在复数硬件上同时对大规模数据进行高速处理。相信很多人都听说过这些信息吧。

表2–1 专业术语简单介绍

数据挖掘

从已经存在的大量数据中找出有价值的信息和假设的方法，被称为数据挖掘。这种方法在拥有一定准确度的前提下更加重视速度，通过重复比较简单的计算过程就能够实现，所以应用比较广泛。最常见的例子是对超市的POS（销售终端）数据进行数据挖掘，结果显示同时购买尿片与啤酒的概率出人意料得高。

文本挖掘

对文字进行数据分析的方法。将语言学的方法延展，使其也能够应用于商务活动。通过被称为语素分析（将文章拆分成单词）的过程，对出现过的某些单词，以及单词之间的关联性进行分析。

Exadata系统

常年以来，一直占据数据库业界老大地位的甲骨文公司经过巨额收购后终于完成的大数据相关主力商品。在软件和硬件两方面都能够最快地分散数据进行高速处理。性能和价格都很高。

Greenplum系统

Exadata系统的竞争对手。充分地利用了开源技术，比Exadata系统便宜很多，同时也能够对庞大的数据进行高速处理。

分散处理

对于难以处理的庞大数据，如果分散到100台服务器上分别处理，最后将结果统计一下就能够得到比单一处理高100倍的效率。由于数据的构造和计算程序算法的不同，想要实现“完美分散后统计结果”所消耗的时间也不同，这是这种方法最大的难点所在。

内存数据库

为了提高数据读写的速度，将数据记录在内存（RAM）上的方法。当然，如果切断电源数据就会消失，所以为了弥补这一缺陷尝试使用SSD（固态硬盘）和RAM相结合的方法。

Hadoop系统

对数据进行分散处理的JAVA（一种程序语言）软件工作模式，主要负责分散处理“最关键的部分”。最近，我们所听说的大规模数据分散处理软件大部分都是基于Hadoop系统运行的。

AWS平台

亚马逊开发的数据库和数据分析云计算服务，也能够对应大数据的分散处理。

非结构化数据

以甲骨文为首的传统数据库（RDB）是以“构造化的表”与“表之间的联系”为基础对数据进行保存和检索的。这种传统的数据库形式无法很好地进行整理的数据被称为非构造化数据。

NoSQL

RDB的处理是使用结构化查询语言（SQL）记述的，使用其他不同方法保存数据进行处理的方法就被称为NoSQL。

KVS

Key Value Store的简称。RDB是以既定的格式对表和表之间的联系进行处理，而KVS则是利用表中的值（Value）和值之间的联系（Key）来对数据进行处理。对包括非结构化数据的大规模数据进行分散处理非常方便。

R语言

开源的统计分析用语言。全世界的专家们可以随心所欲地制作分析方法并且将其公开的库。那些买不起收费软件的贫穷学者们都喜欢使用这个，最近忽然受到了大家的关注。似乎可以直接从Exadata系统、Greenplum系统甚至“统计产品与服务解决方案”软件（SPSS）之中直接调用R语言库。

与“大数据”相关的商品和专业术语如表2–1所示。

通过高速化的数据处理，网站就算面对大量增加的用户也能够提供快捷的服务，公司内部系统也能够在短时间内收集指定的数据并且完成作业。由此应该也会带来人工费的节约与效率的提高。我们所听到的“大数据技术的成功体验”多数来自这些方面。

像这样卖出新型的高价技术，对于计算机相关企业来说无疑是一个喜闻乐见的好消息。比如“能够提高数据处理速度10倍以上”，或者“这就是如今最流行的大数据”，还有“免费赠送数据挖掘工具”之类的话一定会成为现代营销中最常用的宣传语。每天，各家公司的推销员们为了提高销售额肯定都在绞尽脑汁地想这些点子。

统计学让企业不用再烧钱

但是，像这样纯粹的技术进步，往往和商业利益并没有必然的联系……比如说我经常接到的以下咨询，就非常具有代表性。

“我们公司（或者是老客户的企业）存储了好几万亿字节的庞大数据，配备了专门的服务器。那么，接下来我们还应该做什么？”

每当我听到这样的疑问时，总会感到非常不可思议。我真想问他们：“连这东西的用处都不知道，为什么还花这么多钱投资设备呢？”实际上，我也确实这样问过，得到的都是一些诸如“好像有点用吧”或者“至少能够把握现在的状况”之类含混不清的回答。

Exadata系统这样的高价货自不必说，即便是用几台高性能的服务器构建起来的系统也需要几千万日元的投资。一些庞大的系统甚至需要花费上亿日元。可是，那些拥有决策权的大人物却对于“不知道究竟有什么作用的东西”投资起来毫不犹豫。

如果你的公司现在正打算在降低日常业务成本和稳定服务之外寻求更多的好处，也就是“通过对数据进行分析，从而更有效率地进行经营判断”，那么你一定要将这本书再继续往后读几十页。只要你掌握了本书中提到的统计学的基础知识，那么你就会明白在基于数据进行正确的经营判断时，根本不需要花费几千万日元的投资，甚至连几十万日元都不用花费。

为什么这么说呢？要想知道答案，就让我们从下一节开始看看20世纪30年代的美国究竟发生了什么。

06 准确度令人震惊的抽样调查

怎样统计超常的“大数据”？

诺贝尔经济学奖获得者保罗·克鲁格曼将自从次贷危机以来一直笼罩整个世界的萧条状况称为“第二次全球金融危机”，而第一次“全球金融危机”则是从1929年纽约证券交易所的股价大跌开始的。

不只美国，除了当时的苏联之外，几乎世界上所有的发达国家都遭到了股价大跌的冲击，国内生产总值（GDP）急剧减少，甚至引发了第二次世界大战这样一个非常严重的结果。小津安二郎以这一时代为背景拍摄了一部影片，讲述一群年轻人在大学毕业以后找不到工作，为了求职而四处奔走的故事，同样的状况在美国也比比皆是。

与现在基本上1/2的学生都能够考入大学就读不同，那个时代的大学毕业生可以说全是精英中的精英，可是在经济不景气的大环境下，即便是精英分子也同样找不到工作。当时的失业率最高达到25%，如果说现在的日本被称为“就业的冰河期”的话，那么当时的情景简直就是一幅地狱画卷（2012年11月，日本的失业率是4.1%）。

图2–1 金融危机时美国可怕的失业率

但是，对当时的美国政府来说，这种状况在某种意义上也是一件好事。由于这些大学毕业生的高失业率，使得国家可以从当时大量学习过统计学的优秀数学家和经济学家中随意挑选最优秀的人才出任政府职员。

在失业率创纪录地达到24.9%的1939年，美国总统富兰克林·罗斯福领导的新政府为了扭转大萧条的局面，采取了一系列被称为“新政”的政策。也正是在这个时候，政府才能够大量雇用那些走投无路的优秀年轻人，并且将他们的能力充分地发挥出来。我在本书之前的章节中提到过的弗明汉流行病学研究，就是美国总统罗斯福组织实施的项目，而在该项目中负责核心任务的统计学家，就是在这一时期被雇用的优秀年轻人中的一员。

新政的目标是摆脱大萧条的不利局面，并且降低失业率，为此美国政府需要准确地掌握失业者的人数。不只政治家，就连包括普通民众在内的很多人都认为居高不下的失业率是一个非常严重的问题。但是，针对100万人失业与1 000万人失业所采取的政策应该有根本上的区别。当时对失业者人数的统计却是“300万~1 500万人”这样一个非常模糊的数字。

值得我们注意的是，只拥有穿孔卡片的弗明汉研究对5 000人进行调查，就已经非常困难，而这件事发生的时间还在弗明汉研究之前。

对于当时拥有1.2亿~1.3亿人口的美国来说，进行这样的调查就相当于现在对几万亿字节的数据进行处理，毫无疑问，这是一个完全超越常规的“大数据”。

全面调查与抽样调查，哪种更节约、更高效？

为了解决这一问题，美国政府当时提出了两种方案。

一种是美国联邦政府议会提议“所有的失业者有义务在登记卡上填写必要项目，然后到最近的邮局将登记卡邮寄给政府”。

另一种方案则是由学习过当时最先进统计学理论的年轻人们提出的“随机选取人口总数的0.5%进行抽样调查”。

美国政府先采用了后一种方案，除了准确的失业率之外，政府还发现社会存在着极大的贫富差距，既占人口总数10%的人竟然拥有占人口总数40%的收入。而得知这一结果的人们却纷纷表示“随机抽选的结果根本没有科学根据，怎么能够证明这个数据是正确的呢”，可见这些人似乎更支持前一种方案。

但是，假设我们是那个时代的失业者，如果没有任何好处的话，谁会傻到将自己的信息写在登记卡上，然后特意跑到邮局去将这个登记卡邮出去呢？至少我是不会那么做的。如果我是当时的失业者，就算这样做会得到商品券，我都会因为麻烦而放弃，我想当时大多数人应该不知道有这么一回事。

实际上，确实有非常多的失业者对这项调查不买账，事后也证明这个调查数据远远小于实际失业者的数量。很多失业者认为这样的方式过于麻烦，因为美国政府无法准确掌握怕麻烦的失业者数量，所以由此得到的数据比实际数据少得多也是理所当然的。

另外，由年轻的统计学家们提出的抽样调查所得出的结果，经过随后十几年的慎重检验，发现其准确程度令人震惊。从1940年将这一调查制度化至今，美国政府已经将利用随机抽样调查作为各种政策方针讨论的基础。

假设前一种方案的全面调查方式能够得到失业者的支持，那么就要对大概超过1 000万人以上的登记卡进行收集和整理，与之相比，对占总人口数的0.5%的人（约60万~70万人）的调查结果进行收集和整理，两者谁更节约、更高效呢？毫无疑问一定是后者吧。

后来，美国率先摆脱了大萧条的局面，这究竟是否应该归功于罗斯福与年轻统计学家们的新政，在经济学家中众说纷纭、尚无定论。但不管怎样，由新政主导的大规模公共工程建设开始后，失业率开始下降的事实已经被统计学家们所设计的调查的数据所证实。

能够在当时有限的财政预算之内，准确地计算出失业率实际下降了多少，可以说完全是当时那些优秀的统计学家们的功劳。

后来，这些统计学家们又对消费者物价指数以及工业统计进行了调查，并且针对这些反映一国宏观经济状况的重要指标设计了利用样本进行的定期调查。如果没有统计学家的贡献，后世的经济学家们关于“面对经济萧条的局面应该采取什么政策”的讨论就会缺乏重要的数据基础，那么一切或许都会变成“纸上谈兵”。

如果日本难以摆脱“第二次全球金融危机”的话，不妨也积极地雇用那些找不到工作的优秀大学毕业生，充分地发挥他们的力量。

我经常从现代的一些人口中听到“抽样调查的结果根本没有可信度”这样的话，似乎日本的行政部门所掌握的统计能力与80年前的美国相比，没有一丁点儿的进步。

当然，抽样调查的准确率确实比全面调查要低，但问题在于究竟低多少，以及准确率较低的结果对实际判断和应该采取的行动会产生怎样的影响。反过来说，对判断和行动不会产生影响的准确率是毫无意义的，为了这些毫无意义的准确率所花费的成本都是一种浪费。

当面对难以处理的庞大数据之时，适当地进行抽样调查可以大幅减少为了获取必要信息所花费的成本，这一点不管在80年前还是现在都是一样的。可即便如此，那些热衷于大数据的商人们还是不断地提倡对大数据原原本本地进行计算。

07 为了1%的准确率值得花费几千万吗？

抽样调查中“经常出现的悖论”

很多人出于直觉认为，只有进行全面调查才能够得到正确的结果。比如说，上一节提到的关于失业率的调查，假设随机选取的0.5%的人全部都是失业者，而剩下的99.5%的人则全都没有失业，那么实际上整体的失业率只有0.5%，而抽样调查的结果却是失业率为100%，这就是抽样调查中“经常出现的悖论”。

可是，这个“经常出现的悖论”所举的例子究竟会不会出现？严格来说答案是“有可能出现”。但是对统计学家来说，不能仅仅回答“有可能出现”，还必须回答“有可能出现的概率”。

如果失业率真的只有0.5%，那么对总人口1.2亿中的0.5%，也就是60万人进行调查，结果这60万人全部是失业者的概率当然不可能为0。因为在数学上，不管一个数字多么无限接近于0，严格地说都不能将其称为0。

如果要将这个数字以小数的形式准确地表示出来，那恐怕要多达100万位数字以上，而且前面所有的数字都以0表示。

或许有人不知道为什么会出现这个数字，让我们换一种说法。0.5%的概率，也就是抽签200次只能中1次，那么要连续抽中60万次的概率有多大呢？

虽然将抽中的签再次放回抽签箱中的方法（统计学中将其称为重复抽样），与不放回的方法（不重复抽样）相比抽中的概率更高，但即便如此，仍然需要“在60万次抽签中维持1/200概率”的奇迹。这就是之前提到的那个无限接近于0的小数。

重复抽样可以在60万次的抽样中维持“1/200”的概率，而实际上，失业率调查属于不重复抽样，在最后第60万次的抽样中需要从剩下的约1.194亿人中选出唯一的失业者，这完全可以说是一个奇迹。

由此可见，提出“经常出现的悖论”的人实在是相当悲观，要不然就是骗子。既然没有人担心“小行星撞击地球的危险”，为什么对“导致抽样调查结果不准确的概率”表现得如此不信任？

如果说0.5%的概率连续抽中不太现实，那么如果是99%的概率，连续抽中60万次的可能性有多大呢？实际上，也只有0.24%，60万次的话就要在这个基础上除以1 000，这又是一个称得上是奇迹的概率。

为了使计算的过程更简单，我们经常能够见到以“调查对象全部准确”为例进行命题，但即便不是那样，对10万人进行调查的话，调查结果和真正的结果之间出现1%误差的概率，也是非常小的。

实际上在计算误差的时候，并不是像这样直接地进行概率计算，而是通过图2–2所示的公式来进行计算的。

图2–2 标准误差计算公式

比如之前提到过的那个例子，总人数即美国的所有人口数也就是1.2亿，真实比率则是“真实失业率”的值。当然这个值我们并不知道，我们只要填入通过抽样调查得到的失业率数值即可，基本上填上这个值是不会错的。

因为在真实比率达到50%的时候，“标准误差”值为最大，所以如果不放心的话可以用50%这个值进行计算，用“能够想到的最大标准误差”进行判断，这也是一种慎重的做法。

为什么真实比率达到50%的时候，标准误差最大呢？因为

0.5×（1–0.5）所得到的结果比0.6×（1–0.6）和0.3×（1–0.3）所得到的结果都大，因此我们选择50%作为最大值的标准。

至于标准误差的使用方法，因为从抽样调查中得到的比率（比如说失业率）是用标准误差除以2得到的数值，因此只要将算出的标准误差结果乘以2就是真实比率的范围。这一数据的可信度高达95%。

比如说抽样调查的结果显示失业率为25%，假设其标准误差为0.5%，那么全面调查得到的真实失业率数值应该在24%~26%之间，这一事实早已在80多年以前就已经被统计学家们证明过了。

增加1万个样本也只能改变0.1%的标准误差

那么，对于那些不喜欢看数学公式的人，让我们换一种说法解释标准误差的变化程度。

比如说，从10万名顾客的数据中对男女性别比率进行调查的结果，假设顾客中女性的比率占70%。那么关于这一结果的标准误差，在增加抽样调查的人数之后会发生怎样的变化呢。结果如图2–3所示。

图2–3　抽样人数对标准误差的影响

当抽样人数只有100名的时候，标准误差为4.6%，那么“顾客中女性比率占70%”的结果实际上在综合考虑后就应该是“女性比率占61%~79%”。但是当抽样人数增加到1 000人时，标准误差就降低到1.4%，综合的结果为“女性比率占67%~73%”；当抽样人数增加至8 000人时，标准误差为0.5%，综合的结果为“女性比率占69%~71%”。

而在此基础上“继续增加抽样调查人数对标准误差的影响越来越小”，当抽样人数为1万人时，标准误差为0.4%，抽样人数为2万人时，标准误差为0.3%。

这一结果，就算与花高价投资的数据处理服务器所得到的“女性比率占70%”的准确结果相比，对于判断可以说也几乎没有影响。

随机抽取8 000名顾客的数据，对于数据库管理员来说易如反掌，而将这8 000条数据记录在Excel表格中，就连打工的学生也能轻松完成。至于数据库管理员的加班费和学生的报酬大概只要几万日元就搞定了吧。为了那仅仅不到1%的准确度，有必要投资数千万日元吗？

虽然这种方法与现在大数据时代的思考方式刚好相反，但是每当有人向我进行数据分析的咨询时，我都会推荐他们“先找到为了进行正确的判断所必需的最少数据”。如果1%的误差在今后几年内不断累积，会对数千万日元的销售额和成本产生影响，那么在这种情况下大数据分析技术就会派上用场吧。可是即便在这种情况下，也没有必要从一开始就对全部数据进行分析。

数据分析的过程，实际上就是一个不断探索的过程。需要分析的数据越复杂就越是如此，随着分析的不断深入，发现的问题就会越多，甚至会出现与实际情况完全相反的结果，为此就要尝试不同的分析方法，而在分析中使用的数据如果发现有什么问题也要及时地进行修正，上述这些问题即便是经验非常丰富的统计学家也无法避免。实际上为了避免出现错误，越是经验丰富的统计学家，在分析的准备上所花费的时间就越多。

在对参考结果选择各种各样的方法与数据作为突破口的探索分析之中，尝试的次数是非常重要的。因此，那些必须使用特殊工具或者奇妙程序的情况，以及必须长时间等待分析结果的情况都应该尽可能地避免。这样的话，就算最后必须以全部数据为对象进行分析和验证，也可以事先获取一定量的抽样数据，并且通过探索分析找到建立假设的依据。

虽然为了建立假设寻找一定量抽样数据的方法，需要相当专业的统计学知识，但如果只是为了掌握数据概况的话，有上万条数据就够了，这种程度的统计工作仅靠一个熟练应用Excel的人就可以搞定。

当然，对庞大的数据进行高速且符合一定条件的随机抽样调查，以及对最终的分析结果是否准确进行验证的时候，还是需要大数据技术发挥实力。但是，这种速度和准确度究竟有多大的价值呢？这个问题的答案，就要取决于分析结果能够产生多大的价值了。

实际上分析本身并没有价值，如何活用分析的结果，最终得到的价值也是不同的。

第三章

统计学的关键：误差与因果关系

08 抛弃传统的统计方法吧！

只会让老板毫无反应的图表

数据分析中最重要的问题是，“统计分析的结果所带来的利益能够大于所消耗的成本吗？”

顾客的性别与年龄、居住区域的分布等所占的比率，或者问卷调查中回答“非常满意”的人数所占的比率，很多人将这些数据称为“分析结果”。就连那些自称为专家和顾问的人中，也不乏将调查问卷的结果收集起来制作成漂亮的图表，并且以此谋生的家伙。

但是，像这样的分析结果除了“对现状有所掌握”之外，还有更多的意义吗？如果你将这样的结果汇报给上司或者老板的话，对方不会有任何反应。

要想令对方不至于无动于衷，就必须让分析结果“在商业中与具体的行动联系起来”。要想引发具体的行动，就必须回答以下“3个问题”。

问题1 做出何种改变能够增加利益？

问题2 是否能够做出这种改变？

问题3 如果能够做出这种改变，那么带来的利益是否大于所消耗的成本？

如果能够回答这3个问题，那么接下来就可以采取行动增加利益，否则的话则没有必要按照统计分析的结果采取行动了。

比如说，那些了不起的专家和顾问，经常会拿出像图3–1那样非常漂亮的“品牌好感度调查”，那么这个分析结果能够回答上述的3个问题吗？

之所以会对品牌好感度进行调查，是因为在购买商品时，“对品牌好感度高的人消费金额相对较多”。与之相反，如果品牌不受欢迎或者因为其他因素，产品的销量长期没有发生任何变化的话，就不用考虑这个问题了。所谓“破罐子破摔”的经营策略，有时候也是存在的。

你对××品牌的看法如何？

图3–1 没有任何有用信息的图表

那么，“做出何种改变（比如举办活动之类）能够提升好感度”，以及“这样做需要多少成本，又能带来多少利益”就是我们需要考虑的问题了。

如果无论如何都不能提升品牌好感度的话，那就只能接受现状。如果为了提升好感度、增加销量，而投入大量成本导致公司财政出现赤字，这是得不偿失的。

遗憾的是对于这些关键性的问题，图3–1根本无法给出任何解释。

还有一种情况，假设你的公司从数据库中抽取了“庞大”的顾客数据，统计出如图3–2那样的表格。

虽然这个表格直接显示出了销售额，这还有点作用，但遗憾的是我们没有改变顾客性别，或者改变顾客年龄的魔法。

我们能做的只有将价格比较高的商品针对特定性别、年龄的顾客群体举办促销活动。

顾客的性别、年龄与平均销售额（月销售额）

图3–2 使用大数据的表格内容空洞

问题2 是否能够做出这种改变？

问题3 如果能够做出这种改变，那么带来的利益是否大于所消耗的成本？

即便如此，这仍然是一个无法回答上述两个问题的“空洞”信息。

如果你要做的分析，或者你委托别人做的分析，无法回答前面提到的这3个问题，那么在讨论分析结果的准确度之前，应该考虑的是这个分析究竟有没有用。恐怕等到实际拿到分析结果之后，其价值也只有让人“了解到一些数据”而已。

我在工作中所遇到的商务人士，经常对我说“数据分析的结果对商业判断没什么帮助”。如果他们所说的是类似于“什么问题都无法回答的单纯统计结果对商业判断没什么帮助”的话，那我绝对举双手赞成。而实际上，只不过是因为他们碰到的人“只能提供这些对商业判断没什么帮助的数据分析”罢了。

古典统计学的时代早就结束了

计算百分比的古典统计学，在19世纪初就已经被世界各国所应用。比如非常著名的护士南丁格尔所做的最大贡献之一，就是对战争中士兵的死因进行统计分析。分析的结果显示，受伤后因为救治不及时导致细菌感染死亡的士兵数量远远超出因为战斗受伤直接导致死亡的士兵数量。

南丁格尔以统计结果为依据，向军方领导以及政治家施压，“如果不想因为战争让更多士兵和人民失去生命，就必须保证在战场上配备干净整洁的医院”。也许这就是“统计”的力量之一。

但是，统计学从南丁格尔的时代到现在已经飞速发展了100多年。南丁格尔的统计结果，虽然大致上能够证明死亡原因，可是对于配备干净整洁的医院后是否能够减少战死者的数量，以及配备医院花费的成本能够拯救多少生命等问题，却与之前提到的那两个例子一样，无法做出回答。

要想回答这些问题，就必须使用20世纪先进的现代统计学方法。

利用大数据技术将所有的数据进行单纯统计，只不过是将最新技术应用在两个世纪前的方法而已。这种行为无异于拿最新型的智能手机当作锤子砸核桃。

09 单纯收集数据会得出“禁食米饭”的荒谬结论

促销活动中漏洞百出的图表

上一节中提到，对于统计分析中的3个问题，即

问题1 做出何种改变能够增加利益？

问题2 是否能够做出这种改变？

问题3 如果能够做出这种改变，那么带来的利益是否大于所消耗的成本？

必须全部回答。

当然根据情况的不同，仅凭统计分析的结果可能无法回答全部的3个问题，对于通过数据无论如何都难以做出判断的部分，就只能凭借经验和直觉了。

与无法完全搞清楚的统计分析相比，从一开始就凭借经验和直觉来作决定反而更好。

比如说，我以前遇到过一位市场营销员，他给我看了一份如图3–3所示的“促销活动调查表”。

图3–3 “漏洞百出”的图表

这位市场营销员根据图表的结果，认为回答“看到过”和“好像看到过”这个答案的人数共占46%，由此可见活动获得了近半数的超高认知率。可喜可贺。促销活动非常成功。可实际上，我和我身边的人对于这项活动一无所知。

值得庆贺的并不是他负责的这项促销活动的成果，而是他的统计能力。

面对这幅漏洞百出的图，我一时间不知道该从何说起，这幅图最大的问题在于，这个数据的来源是以购买了促销商品的顾客为对象进行调查。不管是通过网络还是去实体店，凡是购买了这款商品的人，可能是通过带有促销广告的弹出页面、海报或者传单等，总之是处于容易见到宣传的环境之中。

用具有很高倾向性的数据来证明促销活动的认知率很高，对于这种情况，我究竟应该说什么好呢。

没被彻底理解就开始应用的指标

不过，就算这个促销活动的认知率是从全日本随机抽样调查得到的正确数据，也同样没有逃出之前提到过的“3个问题”。不管促销活动的内容被多少人所知，如果不能与实际的购买行为联系起来的话就毫无意义。

这不只局限于认知率，像“总观看人数”“活动网站访问数”、“好感度”等在促销活动中经常被提到的指标，对实际的销量究竟有多大的影响呢。这些指标往往没被彻底理解就开始被应用。

想必大家都有这样的感觉，“经常会看到某个广告，虽然挺喜欢广告宣传片，但是并没有因此想购买广告宣传的商品”。比如说，我经常会看到朝日干啤的广告，每次都觉得这个广告宣传片的创意真好，可是我在家却只喝麒麟啤酒。即便如此，那些市场销售却仍然将“有多少人看到了”、“有多少人说喜欢了”这样的调查结果的统计作为“分析结果”提交给客户。

举一个极端的例子，当一名市场销售看到像图3–4那样的问答结果时，或许会感到非常难过。

图3–4 有可能会出现这样的结果

购买商品的人的结果沿用了与之前相同的数据。所以与之前一样，购买商品的人有近半数看到过促销活动的广告。但是，没购买商品的人中有68%的人看到过促销活动的广告。根据这一结果，我们可以得出这样的结论，“看到广告的人，反倒不会购买这件商品”。

这种时候，是否应该好好想一想广告宣传中究竟包含什么致命性的错误，导致消费者看到广告后反而不买了呢。

会引发死亡、犯罪和暴动的食物是米饭？

为了证明对于上述问题不进行比较，只是单纯地收集统计数据的做法有多么愚蠢，用一个比较通俗的事例来说明一下，相信就连小学生也能够明白。

想一想是否应该禁止食用这种食物。

死于心肌梗死的日本人中，有95%以上在生前一直吃这种食物。

抢劫犯与杀人犯中，有70%以上的人在犯罪前24个小时内吃过这种食物。

如果禁止日本人摄取这种食物，会导致精神紧张的状态。

江户时代以后，日本发生的暴动基本上都与这种食物有关。

这种食物就是“米饭”。不管是病人还是犯人，基本上所有的日本人都要吃饭，禁止吃饭的话人会变得精神紧张。如果因为社会因素导致没饭吃，即便是善良温厚的人也会发生暴动。

只看到这个单纯的统计结果，甚至会得出“禁止食用米饭”的愚蠢结论。如果只有这样的“统计分析”，也难怪有人会觉得“统计学根本就是骗人的”。

我不是故意举例抹黑那些不诚实的市场销售员。不仅在市场营销领域，像这样毫无意义的“分析”实际上比比皆是。就连海外一流的商业学院中使用的教材，也以像这样毫无意义的分析结果为根据，证明“促销活动大获成功”。

但是，只要基于“准确的数据”进行“适当的比较”，掌握统计学的因果推论基础，就能够找到比经验和直觉更加简单地使商业能力突飞猛进的诀窍。

10 改变投放广告单的方式就能赚取60亿日元

购买的人和不买的人区别在哪里？

在这个世界上，对于同样一种商品，总是会有购买的人和不购买的人。如果能够找到购买的人和不购买的人的区别，是否就可以通过改变两者之间的区别而增加购买的人数呢。

至于“改变两者之间区别的方法”在本书之中被称为“秘籍”。

比如说看没看到某个特定的广告，仅仅因为这个区别导致商品的购买率相差几十个百分点，那样的话就应该大规模地投放这种广告从而达到增加销量的目的。

如果朋友推荐对销量有很大影响，那就应该向现有的顾客推出促销活动鼓励他们向朋友推荐这种商品。

几乎每一位商务人士都有这样的思考方式。而且在绝大多数的情况下，对于应该注意的“差别”，他们并不是通过数据和统计分析，而是通过“经验和直觉”来发现的。比如说，“根据我的经验，很多顾客最初都是由朋友介绍而来的”，根据这样的判断来发现“区别”，并且灵活地应用在经营战略之上。

但是，经验时常并不准确。比如以下3条“墨菲定律”，相信很多人都有过这样的经历吧。

突然下雨的时候在外面买了一把雨伞，结果买完之后天马上晴了。

面包掉在地上的时候，总是涂了黄油的那一面落地。

每当快要迟到的时候，电车总会晚点。

但实际上，这些都是被“记忆偏差”所影响的认知，心理学家和认知科学家们早已经通过实例证实过了，只要稍微想一下就会明白。人这一生可能会有很多次突然下雨的时候在外面买雨伞的经历，那么“就这样打着伞回家的记忆”与“结果天马上就晴了的记忆”相比，哪个事后留下的印象更深呢？

与雨伞和面包的事例一样，你在商业上的成功定理，实际上也只是将几次成功体验当成普遍存在的定律而已。人类或多或少都有先入为主的习惯，一旦接受了某种事物，就会尽可能地找理由使之合理化。

统计学则可以弥补人性上的这个弱点。如果仅凭经验和直觉无法找出会左右利益的区别，那么只要对数据进行一下比较就会清楚地发现区别在哪儿了。

提高销售额只需要改变DM的投放方式

比如说，以前有一家零售企业委托我进行的数据分析的结果显示，对购买区别影响最大的是“有没有投放DM（直接邮寄广告）”（图3–5）。

在本书中，经常会出现我亲身经历过的事例。但是出于保护商业机密的考虑，企业名称和行业、销售数字等信息都是在不影响理解统计学原理的基础上虚构的，敬请谅解。

这家零售企业的规模极其庞大，平均年销售额有几千日元的顾客人数就有1 000万人以上，公司全年的总销售额超过1 000亿日元。

这家企业的工作人员从登记的会员中选取了100万人，用于查询这些人的顾客信息和消费记录，希望通过这些数据改善自己的服务。除此之外，工作人员每年会向会员随机投放4次共计30万份的带优惠券的DM（投放数据也有记录）。DM费用是每份100日元，因此这部分每年就要投入3 000万日元的成本。

图3–5 某零售企业分析结果

将随机抽取的2万名顾客数据以3个月为单位进行分析，结果显示1 500人（2万人的7.5%）在过去3个月内收到了DM，其余的1.85万人（2万人的92.5%。再重复一次这些数据都是虚构的，实际上的结果并不是这么整齐的数字）则没有收到DM。收到DM的顾客群体在分析期间的平均销售额为2 300日元，而没收到DM的顾客群体的平均销售额为1 800日元，这部分的结果正如之前的图表所示。

从这个结果中我们可以得出一个推论，只要投放DM就有可能在3个月内使平均销售额增加500日元。如果我们假设DM的投放与否对销售额会产生影响，那么向未投放DM的顾客群体投放DM的话，就能够将这一群体的平均销售额从1 800日元提高到2 300日元。

现在这2万名顾客3个月的销售额是

2 300日元/人×1 500人+1 800日元/人×18 500人=3 675万日元

换算为年销售额就是上述结果的4倍，即1. 47亿日元。

那么，假设向这2万人全部投放DM的话会怎样呢？

2 300日元/人×2万人=4 600万日元

减去向18 500人投放DM的费用（每份100日元）之后，还剩下4 415万日元，年销售额就是每年1. 766亿日元。也就是说，仅仅通过积极发送DM这一做法，在减掉追加投放DM所需的成本后，也能够使销售额提高1.2倍。

如果将这一做法扩大到登记信息的所有会员，又会怎样呢。假设会员的销售额占总销售额的10%，那么通过向全体会员发送DM的做法使销售额提到1.2倍，则公司整体的销售额会增加约2%。因为是总销售额1 000亿日元的2%，也就相当于增加了20亿日元的年销售额。

实际上，我向这家公司提供的分析报告，并不是单纯的“增加DM投放就会增加销售额”这样的建议，而是更进一步的“投放DM能够增加销售额的顾客和不能增加销售额的顾客之间的区别”，或者“能够增加销售额的DM与不能增加销售额的DM之间的区别”，以及对区别进行判断的方法。

根据判断方法对DM的发送对象进行划分，这样在几乎没有增加DM发送数量的前提下总销售额却提高了约6%，换成之前的说法就是相当于“赚取60亿日元的秘籍”。

在此之前，该企业已经知道发送DM能够增加销量，并且了解“对DM有良好反应的顾客特征”，可以说这一切都是建立在这个基础之上的结果。

所以通过使用实际的数据进行全面的比较，可以将“得到的结果”与具体的利益联系起来，并且能够明确地显示出“现在最应该采取什么行动”这样一个战略性的目标。

这实际上并不能完全说是统计学的力量。当然，像这样为了对主要因素进行比较而进行的收集统计（统计学术语叫作交叉表统计），也是统计学上非常重要的工具，但仅仅做到这些是远远不够的。

那么，究竟应该怎么做才能够更加准确地表示出“区别”呢？

11 真的增加了一亿销售额，还是只是误差？

不考虑“误差”的计算都不准确

在上一节内容中，我们通过单纯的交叉表统计证明了有可能增加销售额的主要因素，并且对可能增加的额度进行了计算，但这些都是不准确的。

为什么这样说呢？因为这些计算全都没有考虑“误差”因素。

可以说费希尔时代与之前的统计学之间最大的区别，就在于是否考虑误差。数据究竟有多大的误差，这个误差对真正的结果有多大影响，考虑误差对于结果是否有意义，费希尔最大的贡献就是证明了上述这些问题。

在上文提到的事例中，“投放DM的群体与未投放DM的群体之间销售额的区别”就是我们真正关心的值。单纯的推测销售额是500日元，但实际上这500日元是包含误差的值。如果今后继续追加数据进行同样的分析，那么这个数值可能是300日元，也可能是1 000日元，甚至有时候可能未投放DM的群体的销售额反而更高。

最坏的情况是，投放DM的群体与未投放DM的群体之间的销售额几乎没有区别，而得出投放DM的群体平均销售额更高的数据只是误差导致的结果。或者虽然有区别，但是差额甚至不足以弥补投放DM所需的成本。如果在这样的情况下，做出“积极投放DM”的战略决定，那么投放DM所花费的资金就全打水漂儿了。

A/B测试只是小孩子的把戏

实际上，除了在上文中提到过的毫无意义的单纯统计之外，像这样不考虑误差的交叉表统计所导致的不准确结果，也经常出现在商业领域。

以前有一家聘请我做他们统计学讲师的电子商务企业，就非常热衷于进行“A/B测试”。比如，双击改变广告条的大小、改变页面之间的跳转画面、改变页面文字和字体等，对设计细节和功能方面进行变更的时候，总是会进行“哪一种设计看上去更好”的讨论和分析。

所谓“A/B测试”，是指在对设计或者功能进行更改时，同时提出A方案和B方案进行比较的一种方法。最近在硅谷，为A/B测试提供工具和服务，似乎成了最热门的项目，Adobe公司也斥巨资收购了在这一领域占主导地位的Omniture公司，另外谷歌公司出身并且出任奥巴马总统竞选参谋的丹·西罗克所成立的Optimizely公司，也在这一领域大放异彩，博得世人瞩目。

绝大多数情况下，A/B测试的方法是在用户访问网站的时候随机打开A方案或B方案的页面，收集一定时间内访问量的数据，然后对A方案和B方案的结果进行比较（无法随机分配的情况下，可以按照一定时间为单位，比如1周时间，分别打开A方案或B方案）。

用于进行比较的数据包括广告条点击率和商品销量，付费会员的加入率等与利益直接挂钩的数据，判断出A方案与B方案哪个更好之后，接下来就将那个更好的方案正式应用于网站之上。

另外，同时进行3种或以上的方案比较时，并不称为“A/B/C测试”，而是仍然称为“A/B测试”。顺便说一句，在统计学上像这样的数据选取方法并不叫作“A/B测试”，而是叫作随机对照试验（A方案与B方案的条件改变中不包含随机因素的试验叫作准试验）。

稍微有点儿跑题了，总之这家电子商务企业每个月都会非常卖力地进行详细的A/B测试。因为每年购买率的改变都会影响上亿日元的销售额，所以这家企业专门成立了研究小组，随时根据购买率的变更情况研究新的网页方案，可以说是一个非常了不起的战略。

提出增加购买率改变方案的员工，会在公司的例会上得到表扬，负责执行的全体工作人员都会“沐浴”在一片赞誉声中。可以说，他们是一个非常优秀的将数据灵活应用在经营当中的例子。

但是，这里却存在着一个陷阱，那就是他们没有考虑误差。

在我作为讲师给他们上完课之后，负责进行A/B测试的小组成员之一向我提出了这样一个问题：A/B测试的结果也能够进行分析吗？她向我提供了一个像表3–1那样的结果（实际数据与此不同）。

也就是说，他们将现有的页面A和改良后的页面B，随机分配给网站的访问者，并且各取10万次的访问量进行分析，结果显示现有的页面A购买率为9.5%，而改良后的页面B购买率为9.6%。

表3–1 某电子商务企业的A/B测试结果

购买商品

没购买商品

总计

A（现有）

9500人（9.5%）

90500人（90.5%）

10万人

B（改良）

9600人（9.6%）

90400人（90.4%）

10万人

按照上文内容中的思考方法，采用改良后的页面有可能使销售额提高到原来的1.01倍（9.6%÷9.5%）。也就是说如果这家企业现在的销售额为10亿日元，那么就是提高约1 000万日元，如果是100亿日元的话则有可能增加1亿日元的销售额。而且，他们根本不必进行什么特别的投资，只是对网页进行细微的设计变更即可。由此可见执行人员“沐浴”在一片赞誉声中也是情有可原的。

但遗憾的是，我们并不知道这个区别究竟是有意义的区别，抑或仅仅是误差？

卡方检验与p值的登场

对于像这样的交叉表，要想知道究竟是“有意义的区别”，还是“误差导致的区别”，就需要用到一种被称为“卡方检验”的分析方法。

对上述A/B测试的结果进行卡方检验之后，发现实际上两者之间没有任何区别，只是因为数据的误差导致出现这种程度（10万人中有100人或者更多）区别的概率为44.7%。

像这种“实际上没有任何区别，只是因为误差或偶然产生数据差（甚至有可能包括极端的差距）的概率”在统计学上称为p值。

这个p值越小（一般在5%以下），数据就越准确，证明其不是偶然导致的结果。

而本应在5%以下的p值在上一个实例中竟然高达44.7%，也就是说使这些试验员“沐浴”在一片赞誉声中的结果，是否真的能够在今后带来上亿日元的销售额，还是一个未知数。

试验员进行的这种测试，其实就相当于一个人只投了一次硬币刚好正面朝上，因此就欣喜若狂地声称“了不起！我找到了一个能够连续投出正面的魔法硬币”或者“了不起！我拥有了连续使硬币正面朝上的魔法”。

在不知道这样做究竟有没有意义的情况下，定期对网站进行更改，结果可能是时好时坏，而试验员的工作究竟对增加收益有没有帮助，同样无从得知。

当然，我不只告诉她“这个区别不知道是否有意义”，还告诉她“就算是0.1%的微小区别，如果实际上确实存在的话，可以通过增加样本数量的方法证明”。之前我们已经知道，数据的样本数量越多，误差就越小。所以，要想通过数据来证明购买率有0.1%的提高，可以将各自的样本数量提高到100万人次再进行分析。

只要稍微掌握一点统计学的知识，这种程度的计算很快就可以搞定。

另外，试验员在临走前还说：“今天我学到的东西如果能够让大家都了解，那么公司的业务流程，甚至经营方针恐怕都会发生改变。”当然，我也是这样想的。这家公司虽然在数据应用方面看上去非常先进，但是却陷入了难以找到真正区别的A/B测试的误区。

只有理解误差，并且将误差考虑进去的结果才有意义。掌握了这种统计学的思考方式，就能够从陷阱和误区之中解脱出来。

12 值得分析的数据都是与利益明显相关的

究竟应该对什么样的数据进行比较分析？

“进行适当的比较”、“不只进行单纯的收集统计，还清楚误差与p值”，只要掌握了这两点，就能够找到远超经验与直觉的秘籍。

但是，在打算利用这两点进行数据分析的时候，经常会遇到这样一个问题，那就是“适当的比较”究竟指的是什么，或者更具体一点说“究竟应该如何比较才好呢”。

在这里，让我们用比较典型的事例来进行分析，首先，“消费金额”和“购买率”是与销量直接相关的重要指标。但是，在商业活动之中需要进行比较的信息不仅限于销量。

掌握了一定程度的统计学知识之后，我们会知道“如何对数据进行分析”。但是，在实际进行调查研究的时候我们会发现，“如何收集数据进行分析”才是更重要的。很多时候，人们将其称为统计学家的直觉，但仔细分析后我们会发现任何人都能够拥有这种直觉。

那么，我们究竟应该对什么样的数据进行比较，并且从中找出产生区别的主要因素呢？

答案其实很简单。只要将“能够达成目标的事物”和“不能够达成目标的事物”进行比较即可。

不过如果这么说，或许有人会问“所要达成的目标又是什么呢？”对于这个问题我所能给出的回答就是“不知道”，或者，更加绅士的回答是“每个人都不尽相同”。

比如说在医学和公共卫生领域，“健康长寿的人”与“英年早逝的人”、“持续遭受病痛折磨的人”就是进行比较的对象。而与教育相关的方面则用“学习能力强的孩子”和“不爱学习的孩子”进行比较。“幸福的人”和“不幸福的人”经常被心理学家拿来进行比较。

以前我曾经写过一本对日本职业足球联赛的数据进行统计分析的书，其中非常明确地表明了在对“取胜的场次”和“平局的场次”或者“失败的场次”进行比较时，各个统计数值分别有哪种相关度。

通过上述几个例子来看，商业中所要达成的目标就非常明显了。商业的目标就是“获得利益”。

让我们再仔细地思考一下通往利益这个商业目标的途径，就会发现一些更加明显的因素，比如是否能够扩大顾客的需求，是否能够提高公司内部的生产力（在没有浪费成本的前提下生产商品）。

而这些与需求和生产力挂钩的因素，就是人力资源、计算机以及市场营销等部门在自己的领域所需要完成的目标。

如果在上述部门的工作中没有与利益相连的目标，那么不管他们如何努力工作都不可能为公司创造利益。比如说，人力资源部门只关注自己的工作，那么或许对员工的满意度和离职率这些数字非常敏感。但是，如果满意度高的员工业绩很低，入职时间长的员工的薪水与生产力不成正比，那么只关注个别数据就是远远不够的。

不管是研究者还是实干派，人类在收集数据的时候经常会想着“有了这些数据总会发现一些问题”。当然，对数据进行适当的分析一定会有所发现，但这种发现却可能对任何人都没有帮助。很多大学和研究机构常常打着“学术自由”的幌子，投入大笔经费去搞一些毫无价值的研究，虽然这在学术领域无人追究，但是如果换在商业领域的话恐怕就不行了。

所以，在商业领域检验一个数据是否值得分析的指标，就是是否能够带来直接利益，或者是否能够表明带来利益的因果关系。只要能够在商业领域证明“这是明显与利益相连的指标”，那么就可以说这是与销售额一样值得进行比较的数据。

哪些数据与公司利益相连？

在你的工作中，哪些指标是与利益直接相关的，对于这个问题诸位应该比我更加清楚，甚至还有一定的个人见解。

公司本身就是为了赢利而成立的组织，大家的工作基本上也都是为了创造利益而安排的。如果能够通过更广阔的视野进行更灵活的思考，应该就会从自己的工作中找到分析和改善的方法。

比如说，我曾经听说过这样一件事，根据服务器内中央处理器（CPU）的温度和内存使用情况的监视记录，对“服务器死机的状况”和“不死机的状况”进行比较的结果显示，升级系统能够大幅削减管理成本。

同样的，根据工厂的机械故障情况的监视记录，对发生故障的状况和不发生故障的状况进行比较，结果发现成本可以进一步削减。对销售业绩高的推销员与销售业绩低的推销员进行各种调查数据的比较，可以发现对今后的销售有利的方法。

现在很多企业的各种部署都存在着大量的数据，而想要进行某种新的调查的时候，并不需要花费太多的成本。最重要的问题不是“发现了什么”，而是从这些数据之中，能够找到与利益相连的关系。

如果诸位今后想要对公司内部的数据进行分析，并将结果应用在经营上，那么首先要做的就是超越部署的屏障，将“我们都拥有哪些数据”这一信息共享给所有人。将信息统一整理起来之后，就能够得知“如何与利益相连”、“什么和利益联系最为紧密”，到时候你自然就会知道怎样进行比较，以及如何明确地表示出区别。

相信现在大家的“硬盘”中，就隐藏着数千万甚至上亿日元的与利益相连的秘密。

13 统计学中的重大问题：“因果关系的方向”

游戏与少年犯罪的因果关系能够明确化吗？

按照我之前说过的方法进行“比较”以及“包含p值计算的分析”之后，一定能够迅速地找到有意义的数据，而只要能够控制这些数据，就可以找到有效地增加利益的方法。

但是，在进行统计分析之后，必须注意“因果关系的方向”这个问题。

比如通过图3–5所示的图来对“广告的效果”进行分析。通过这个图，我们可以发现购买者对广告的认知率较高。

直接考虑的话，可以理解为看到广告的人，或者对广告印象深刻的人，购买商品的可能性更高。而这一结果的p值，即“本来没有什么区别，只是由于误差导致出现这种偶然情况的概率”在0.1%以下。

图3–6　是因为看到广告才买的？还是因为买了之后才对广告印象深刻？

但是，这一数据和统计分析的结果，将因果关系的方向反过来也成立。

也就是说，“因为看了广告而购买商品”和“因为购买了商品之后对广告才印象深刻”，这两个假设究竟哪一个是正确的，对于这种单一时间点的调查数据及其分析结果，哪怕p值再小也没有意义。

像这样的问题还经常出现在科学调查当中。

比如，根据对家长进行的问卷调查结果，将儿童是否玩过具有暴力倾向的游戏与儿童犯罪的关联性进行分析，发现少年犯罪者之中玩过具有暴力倾向游戏的比率极高。但即便如此，对于减少暴力游戏是否能够控制犯罪率这一判断目前尚无定论。

假设儿童都玩过同样一款游戏，有的孩子成为少年犯，他们的父母大概会认为“都是那个暴力游戏的错”。而有的孩子则健康成长，那么他们的父母对同一款游戏的印象，大概是“男孩子喜欢的战斗游戏”。

另外，对同一款游戏，认为是暴力游戏而感到愤怒的父母，他们孩子的犯罪率可能很高。不管是遗传因素还是环境因素，对待同样一款游戏，视若洪水猛兽的父母与并没有偏见的父母，他们孩子的犯罪率也是不同的，这种可能性也应该考虑进去。

更进一步地说，就算不是父母影响的问题，长时间玩暴力游戏的孩子确实比不玩暴力游戏的孩子犯罪率高，那么对游戏进行限制是否能够阻止少年犯罪，结果仍然无从得知。

之所以这么说，是因为即便没有游戏的影响，人类本身也有“暴力倾向”的存在。那些“暴力倾向”严重的孩子更喜欢玩暴力游戏，并且容易进行犯罪活动，这种因果关系或许才是最正确的。在这种情况下，虽然看上去少年犯罪者玩暴力游戏的时间更长，但是对游戏进行限制仍然无法控制儿童的暴力倾向。也就是说，即便没有暴力游戏，他们仍然会犯下同样的罪行。

用统计学的方法让数据分析更“公平”

那么，统计分析就真的毫无作用吗？

答案当然是否定的。不管是少年犯罪与游戏时间的数据，还是广告认知与购买率的数据，只要能够从这些现有的数据中找到那些并不属于误差的准确区别，就可以将其作为非常宝贵的假设依据。快速且准确地提出这种有根据的假设，才是统计学在现代最重要的意义，比永无休止的会议和毫无意义的争辩要强上百倍。

但是，仅凭着这一阶段得到的假设是否能够创造价值还不确定。不过，我们可以更进一步地对这个假设是否正确进行实际验证。根据不同的验证方法，我们可以在不同程度上了解到假设的准确性，这也是统计学的重要作用之一。

虽然我们之前说过，通过适当的比较找出有意义的区别就能够发现秘籍，但仅凭一时的数据是无法搞清楚因果关系的方向的，实际上进行比较的两者并非处在同样的条件下，也就是说并不“公平”。

比如，刚才提到过的暴力游戏与少年犯罪之间的关联性，将“其他条件完全相同，只有是否接触暴力游戏这一点有所区别”的两者进行比较，才是最理想的状态。

但实际上，接受问卷调查的对象，“其他条件”可以说完全不同。玩暴力游戏的孩子和不玩暴力游戏的孩子之间，正如之前提到过的那样，包括他们的父母性格和思维方式在内的家庭环境等因素可能都不同，而且孩子本身的心理倾向可能也有区别。

统计学针对这一问题，大体上有两个解决办法。

一个方法是针对父母性格、家庭环境以及本人的心理倾向等“相关条件”进行后续的追踪调查，利用统计学的方法，至少在进行比较的条件上实现“公平比较”。

另一个方法是在选取数据的时候就“准备好公平的条件”。比如说在教育学领域，经常会选取双胞胎作为试验对象，就是因为他们的遗传因素完全相同，可以进行公平比较。但就算不用如此苛刻的条件，我们同样可以进行“公平比较”，在下一章中我就将为大家介绍费希尔这一彻底改变了科学哲学的历史性发现。

虽然将人类作为试验对象感觉上好像有些难以接受，但只要在伦理上多加注意就不会造成恶劣影响。像这种利用统计学的方式证明“什么是最正确的方法”的形式，已经被广泛应用于经营、医疗、教育，甚至全世界所有的领域。

只要利用适当的方法进行实证试验，就能够最大限度地保证比较的公平性。医疗领域的新款药品和新的治疗方法，如果没有适当的实证试验就无法获得各国政府的批准与认可。为了获知人类目前所能够了解到的最正确的真理，利用统计学进行适当的实证试验可以说是必不可少的过程。

第四章

最强的统计学武器：随机对照试验

14 先放牛奶还是先放红茶？

正如前文中说过的那样，只对片面的数据进行交叉表统计，就连“因果关系的方向”都难以确定。

之前提到过的暴力游戏的游戏时间与犯罪率之间的关系，即使这两个项目在统计学上显示出非常明显的相关性，但究竟前者是后者的原因，还是后者是前者的原因，抑或其中没有显示出来的第三者（比如家庭环境的影响和本人的暴力倾向等）对其两者产生了影响，这些仅仅通过单纯的交叉表统计和p值是无法确定的。

不过，这只能说通过片面的数据，或者说只进行简单的统计分析，无法确定。如果仔细地选取数据，或者采用更加缜密复杂的分析方法，那么即便无法得到完美的答案，也可以找出原因和结果，甚至能够分析出结果。如果对“原因”进行控制的话，又会出现怎样的“结果”？

特别值得我们关注的，应该是“仔细地选取数据”的方法。具体来说，就是近年来网络上十分热门的“A/B测试”，同时也是被统计学家们称为“随机对照试验”的方法，让我们围绕着它来进行分析，看看它究竟有多么强大。

妇人与奶茶：世界上第一次随机对照试验

之所以在这部分内容中对随机对照试验究竟有多么强大进行说明，最重要的原因是“人类对于任何能够控制的东西，都可以分析其因果关系”。

假如要证明“超能力是否存在”，那么统计学家们一定很乐于为此提供帮助。如果统计学无法科学地证实超能力的存在，那么理由只有一个，就是超能力在这个世界上根本不存在。

像占卜师和超能力者之类依靠神秘术为生的人，或者对此深信不疑（甚至被欺骗）的人，总是会说“这个世界上有现代科学无法解释的现象存在”。

但这根本是无稽之谈！费希尔几乎凭借一己之力创造的被称为随机对照试验的方法，不但改变了科学哲学，甚至使科学能够影响到的领域爆炸性地扩大。虽然有伦理性和可控性等现实的制约，但科学无法解释的东西已经不存在了。

图4–1 现代统计学之父 罗纳德·艾尔默·费希尔

费希尔完成于1935年的著作《试验设计》首次创立了随机对照试验的体系，在这本书中提到了一个妇人和奶茶的故事。

在20世纪20年代末的英国，一个阳光明媚的午后，许多英国绅士与妇人们在室外的餐桌旁享用美味的红茶。这时，有一位妇人说道：“奶茶是先放红茶还是先放牛奶，味道完全不一样，我一下子就能品尝出来。”就连这个看上去只是随口说说的事情，随机对照试验也能够对其进行科学证实。

在场的大部分绅士都对妇人的说法一笑了之，根据他们学过的科学知识，红茶和牛奶只要混在一起，就没有任何化学性质上的区别。

但是，只有一位身材矮小，戴着厚厚的眼镜，留着小胡子的男子对妇人的说法很感兴趣，并且提出“那么我们来做个试验”。这名男子正是现代统计学之父——罗纳德·艾尔默·费希尔。

费希尔迅速地将茶杯摆成一排，在妇人看不到的地方准备了两种冲泡方法不同的奶茶。然后，他让妇人按照随机的顺序品尝奶茶，并且将妇人的回答记录下来，用概率进行了计算。据说，这就是世界上第一次进行的随机对照试验。

为什么要用这种方法验证妇人的话呢？在回答这个问题之前，让我们先考虑一下如果不用这种方法的话，究竟应该如何判断妇人的话是否正确？

比如给妇人一杯“先放红茶的奶茶”，就算她的判断是对的，也不能证明她真的有准确的分辨能力。因为妇人完全靠猜也有50%的概率可以猜中，所以不能将其作为判断依据。

那么，交替给妇人“先放红茶的奶茶”和“先放牛奶的奶茶”，如果妇人每次都说中的话，结果又如何呢？

虽然这种方法比只有一次的试验稍微强一点，但其准确性仍然很低。因为如果有“交替重复”这种规律存在的话（而且妇人也知道这种规律，或者偶然间发现了规律的话），那么只要偶然猜中第一杯奶茶的结果，那么后面的答案也就全都随之揭晓了。

当然，先连续给她5杯“先放红茶的奶茶”，再连续给她5杯“先放牛奶的奶茶”的方法也不推荐。因为这样只要第一次偶然猜对，接下来只要猜出“第几杯开始更换”就可以了。而且，之前品尝的“先放红茶的奶茶”肯定比后来“先放牛奶的奶茶”的温度更高，单凭温度进行判断也可以被她偶然猜中。

那么究竟应该怎样做才好呢？只要将两种奶茶随机交给妇人，然后看她能够猜中几个就好了。这就是随机对照试验的基本思考方法。因为奶茶是随机选择的，而且是在她看不见的地方倒好的，所以根本无法预测顺序。

1杯完美红茶的冲泡方法

费希尔还在《试验设计》中详细地分析了应该如何对妇人进行试验说明、应该准备多少杯奶茶，还有预测妇人的回答结果，以及对“妇人完全凭借猜测进行回答得出正确答案的概率”进行计算。

虽然在费希尔之前也有科学家进行过类似试验，但是他们却只记录了10次试验中10次全部准确的现象，或者10次试验中只有1次准确的现象，结果却有人将这仅有的1次作为试验成功的证据。

那么究竟按照什么样的顺序进行试验，并且在10次中成功多少次才算是被科学证明呢，在费希尔之前没有人考虑过这个问题。而费希尔所考虑的“为了进行科学证明而选择的顺序”中，最重要的一点就是“随机”。

在《试验设计》中，并没有记录妇人回答的结果和试验的结论。但是，据当时也在场的H·费尔菲尔德·史密斯（他也是在康涅狄格大学以及宾夕法尼亚大学担任教授的统计学家）回忆，那位妇人的回答全部正确。也就是说，如果那位妇女随机品尝了5杯奶茶，那么偶然猜对的概率就是2的5次方分之一，即1/32（约3.1%），而如果那位妇女随机品尝了10杯奶茶，那么偶然猜对的概率就是1/1 024（约0.1%）。

如此之低的概率显示，这位妇人确实有某种方法可以分辨奶茶的冲泡方法。

妇人究竟是如何做到这一点的，英国皇家化学协会在2003年发表的一篇十分具有娱乐精神的官方报告《一杯完美红茶的冲泡方法》，或许给出了答案。

冲奶茶时应该先倒牛奶，因为牛奶蛋白会在75摄氏度时发生变化。如果后倒牛奶，那么牛奶就会被高温的红茶包围起来，必然导致牛奶蛋白发生变化。而将红茶倒入凉牛奶之中，则不会出现这种情况。

连冲奶茶都如此讲究，确实很有英国人的风格。而除了费希尔之外的绅士们，认为“不管顺序怎样，化学性质都不会改变”的想法似乎是错误的。

随机对照试验可以揭穿绝大多数骗术

不只局限于奶茶，应用这种方法，可以看穿绝大多数的骗术。

如果有可疑的占卜师声称“虽然科学无法解释但我能够占卜出你的运势”，那么就可以找一定数量的人，随机分配给每人一个信封，在个别信封之中装有奖金。运势好的人肯定会拿到装有奖金的信封，如果占卜师无法以绝非偶然的概率占卜准确的话，那就是骗术。

当然，面对这样的提议，绝大多数的占卜师都会找出这样或那样的理由声称“这样就没有办法进行占卜”。

我们经常能够听到类似于“因为有人对占卜的真实性存疑，所以无法占卜”之类的借口，但如果这种说法是真的，那其中就有很多问题。

不管占卜师的说法是真是假，如果一个对占卜真实性存疑的人一直跟随占卜师，那么这个占卜师就完全发挥不了任何能力。

另外，关于真正的占卜师是否存在这个问题，在没有数据的前提下我并不打算下定论，如果真有那种占卜师的存在，那么我也非常希望能够亲自证实占卜师的这种能力。偶尔我会听到“占卜是统计学”之类的说法，如果真是那样的话，最新的统计学理论一定都是由十分华丽的占卜术所组成的。

提高员工水平的研修，提高业务效率的计算机系统，增加销售额的广告等，在你的公司里每天都会出现各种各样的DM和推销员吧。

在这些推销员当中，不管是有意识还是无意识的，他们总是在引诱你购买一些对你来说毫无意义的东西。当然，你可以依据自己的责任范围，信念和直觉来决定是否购买，甚至仅仅因为“感觉上会有用”的心理满足感而掏腰包。但是，在进行大规模的预算分析，以及对风险程度进行分析等必须尽可能不犯错误的情况下，随机对照试验就会发挥极大的作用。

比如说研修，将准备进行研修的员工随机分成两组，一组参加研修，另一组则继续从事正常的工作，或者参加一些免费培训。然后，为“员工水平”定义一个具体的数值（比如营业额和考勤评定等），对参加研修后以及随后1年间的数值进行比较。

如果研修确实有提高员工水平的效果，那么参加研修的一组员工与另外一组相比平均水平应该更高，而且这个差距绝非偶然出现的。

另外，仅凭现有数据得出对拥有某一特征的顾客发送DM效果显著，这个分析结果实际上只是假设。可以将拥有这一特征的顾客随机分为两组，一组发送DM，另外一组则不发送DM，然后对比两组对顾客的平均销售额，就可以证实假设是否成立。在通过这样的随机对照试验得出结论之后，再进行大规模的DM投放也不迟。

只要通过简单的测试，就可以避免商业经营中绝大多数的失误。大概这就是（即便这是没有考虑误差的不准确方法）近期A/B测试在互联网相关企业中如此热门的原因。

如果你今后面临判断绝对不能失误的情况，那么一定要想办法进行合适的随机对照试验。

15 随机对照试验：商业竞争中的有力武器

用随机对照试验找出表象背后的真相

之所以说统计学是“最强的学问”，是因为其拥有较高的适用性，也就是说不管在政治、教育、商业还是体育等领域，统计学都能够以最快的速度帮助我们找到最佳答案，关于这一点我已经在前面的章节中提到过了。而前文内容中介绍的能够对任何因果关系进行科学验证的“随机对照试验”，则刚好为统计学的适用性提供了强大的理论依据。

甚至可以说，费希尔创立的随机对照试验这一方法论，彻底地改变了科学领域所能涵盖的范围。

什么是科学？如果要详细回答这个问题的话，那么本书的内容就不是讲统计学，而是变成讲科学了。有关科学的详细内容，诸位读者有兴趣的话可以去找相关图书阅读，在这里我要介绍的是科学方法论的重要特征——“观察与试验”。“观察”就是对目标进行详细的观看和测量，并且从中找出真相的行为。“试验”则是在改变各类条件的前提下对目标进行观察的行为。

不管是观察还是试验，毫无疑问，统计学都在其中发挥了非常重要的作用，但随机对照试验这一形式，则使“试验”的思维方式向前迈进了一大步。

当然，在费希尔之前也有许多十分巧妙的试验。比如说在医学领域，1628年威廉·哈维通过将动物身体各个部位的血管进行绑扎试验，证明了血液是由心脏流经全身各个部位并在全身循环的事实。而在此之前，人们普遍认为血液是由肝脏产生并在人体各个部位消耗掉的。

除了哈维之外，在化学和物理学领域也有许多通过巧妙的试验才得以证实的定理和公式。但是，如果没有费希尔的随机对照试验，人类就无法科学地掌握“存在误差的现象”。

将血管捆扎之后，血流量就会减少，想必这一现象连小学生都知道。因为在这个现象中没有误差存在。牛顿看到苹果落地的现象后发现万有引力定律，而将苹果在空中放手后，每次苹果都会加速落地。

生物学领域又如何呢？我们可以对生物进行观察，实际上到中学为止，所学的生物学基本上都是对各种生物进行观察，理解其特征并且对其进行分类的博物学。就连在生物学上最具革命性的达尔文进化论，其研究方法也没有脱离博物学的生物学范畴。

但是，当我们理解了这些科学的方法论特征之后，对于“如何增加小麦的产量”这一课题，应该如何运用科学的方法来进行证明呢？

相比生物学家而言，农民对小麦的特征和种类应该更加清楚，而且他们根据自己的种植经验，或许会有“排水不畅的话收成就不好”、“冬天阳光充足的话就会大丰收”之类的建议。为了增加产量，应该在什么时候，加入多少、什么种类的肥料，他们对这一点应该也有自己的经验和直觉。

但是，他们的这种经验在费希尔之前都是不科学的。为什么这么说，因为这种经验并不像苹果每次都会加速落地。仔细施肥小心照料的年份，和几乎不施肥粗心照料的年份相比，有时候后者可能因为气候等原因反倒收成更好。而且，就算是在同一年份，施加同样肥料的田地里，也有茁壮生长的小麦和长势不好的小麦这样的个体差异。“利用试验找出真相”的科学方法论，在费希尔之前的时代是没有人想到过的。

找到“误差”的3种方法

当某种现象不会百分之百地出现时，要想科学地掌握这种现象，有3种方法。

第一种，是完全不考虑实际数据，以假设为依据建立理论模型。在统计学诞生之前，经济学等社会科学经常采用这种方法。

第二种，为了证明“百分之百出现”的状态，只将出现的结果进行报告。

比如，出现在生物教科书上的孟德尔，在针对豌豆的遗传因素进行调查的试验报告中就利用了这一方法，他在初期的试验报告中声称“以10次试验结果为例”，但实际上他选择的都是与他主张的遗传因素完全匹配的豌豆数据。当然除了这次试验之外，孟德尔还进行了许多次试验，并且提供了更多的数据，后来费希尔根据他所提出的报告进行了综合验证，得出“与实际相比，明显有少量误差”的结论。也就是说，不管是孟德尔还是他的助手都可能造成了失误，在孟德尔的报告中，只选择了与自己的主张匹配的“完美结果”。当然即便如此，他的遗传理论本身也是正确的。

至于第三种，就是费希尔提出的将随机因果关系用概率的形式表现出来的方法。

之前之所以列举小麦的例子，就是因为这是费希尔在“奶茶事件”之外第一次应用随机对照试验的事例。费希尔虽然拥有天才的头脑，但是却因为性格倔强而得罪了不少人，终于他厌倦了大学里的学术斗争，20~40岁这段时间他都是在英国的洛桑实验室以一名研究员的身份度过的。

他在因为学术斗争而意志消沉的这段时间，却有了改变历史的重大发现，可见人生真是难以预料。像费希尔这样的天才想要有所发现，既不需要气派的办公室，也不需要毫无实用价值的头衔，不需要优秀的同事，也不需要充足的研究经费，他所需要的只是能够自由使用的时间和数据。

想要对肥料A和肥料B与小麦产量之间的关系进行科学分析的话，试验结果确实很容易受排水、土壤肥沃程度、日照等客观条件的影响。但是，如果将耕地分为许多单位，随机将肥料撒在耕地上，那么施加肥料A的土地分组和施加肥料B的土地分组之间，平均条件就会大致相同。

随机化和随机样本这两个词语比较容易混淆，希望大家注意，但是通过随机确实能够对推测结果的误差进行控制，这一点是两者共有的特征。假设将全部耕地分为40个区域，在数量各占一半的区域分别随机施加肥料A和肥料B，其中一组的大部分区域集中在日照充足区域的概率有多少呢？

如果各个区域日照充足的概率全都是50%，那么随机施加肥料A的区域全部集中在日照充足区域的概率就是1/2的20次方，即大约1/1 000 000的概率。而两组中日照充足区域大致相同的概率则为13%（日照充足区域的数量差在1个以内的概率为36%，两个以内的概率为57%）。至于排水和土壤肥沃程度等条件也和日照的情况一样。

采取随机化的方法，可以使进行比较的两组之间各个条件基本相同。而唯一不同的条件，就是我们希望通过试验进行控制的肥料。如果在这种状态下，两组的产量出现了“并非误差的差距”，那么我们就可以用实际情况来证明“肥料的不同是使产量出现差距的原因”这一因果关系。

费希尔根据他在洛桑实验站得出的研究成果创作了《试验设计》一书，随后这本书成为各个领域的学者们争相研究的对象，并且一度成为全世界科学论文中被引用次数最多的著作。

在费希尔之前，就连小麦产量这样的问题都因为太多的可能性而难以进行科学分析，何况人类以及由人类群体组成的社会，对于以前的科学观念来说完全就是无法想象的。但是，自从有了费希尔创造的试验设计，不管是心理学、教育学还是政策学，甚至与我们的工作直接相关的经营学，这些以十分复杂且充满误差的人类为研究对象的科学，在20世纪已经遍地开花。

如果在伦理和预算上允许进行试验，那么与其毫无章法地强调自己的理论，不如找一群志愿者，随机分成几组，设定不同的状况，对结果的差异进行统计学分析。再也没有比这更加简单易懂且强有力的研究方法了。

正如我在前文之中所提到过的那样，由此得到的试验结果，必定能够成为你在商业竞争中最为有力的武器。

“当各个条件随机化之后，希望进行比较的两组之间就会有大致相同的状况”，如果将这一性质放在我们平时的工作中，就相当于将日照和排水换成顾客与员工的年龄与性别、心理特征等，即便这些条件千差万别，只要“在某种程度上使之随机化，就没有任何问题”。

通过适当地进行随机对照试验所得到的结果，可以说在科学上是完全正确的。如果你通过随机对照试验得到的结果具有一定的创新性，那么这就是可以整理成论文发表在学术杂志上的研究成果。

我认为，所谓科学并不是穿着白大褂整天摆弄那些奇怪的仪器和药品，带着谦虚的精神和大胆尝试的态度去寻找真理才是科学。

16 “一次购买两台缝纫机可以打9折”能够增加销量吗？

小成本大收益的随机对照试验

如果说为了避免出现错误而进行的随机对照试验属于“防守”的话，那么接下来，让我们看看随机对照试验在“进攻”上又有怎样的表现。

随机对照试验可以以较少的成本，大幅降低犯错的概率。

为什么要这么说呢？假设你在一家销售缝纫和编织品的公司上班，你的下属提出了“我们举办一个促销活动，一次购买两台缝纫机打9折”的建议。你面对这样的提议，会有怎样的想法？

一般来说，每家只会买一台缝纫机。就算是有2名以上成员对缝纫很感兴趣的大家庭，也没有必要特意买两台缝纫机。相信很多人都会有这样的感觉，所以对于上述的提议只会认为“这家伙在说傻话”，然后一笑了之。

但实际上，这并不是白痴的想法。不仅如此，在实际案例中，某家美国企业还用这种方法成功地将销量提高了3倍以上，可以说这个提议带来了一个非常成功的促销活动。

美国的乔安公司原本只是一家销售布料的公司，但是因为其很早就进军互联网销售领域，如今已经发展成为集缝纫、编织、蛋糕装饰等家庭手工于一体的大型综合企业。简单地说，乔安公司就相当于汤泽屋[1]。

乔安公司利用当时较为领先的独特计算方法，积极地进行A/B测试。每次开展促销活动之前，都会对几个促销方案进行随机对照试验。将那些经过试验证明行不通的方案首先排除，要比反复开会讨论有效率多了。剩下的“虽然没什么坏处但似乎也没有什么意义”的方案，将其随机化后与真正希望实施的促销计划进行对照试验再作判断，想必也没有什么损失。

而他们大胆的“进攻”态势所取得的最大成功，就是之前提到过的“一次购买两台缝纫机可以打9折”的促销活动。

这一方案所引发的现实结果虽然十分简单，但却是所有人都始料未及的。看到这一促销广告的顾客当然不会为了9折而购买两台缝纫机。但是，他们会为了享受9折的优惠，特意劝说邻居或者朋友一起购买。

也就是说，乔安公司或许在不经意间雇用了一个非常优秀的销售团队。结果正如之前所说，看到这一促销广告的顾客与没看到促销广告的顾客相比，人均销量提高了3倍以上。当然，这两组顾客是随机化的结果，除了是否看到促销广告之外的其他条件，基本都是相同的。由此可见，产生这3倍以上的销量差，主要就是因为“是否看到促销广告”。

如果你所在企业过于害怕失败，与提出新方案相比更喜欢想方设法地对新方案加以反驳，那么这种做法实在是愚蠢之极。避免无谓的风险和成本浪费固然重要，但就好像在没有统计学证明的前提下无法判断某个结论是绝对正确的一样，在没有统计学证明的前提下也无法判断某个结论是绝对错误的。

只要拥有一定的统计学思维能力，近年来在商业中应用随机对照试验并不需要太多的成本。比如说，在多个DM设计中找出最好的一个，单纯的讨论根本无法得出准确的答案。与其不断重复那种浪费人工成本的没完没了的会议，不如在比较便宜的媒体上进行小规模的随机对照试验，可以更加迅速、经济、准确地找到答案。

赚取1. 5亿美元的客户服务

随机对照试验的意义，不只局限于市场分析领域。当面对关于客户服务以及公司内部人事等难以找到正确答案的问题时，与其依靠个人的直觉，不如通过随机对照试验定期进行分析和判断，这种方法会给公司的长期发展带来非常大的好处。

比如美国大陆航空公司，针对飞机晚点时应该采取怎样的客户服务，就进行了随机对照试验。

他们将面临这些问题的旅客随机分为3组。第一组是“只发送正式的道歉信”，第二组是“除了道歉信外还特别赠送一段时间的免费会员服务”，第三组是“没有任何回应”。

随后的跟踪调查结果显示，没有收到道歉信的旅客在事情发生几个月后仍然感到愤怒。而收到道歉信的两组旅客在第二年的消费金额则增长了8%。也就是说，虽然飞机晚点给旅客留下了不好的感受，但真诚的道歉成功地扭转了负面印象。在获得一段时间免费会员服务的旅客当中，有30%的人在免费会员服务到期后选择自掏腰包续费会员服务，这也为美国大陆航空公司增加了一笔收入。

从此以后，每当出现问题的时候，美国大陆航空公司都会向遭受损失的旅客发送道歉信并提供一段时间的免费会员服务。结果，他们的销售额增加了1. 5亿美元。

当我们面对“找不到正确答案的问题”时，首先应该想到的就是进行随机对照试验。只要采取随机对照试验，并且对后续的数据进行采集，就能够找到“怎样做才好”以及“能够创造多少利益”这些问题的答案，至少能够在通往正确判断的道路上实实在在地更进一步。

“随意”并不是真正的随机

虽然有些人认为随机不可靠，但实际上并非如此。也有人将随机理解为“非人为”，总之就是不受人类意志的控制，或者也可以称为“或然性”。

在这里必须注意的一点是，人类似乎“非人为”或者“随意地”提出的数字，实际上并非真正意义上的随机。

比如说选择题的答案，按理说出题人应该是“随意地”决定一个选项，可正确答案是C的概率却要远远高于答案A。

再比如，将字母A和字母B以随机的方式每3个排在一起，那么在总共8种可能的排列中，“AAA”和“BBB”这种3个同样字母的连续组合出现的概率应该是2/8，也就是25%（如图4–2）。可是当我们“随意地”排列字母A和字母B时，很多人会感觉“将3个同样的字母排列在一起会显得不自然”，从而下意识地避免这种组合，结果导致其出现的概率远低于25%。

图4–2 将A和B以随机的方式每3个排在一起

想要实现真正的随机，就必须彻底放弃这种“潜意识”的判断，追求更加严密的无序性。万幸的是，如今我们只需要在Excel电子表格中键入“=rand（）”，就能够非常简单地得到一个随机数。

或许在你的办公室中，也有认为随机化是“不负责任”的人。可是，如今就连美国政府都已经承认了随机化的力量。

在美国，要求政策实施前必须进行随机对照试验的法规已经多达数千条，从公立学校的升学到法官的判决，许许多多的行政机构也已经开始进行随机对照试验，并且得出了各种各样的实证评价。就连美国总统奥巴马成功连任的背后，也有丹·西罗克在资金募集和争取投票中导入庞大数据进行A/B测试所做出的贡献。

日本有句俗话叫作“白痴的思考毫无意义”，意思就是说脑子不好的人就是想破了头也没有用，干脆不要浪费脑细胞。我觉得，我们人类基本上都是这种“白痴”。面对那些不管怎么想都想不出所以然的问题，认为只要仔细思考就一定能够找到答案的这种想法，本身就是非常愚蠢的。

我们所能做的，就是采取随机化的方法听天由命，然后利用统计分析的方法聆听上天带给我们的答案。

17 随机化面对的现实、伦理和感情之壁

读到这里，大家应该已经理解随机化的威力了。本书将统计学称为“最快找到最佳答案的方法”，可以说随机化就是其最强有力的武器。

但遗憾的是，这个武器却不能随时随地使用。

在这个世界上，有本身就无法进行随机化的情况，有不允许进行随机化的情况，还有虽然可以进行随机化，但如果进行随机化就会出现巨大损失的情况。这3种情况，分别被称为“现实”之壁，“伦理”之壁以及“感情”之壁。接下来，我将针对这3种情况分别加以说明。

“现实”之壁

随机化所要面对的“现实”之壁，就是“受限制的样本数量”和“无法控制的条件”。

比如说，乘坐航天飞机前往月球，机组人员应该配备3个人还是4个人呢？美国国家航空航天局（NASA）曾经针对这个问题进行讨论。当然，随机对照试验能够在解决这个问题上发挥力量。从现在开始，每个月向月球发射100次航天飞机，其中50次搭载3个人，50次搭载4个人。然后计算每次花费的成本和取得的成果，将“并非误差的差别”进行比较。

如果哪位统计学家提出这样的建议，那么你完全可以把这家伙看作一个傻瓜。当然，人类对宇宙开发的技术已经取得了极大的进步，如果在非常接近宇宙飞行的条件下进行训练或者对部分相似的内容重复进行试验，也许能够发挥随机化的威力。可是，重复进行100次月球旅行的预算究竟从何而来呢？

不仅月球旅行，凡是类似于“只有1次机会”或者“只有数量有限的几次机会”的事情，随机化都无法发挥真正的威力。

比如，公司是否应该进行大规模的企业合并，或者是否应该向现在的恋人许诺“牵手一生”，随机化对此都无能为力。

说句题外话，我有一位朋友是统计学家，这辈子他就谈了一次恋爱并且和唯一的恋人结婚了。对于这位朋友的恋爱经历，我们充满敬意地评价为“无法进行统计学分析”。因为只有唯一的数据，既没有误差也没有标准偏差，只有唯一的平均值，既是最大值，也是最小值。统计学对此毫无办法。

还有另外一个“现实”之壁，那就是无法对随机化的条件进行控制。比如说，想要验证“经历过大地震的员工的意志力更强”这个假设，可是人类并没有控制地震的技术，所以别说随机化了，就是任何试验都没办法进行。

如果这个验证请求来自一家除了东京之外没有任何分公司，而且也基本没有出差任务的公司，即便拥有控制地震的技术，也没办法进行试验。因为一旦在东京引发了大地震，那么所有人都将无法避免地被卷入这场灾难之中，包括随机化在内的一切也都会随之灰飞烟灭。

“伦理”之壁

上述那个大地震的试验，又引出了“伦理”之壁的重大问题。

即使想要了解员工的意志力，相信也没人会故意破坏自己的公司大楼让员工受重伤。而且就算“这项试验成功的话，会在今后的地震中拯救更多的人”，也没人会为了一个不确定的“将来时”，而让当下出现伤亡。

如果是以公正论而闻名的桑德尔教授，或许会对此进行更加深入的探讨，但那样的话本书就跑题了，所以在这里我们只介绍在统计学家之间达成共识的伦理底线。

1. 因为随机化而造成的状况，全部或者其中之一明显有害（或者有极大的可能性带来危害）的情况下不可行。

2. 就算没有明显有害的情况，但是有在事前就知道明显不公平的情况也不可行。

第一种伦理底线是连小学生都明白的道理，即“不能做坏事”。明知道是坏事还要继续进行的试验，就好像纳粹的人体试验一样，是绝对不被允许的。

比如，吸烟究竟是不是导致肺癌和心脏病的罪魁祸首，对于这个问题，历史上没有进行过任何随机对照试验，而且我可以肯定地说，只要人类的伦理常识不被颠覆，今后也绝对不会针对这个进行任何的随机对照试验。

所以，在没有进行随机对照试验的前提下，不管搜集多少数据和实例进行统计分析，都只能得出“吸烟与肺癌和心脏病有关”这样一个结果。如果特意进行随机对照试验且证明了吸烟有害健康，那么试验的过程一定超出了伦理所允许的范围，科学家们必然会受到良心的谴责。

第二种相对于第一种来说没有那么严重，比如在没有特殊原因的前提下对随机半数的国民进行减税，或者对随机半数的癌症患者给予治疗的特效药。不过，这种行为反过来看，就是“对另外一半人明显的不公平”。这一点在特别要求公平性的行政举措上更为明显。

但是，有些情况虽然乍看上去“对一方特别有利”，但因为无法通过统计学充分证明，所以“实际上不知道究竟对哪一方更有利”。在这种情况下，就可以进行随机对照试验。

美国就曾经对实施的政策进行过随机对照试验。

给一部分贫困家庭发放补贴券。

对一部分失业者给予寻找工作和面试方面的指导。

给一部分低收入者基本生活保障（收入达不到最低生活标准时，政府补贴差额）。

上述这些事例乍看上去都是对低收入者和失业者给予帮助的举措，但因为有议员提出“不但无益反倒有害”的反对意见，所以政府对进行随机对照试验下达了伦理上的许可。

试验结果表明，即便通过经济补贴使贫困家庭摆脱恶劣的处境，但是贫困家庭中孩子的学习成绩和犯罪率仍然没有任何改善，甚至对男孩子还会产生不好的影响。

在综合分析了到目前为止的研究结果与议员提出的意见之后，美国政府每当面对“乍看上去很有利，但实际情况并不明确”的提案时，都会进行随机对照试验。具有重大社会意义的随机对照试验，还会得到特殊的财政预算以及伦理许可。不得不说，美国的这种做法是非常值得我们学习的。

“感情”之壁

但是，对实际上不知道究竟对哪一方更有利的问题进行随机对照试验的行为，即便在科学和伦理上得到了允许，我们仍然难以避免参加试验的人会有“靠碰运气决定自己命运的事情真是讨厌”之类的想法。这就是最后的“感情”之壁。

比如，之前提到的对贫困家庭提供经济补贴的政策，虽然已经通过随机对照试验的结果证明了其“整体倾向明显有害”，仍然难免有人产生“我们家不会出现那种情况，所以不要找借口，快把补贴给我”，或者“只有一部分家庭能够得到补贴太不公平了”之类的反感情绪。

不管是社会保障制度、医疗制度还是教育制度，只要坚持进行随机对照试验，一定能够在将来使社会变得更加美好。可是，总会有制度的受益者或者相关人员产生“擅自做出这样的决定真是让人难以接受”，或者“搞不好以后自己会吃亏，那可不行”之类的想法，这些强烈的抵触情绪，实际上也是伦理上应该考虑的问题。

在商业活动中进行随机对照试验，虽然不必像科学家和政府官员那样面对严格的伦理考验，但如果在感情方面掉以轻心，很容易遭到顾客、同事或者上司的严辞责备。

比如亚马逊网站就曾经“偶然地”针对标价方法进行了随机对照试验，没想到这件事却被顾客发现了。起因是有位顾客不经意地在朋友的电脑上搜索自己曾经买过的DVD，不知为何价格便宜了5美元，后来这件事逐渐在顾客群中越传越广。顾客们认为亚马逊公司一定经常通过这种手段骗他们的钱，结果引起了轩然大波。

最后，还是亚马逊公司的首席执行官（CEO）出面，向顾客道歉，“针对价格进行的随机对照试验，是我们的失误”，并且保证“如果今后再出现这样针对价格进行的试验，所有顾客最终都将按照最低的价格支付”。

这个问题不只局限于随机化，只要是想在商业领域应用统计学，就总有一天不得不面对这个问题，希望大家牢记。

就像上一节的内容中提到过的航空公司的事例，如果被顾客知道“自己是偶然间被随机选中发送道歉信”，或者“自己是偶然间被随机选中没有得到任何道歉”的话，那么顾客对这个品牌的好感度一定会飞到九霄云外。

“失去顾客的信任”究竟会对业绩产生怎样的负面影响，由于“现实”之壁和“伦理”之壁的存在而难以通过随机对照试验来进行验证。但即便如此，我们也绝对不能对这个问题视而不见。

[1]　汤泽屋，YUZAWAYA，日本连锁小商品零售企业，最早通过网络销售取得成功，店门前的绵羊挂钟很有特点。——译者注

第五章

无法进行随机对照试验时该怎么办？

18 低成本、快速搜集数据的流行病学方法

读到这里，相信诸位已经了解到随机对照试验的强大力量，以及在怎样的情况下无法运用这种巨大的力量。

只要能够进行适当的随机对照试验，我们就能够对这个世界上所有的因果关系进行科学验证，并且对验证结果加以利用。但是，在我们无法对随机对照试验的条件进行控制时，或者虽然能够控制但是在伦理上不被允许时，甚至在伦理上没有问题，却有可能导致相关人员出现反感情绪时，都无法进行基于随机化的统计学分析。

当然，即便无法进行随机化，并不意味着统计学就完全无法发挥作用。正如我在上文中提到的“科学是由观察和试验组成的”，除了基于随机化对条件进行控制的试验之外，单纯地进行观察也可以发挥统计学的巨大力量。

看一看烟盒上的标语吧

之前，我以吸烟与癌症的因果关系为例，介绍了因为伦理关系无法进行随机对照试验的状况。因为已经有非常多的实例证明了吸烟有引发癌症的风险，仅仅是为了“确实证明这一点”而人为地让研究参与者感染癌症，在伦理上是不被允许的。

当然，吸烟导致癌症这个结论并非一开始就得到了证实。

早在18世纪，人们就已经发现浑身沾满煤灰的烟囱清扫工很容易罹患皮肤癌（当时并不叫这个名字）。1915年，日本人山极胜三郎和市川厚一通过试验证明，在兔子耳朵上涂抹煤焦油会使兔子产生癌症。那么，同样含有焦油的香烟是否也会导致癌症呢？每一位对癌症持关注态度的医学研究者都产生了这样的疑问。

英国人理查德·多尔与奥斯汀·布拉德福德·希尔最早对这一问题进行了证实并且提交了试验数据。如果你身边有烟盒的话，一定能够在上面看到这样的警示标语：“吸烟有害健康，根据流行病学研究，吸烟者的肺癌发病率比不吸烟者高2~4倍”。像这种最早的“流行病学推断”，就是由他们提出的。

前文中介绍过的斯诺的流行病学，在他死后于英国得到了切实的普及和发展。多尔与希尔依据斯诺死后得到发展进步的流行病学方法论，对吸烟与肺癌之间的关系进行了统计学分析。

多尔与希尔在1948~1952年这5年时间内，从英国医院中找到了1 465名因肺癌住院的病人，调查他们的性别、年龄层、社会阶级、居住地以及是否吸烟等条件。同时，还找到了相同数量因肺癌以外疾病住院的病人，这些病人除了吸烟之外的性别、年龄层、社会阶级以及居住地等条件都和之前的病人一样。

除此之外，他们还对患者是否有过肺炎病史、家中住宅的暖气设备种类等当时被认为是导致肺癌的主要原因都进行了调查，结果显示与肺癌最具关联性的原因还是吸烟。多尔与希尔的研究成果如表5–1所示。

表5–1 肺癌与吸烟的关系

总人数

吸烟者

不吸烟者

男性（人）

肺癌患者

1 357

1350

7

99.5%

0.5%

非肺癌患者

1 357

1296

61

95.5%

4.5%

女性（人）

肺癌患者

108

68

40

63.0%

37.0%

非肺癌患者

108

49

59

45.4%

54.6%

当时社会的吸烟率比现在要高得多，在1 357名男性肺癌患者中，不吸烟的人只有7名（0.5%），而非肺癌患者中不吸烟的人则有61名（4.5%），大约是前者的9倍。108名女性肺癌患者中，不吸烟的人有40名（37%），非肺癌患者中有59名（54.6%）。

对这一结果进行卡方检验，男性组的p值在0.1%以下，女性组的p值在1%以下。也就是说这一结果并非误差，而是证实了肺癌患者的吸烟率很高。在两人撰写的论文中，不只对吸烟/不吸烟进行了对比，他们还对患者每天的吸烟量进行了比较，并且得到了更低的p值。

当然，因性别与年龄层的不同，吸烟导致肺癌的发病率也不同。而且，当时的贵族等富裕阶级与普通劳动者之间的生活和健康状况也有很大的差别。

所以，像多尔和希尔所采用的这种被称为“病例对照研究”的数据采集方法是非常重要的。

在进行对照时，选择的是“除了要研究的致病因素之外，其他条件基本相同的患者”。其中“基本相同”的定义比较模糊，但最好能够使除了致病因素之外的其他条件都处于同等状态。所以，多尔和希尔在除了吸烟这个致病因素之外，还选择了性别、年龄层、社会阶级、居住地等与肺癌相关的条件，并且选择了与作为调查对象的肺癌患者同等数量的其他疾病患者，以性别和年龄层分组进行比较，这样就算没有随机化也一样能够实现“公平比较”。

但是，费希尔却在晚年时（费希尔在多尔与希尔发表研究结果时已经62岁，并且在10年后死于癌症），特意撰写了论文针对上述流行病学的思考方法进行了猛烈的抨击和反驳。因为他本人就是一名烟鬼，所以有些流行病学家和统计学家都开玩笑地说“就连费希尔那样的天才，都对影响自己嗜好的研究表示反对”。但实际上，这并不见得就是一位老人偏执的牢骚。

费希尔反驳的关键点之一，就是“没有进行随机对照试验的分析，就算再怎么以为是在同样条件下进行的分析，准确地说也并非公平的比较”。

如果能够实现随机化，不管设定什么样的条件，都可以使想要进行比较的两组处于相对平等的状态。也就是说，无论是否对该条件进行测定都不会发生改变。

即便有某种超出我们认识范围的条件对结果造成影响，只要进行随机化分析，也可以在无形中实现“相对平等”。

但是，病例对照研究在这方面表现如何呢？在病例对照研究中，所谓的“同样”实际上只不过是人为挑选出来的“同样”条件。多尔与希尔的研究结果，虽然在年龄层、性别、社会阶级与居住地等条件能够保持“同样”，但是如果有其他影响结果的因素存在的话，就无法保证两组患者之间的比较是平等的。

比如在社会阶级这一条件中，他们选择了同样的“劳动者”，碰巧肺癌患者中有很多烟囱清扫工，而烟囱清扫工又是全英国吸烟率最高的人群，如果这样的话，还是会得出肺癌患者吸烟率很高的结果，可实际上，这种比较结果是不准确的。

尽管通过这样的试验得到的p值很低，但是却无法避免由于某种原因导致结果出现偏差的情况。

当然，除此之外还有其他的反驳意见。比如说多尔与希尔所收集的数据全是以英国人为基础的，所以有人认为这一结果不能作为全人类的统一标准。另外还有人认为，由于调查过程都是直接向本人进行询问，所以肺癌患者或许会“夸大吸烟的行为”。

终于，最早参与弗明汉研究并且在其中担任主要职位的统计学家杰罗姆·康菲尔德等人于1959年发表的论文，终结了上述那些反驳的声音。康菲尔德等人引用了之前发表的所有关于吸烟与癌症关系的研究，并且进行了综合性判断，最终得出了吸烟确实会带来罹患癌症风险的结论。

所有关于吸烟与癌症关系的研究，指的是除了英国之外，美国、加拿大、法国以及日本等国都进行过与多尔和希尔同样的病例对照研究。而且，每个国家的研究结果都惊人的一致。

在日本进行这一研究的人，是最早在日本东北大学进行公众卫生学讲座的教授，同时也是“母子健康手册”的发明者濑木三雄，他于1957年发表的论文提到了这一研究的结论。在给这个时代的世界带来巨大冲击的流行病学研究中，也有日本人贡献的一份力量，实在是非常值得日本人民骄傲的事实。

在拥有不同文化、不同国民、不同社会构造的集团中，全都表现出吸烟与肺癌的密切关系。至少在当时的日本，烟囱清扫工这一职业并不像英国那样普遍存在。

确实，像病例对照研究这种自从出现了肺癌这一“结果”之后，才对患者的过去进行调查的方法，有可能由于不同组别之间记忆与回答的不同而导致结果产生误差。但是，像弗明汉研究那样在结果出现前就一直进行持续调查的流行病学研究（这种方法也被称为队列研究）所得出的实例，也被康菲尔德引用在论文之中。

多尔与希尔在随后进行的其他研究中，对5万名内科医生的生活习惯和癌症发病率进行了持续5年的调查，结果表明吸烟者的肺癌发病率要明显高于不吸烟者。美国对20万名老年人进行的队列研究结果同样显示，吸烟者的肺癌发病率高于不吸烟者。

至少在“结果”出现之前先收集吸烟率的数据，就不会出现越是肺癌患者吸烟率越高的“因果关系逆转”的情况。

面对“无法保持一致的条件”应该如何选择？

因为流行病学研究无法完全实现随机化，所以不管选取的条件多么完善，都会出现“无法保持一致”的可能性。那么反过来说，究竟是什么条件无法保持一致呢？

从科学的角度来说，如果有“无法保持一致的条件”存在，就无法确定是否真正有危险。但是，仅仅因为这一点就对“或许有巨大危险”的情况视而不见，那实在是非常愚蠢的做法。

在动物身上涂抹焦油会导致动物感染癌症，所有的流行病学研究都表明吸烟者与癌症之间有非常明显的关联性，这些结论已经基本可以使我们做出吸烟有害健康的现实判断。

如果你是一名吸烟者，在了解肺癌带来的剧烈痛苦和抗癌药物的副作用的基础上，仍然坚持吸烟的话，那完全是你的自由，但希望你能够考虑一下“二手烟”给你的家人和朋友带来的危害。当然，你也可以像费希尔那样，坚持认为“没有通过随机对照试验证明的结论都是不够严谨的，所以无法证明吸烟和肺癌之间有确切的因果关系”。

但是，如果政府因为同样的理由而对吸烟问题视而不见，那么在讨论科学性之前应该考虑的是政府的无能。比如在日本，医疗经济研究机构根据最新的流行病学研究报告计算得出，因吸烟而导致的医疗经费的消耗和劳动力流失等情况，每年都会给日本的经济带来7兆日元以上的损失。而香烟带来的税收则连损失的一半都抵不上。

仅仅因为“在科学上没有确切的结论，或许结果并非如此”，就对占GDP比例为1%——7兆日元——的损失视而不见，实在是愚蠢至极。那些只是为了自己的痛快就批判政府禁烟政策的人，不如考虑一下如果自己生活在上述那种愚蠢的国家中会是怎样的一种情形吧。

对流行病学持否定态度的人，尽管找出一些极端的例子来作为反驳。这反倒会使流行病学大幅降低由于掉入意想不到的陷阱从而得出错误结论的可能性。但是，如果统计学家们对这些反驳也找到了数据进行证实，那么相信这一结论才是对你最有利的选择。在这种情况下仍然继续坚持“没有进行随机化就不够严谨……”的反驳是毫无意义的。不只是流行病学，在政策、教育以及经营等诸多领域之中的统计学观察研究都是如此。

世界上最具影响力的医学杂志《新英格兰医学期刊》在2000年曾经刊载了一篇以“在对同样的因果关系进行分析的医学研究中，流行病学研究真的不如随机对照试验吗？”为主题的文章。这篇文章对20世纪90年代前期刊登在主要医学杂志上的论文进行了比较分析，结果发现流行病学研究所证明的巨大风险，“与随机对照试验的结果几乎没有区别”。因此，他们认为“通过高超的统计方法，能够对条件进行适当的调整”。

在随机对照试验难以实现的情况下，能够以较低的预算和较快的速度收集数据的流行病学方法显然更加实用。而实际上，这种情况在我们生活的社会中已经屡见不鲜了。

19 “回归平凡”的回归分析

什么是回归分析

即便不像病例对照研究那样专门在数据采集上大费周章，仍然可以通过高超的方法找到最全面的条件进行“公平比较”。为了实现这一目标，最重要的方法之一就是回归分析。

在大学的统计学教科书中，T检验、卡方检验、方差分析与回归分析是必定会出现的内容。但上述这些统计方法，都可以统一理解为“广义线性模型”的回归分析思考方法，这一点已经在1972年被聂耳达和维达潘两名统计学家证实过了。展现数据之间的关联性，检测是否属于误差范围的所有方法，大体上都可以看作回归分析的一种方法。

但是，回归分析的方法为什么如此重要呢？就算没有任何数据，我们也能够从亲身体验中掌握某些经验和规律。有人说这是“迷信”，有人说这是“理论”，还有人说这是“成功的秘籍”。

实际上要回答回归分析的方法为什么如此重要，首先要搞清楚这个所谓的“回归”究竟是什么意思。在本节中，我们将对“回归”这一现象被发现的历史过程加以说明。

当我听说世界上第一个回归分析的事例时，首先想到的是我高中时代的一位好友野村。

野村当时只与比自己矮的女孩子谈恋爱。因为他本身个子很矮，所以能找的女孩子也自然受到了极大的限制。当时和我们一起玩的好朋友中有一位叫作小林的女孩子，这个女孩身高170厘米，像小林这样高挑的女性是完全被排除在野村的恋爱对象之外的。

我当时刚好学到查尔斯·达尔文的进化论，不由得害怕像野村那样的男人太多会使世界上的人类被分成两个种类。

为了便于解释说明，我首先简单地总结一下达尔文进化论的内容。

即便是相同种类的生物个体之间，仍然存在微妙的差别。

个体特征会由父母遗传给子女，其中包括对生存和繁殖有利的特征。

拥有对生存和繁殖有利特征的个体，会在不断的繁殖中逐渐增加（相反拥有不利特征的个体则会被淘汰）。

什么样的特征对生存和繁殖有利是由环境决定的。

也就是说，生物会通过世代繁衍发展出适应环境的特征。达尔文在乘船环游世界的时候，发现即便是同一种小鸟，嘴巴的形状仍然有微妙的差别，于是他专门为此创作了一部关于进化论的著作《物种起源》。

如果所有人都像野村那样思考，身材高挑的女性只找比自己更高的男性结婚，身材矮小的男性只能找比自己更矮的女人结婚。那么，身材高大的父母生出的孩子会更加高大，而身材矮小的父母生出来的孩子只会更加矮小。

如果世世代代就这样遗传下去，那么人类的身高早晚会出现两极分化的局面。也许在马和驴这两个大小完全不同的近缘种之间，就曾经发生过这样的情况。

这并非脑子有问题的高中生的胡思乱想，包括费希尔在内的那个时代的很多统计学家们全都对这一假设进行过认真研究。甚至可以说，当时之所以有那么多的统计学方法，就是为了对进化论的思考方法进行验证而诞生的。费希尔之所以会指出孟德尔研究报告的错误，就是因为他在身为统计学家的同时也对遗传学和生物学的研究抱有浓厚的兴趣。

达尔文的表弟与优生学

达尔文的表弟弗朗西斯·高尔顿，创造了专门用来进行生物分析的统计学。或许这样说有点奇怪，但他也和我们一样在高中时期接触到达尔文进化论。

不过，高尔顿打算将进化论应用在人类身上。高尔顿在1883年发表的《人类的才能及其发展研究》一书中，提出了“应该对更适应环境的人种和血统优先给予更多的机会”这一优生学的观点。

优生学认为，人类的才能是由遗传因素决定的，所以主动淘汰没有才能的人，让有才能的人尽可能多地繁衍后代，就能够不断地提高人类的才能，这才是人类所应该坚持的正道。

高尔顿的这一观点在之后的一段时间曾经在欧美国家非常流行。究其原因，大概是因为19世纪欧洲依然存在着贵族和劳动阶级之间巨大的阶级差距。对于那些渴望守护自己既得利益的贵族们来说，高尔顿的优生学是再合适不过的论据。根据优生学的观点，贵族拥有“更适应环境的、有才能的血统”，所以让他们和他们的子子孙孙都享受这样的生活对人类的整体发展十分有利。更进一步地说，按照高尔顿的观点来看，富裕阶级缴纳高额税金救济贫困阶级的行为，反倒是阻碍人类进步的万恶之源，这也成了贵族抨击政府税收制度和社会保障政策的理论依据。

现代社会普遍认为优生学之所以被禁止，是因为纳粹对这一理念深信不疑，并且加以利用，对他们所谓的“劣等人种”进行虐杀所导致的。但实际上，在大约50年前的美国，还有法律允许对弱智人群以及性犯罪者进行灭绝的“断种”行为。因此，在这方面犯下种族灭绝罪行的不只是纳粹。世界上竟然还曾经有这样的法律存在，其背后多多少少也有优生学的观点在作祟。

“回归平凡”的现象

不过，抛开伦理上的因素不谈，高尔顿和他的学生们通过自己的研究证实了，优生学的理论实际上并不是那么可靠的。

高尔顿和他的学生们的研究结果如图5–1所示。

虽然高尔顿希望找到人类才能与遗传之间的关系，但当时距离法国心理学家比奈发明智商检测还有好几年的时间。

智商（IQ）这个词在现代可谓家喻户晓，不过，对“才能”这个看不见摸不着的抽象概念进行检测，是近代以来心理学和统计学发展进步之后才得以实现的。也就是说，即便高尔顿想要对才能进行统计分析，他却无法得到与之相关的任何数据。所以，高尔顿退而求其次，对大约1 000组家庭的身高进行了检测，试图用实际情况证明“优秀的父母能够生出优秀的孩子”这一理论。结果如图5–1所示。

横轴是父母双亲身高的平均值，纵轴是他们孩子的身高，单位都是英寸，圆点的大小代表符合该数值的人数的多少。

从左下到右上的虚线，表示的是“父母身高平均值=孩子身高”的理论关系。而另外一条实线则是实际测量所得的数据，也就是“父母身高与孩子身高最小误差的预测值”。这条直线用左上方的公式表示为y=29.4+0.57x。英国的1英寸大约等于2.54cm，换算成现代的标准长度单位就是29.4×2.54=74.7cm，得出的结果如下。

像这样对数据间的关系进行记录，或者根据一方数据推测另一方数据的方法就是回归分析的思考方法，上述公式所表示的那条直线被称为回归直线。这其中最重要的部分在于实线所表示的实际关系，与虚线所表示的理论关系之间的区别。

父母双亲身高的平均值（英寸）

孩子的身高（cm）=74.7（cm）+0.57×父母双亲身高的平均值（cm）

图5–1　1 000组家庭的身高调查

图表左侧，也就是双亲平均身高较矮的一组中，表示理论关系的虚线比表示实际关系的实线更低。

这究竟是为什么呢？自古以来大家都认为孩子的身高会和父母双亲的身高基本相同，可是高尔顿的数据分析却显示身材高大的双亲，其子女不一定高，身材矮小的双亲，其子女也不一定矮。这一结果就连高尔顿都始料不及。

高尔顿将这一现象称为“回归平凡”，后来他的学生和受他影响的统计学家们将其称为“均值回归”。意思就是说，实际的数据比理论上的推测更加接近平均值。

换成之前提到的我的那两个朋友，就是“身材矮小的野村的儿子可能比野村更高”，而“身材高挑的小林的女儿则可能比小林更矮”。

像身高这种测量误差极小，遗传因素很强的条件都尚且如此，才能就更是这样了吧。有才能的双亲生出来的孩子或许会拥有比平均值更高的才能，但却不能对此做出万无一失的保证。所以，人类不可能出现两极分化的进化过程，也无法按照遗传和人种来使人类区别开来。

“奥林匹克魔咒”的真相

之所以会出现这种“均值回归”的现象，是因为不管是身高还是才能，或者生物的特征等，这个世界上的所有现象都拥有其独特的“随机性”。

让我们用奥运选手的事例来作具体的分析。

只有在预选赛上创造出优异成绩的选手才能够代表国家出战奥运会，但在奥运赛场上，运动员却往往发挥失常以致最终抱憾收场。这样的状况想必在每届的奥运会上都会出现。这就是均值回归的典型事例，是体育结果的随机性所导致的现象。

体育结果往往不完全由实力决定。就连100米赛跑这样单纯的竞技项目，每届大赛的最佳成绩都不一样。如果将这个被随机性所决定的因素称为竞技状态的话，那么那些碰巧在预选赛上取得佳绩的人之中，有很大一部分是发挥出了他本人的最佳竞技状态。

但是，仅凭最佳竞技状态下取得的成绩去预测正式比赛的结果，无异于期待“奇迹连续发生2次”。像这样的选手在正式比赛中，有可能发挥平庸甚至发挥失常。与再次超常发挥取得奇迹一般的好成绩相比，出现“均值回归”的可能性更大。当然与之相反的情况是，即便在正式比赛之前发挥失常的选手，也有可能出现“正式比赛时发挥更好”的均值回归现象。

被称为“奥林匹克魔咒”的现象背后，也许有很多情况只用“均值回归”就可以解释。所以运动员们所追求的是调整身心状态，“尽可能地减少随机性”，以及“不会被随机性所左右的压倒性的实力”。

从高尔顿与他的学生们身上我们所能够学到的是，无法针对拥有随机性的现象进行理论上的预测。因此，必须仔细地收集数据进行回归分析，并且对其关联性进行分析。

但是，通过回归分析得出“最接近的预测结果”后仍然不能就此满足。因为这个最接近的预测结果虽然是与数据之间误差最小的结果，却仍然存在误差。而我早在上文中就已经说过不考虑“误差”的计算都不准确。

那么，究竟应该怎么做才是对的呢？

实际上我们并非束手无策，在下面的内容中我就将为大家介绍费希尔在随机对照试验之外，为统计学带来的另外一种方法。

20 所有领域都可以应用的回归分析法

高尔顿的回归分析的局限性

我还记得在大学的实验实习课上，必须用“在方格纸上标出的圆点中心画一条直线，然后计算这条直线的斜率”这样一个大概在100年前频繁使用的方法作报告。高尔顿就是将这个模拟方法加入了一些数学的模型。

也就是说，高尔顿的回归分析，只不过是导出了“穿过数据中心的直线以及表示这一直线的公式”。所以，比如说像图5–2、图5–3所示的状况，仅仅依靠高尔顿的回归分析是无法进行区别的。

图5–2和图5–3通过回归分析所得到的表示，通过中心直线的公式（回归式）全都是y=18+0.8x。也就是说，每当x轴的值增加1，y轴的值就会增加0.8，这是一个成正比的关系。其中18和0.8等用来表现回归式的数值都被称为回归系数。正如我们在中学教科书中学到过的，18被称为截距，0.8被称为斜率。

图5–2 随机性较小的回归分析

但是，即便拥有相同的回归式甚至回归系数，图5–2中横轴与纵轴的值很明显是从左下向右上的直线关系，而图5–3中所显示的走向关系则没有图5–2那么清晰。

毕竟，从杂乱无章的圆点中找到一条通过的直线，并不是一件容易的事。

那么，这两个图表之间究竟有什么区别呢？

图5–3 随机性较大的回归分析

我们假设在这两个图表中随机去掉3个圆点。图5–2中不管去掉哪3个圆点，最后得到的直线仍然不会有变化。而图5–3中如果碰巧去掉最右上的2个圆点以及左下的一个圆点的话，那么穿过中心的直线一定会变得完全不同。

图5–3变化后的回归式就成了y=103–0.85x。也就是说，仅仅去掉了3个圆点之后，整个图表的函数关系都发生了逆转，x的值每增加1，y的值就会减少0.85（图5–4）。

这样一来，根据这个回归分析的结果，就不知道要想使y增加时，到底应该增加x还是减少x。比如在商业领域，希望了解销售额（y）的增长和广告量（x）之间有什么关系，可是根据上述的结果，根本不知道究竟应该增加广告还是减少广告，所以这种分析可以说是毫无意义的。

回归系数本身就有随机性

上述例子是从20个数据中去掉3个，而实际上这20个数据也是“从自然界无限的数据中偶然得到的数据”。假设最初“偶然”得到的数据只有17个，那么就不一定会得到之前提到过的那种成正比的关系，甚至可能出现像图5–4那样的反比关系。

图5–4 数据数量发生微弱改变后，关系发生了逆转

因此在现代统计学中，不仅实际得到的数据本身具有“可能出现较大值，也可能出现较小值”的随机性，就连得到的回归系数的本身也是随机存在的。也就是说，假设从现在开始进行100次从“偶然得到的数据”中求得回归系数的计算，那么一定会“既有可能得出较大的值，也有可能得出较小的值”。

不只回归系数，就连数据的平均值这么单纯的数值，如果进行多次数据采集并对统计量加以计算的话，每次得出的统计量也是不同的。

在这里还有一点必须注意，例如从某小学4年级一个班全部40名学生的学习数据中算出回归系数和平均值，即便在这种情况下，也必须考虑统计量的随机性。

与罗斯福新政的失业率调查不同，采集了全体数据的回归系数必定是单一数值。所以，如果这个回归系数只应用在这个班级的40名学生上，是没有任何误差的。可是这样一来，好不容易收集数据进行分析得出的结果，就只对这个班级的学生有意义了。

对没见过这40名学生的人来说，根本不在乎他们的成绩如何。但是，如果这个数据能够代表与这40名学生同年龄的孩子的成绩情况，那么对此感兴趣的人的人数一定不少。也就是说，真正有意义的数据是“同年龄全体孩子”这一群体的回归系数，某小学4年级一个班全部40名学生的数据，只是庞大群体中的“一小部分”罢了。

由此可见，人类真正想知道的基本上都是那些难以轻易得知的事情。

或许在这个世界上，有人只失恋两三回，就得出了“女人全都在说谎”的结论。要想验证这个结论是否准确，那就必须对全世界大约30亿名女性进行非常仔细的观察，确认她们是不是在说谎。更进一步地说，就算确认了“2012年世界上所有女性都在说谎”，也无法擅自断言从今往后“她们还会继续说谎”。毕竟，人类的性格和思维方式是不断发生改变的，或许2013年会有不说谎的女性出现呢。

统计学家也无法理解的“真值”

费希尔将“如果拥有无限的数据就能够得到的真正想要知道的值”称为“真值”，并且通过对偶然得到的数据进行计算的统计量能够在多少范围的误差内推测真值进行了数学上的运算，最终发现在数据有限的情况下做出适当判断的方法。

通过现实数据得到的回归系数之类的统计量，相对于真值来说只不过是一个适当的估计值，如果在估计之外更进一步地检测这个数值与真值相比有多少误差，那么至少能够降低我们做出错误判断的风险。

这也是费希尔在随机对照试验之外，为统计学做出的另一项伟大贡献。

当时的统计学家都被实际得到的数据所束缚，这些统计学家都将从有限的数据中得出回归系数计算出的平均值看作绝对且唯一的数值。所以，他们对于费希尔所提出的抽象真值以及预测值的误差等概念，完全无法理解。但是，如果这样，他们就无法解释为何之前那两个图表中的回归分析会有如此明显的区别。

运用求平均值的计算方法，就连小学生也能够做到。将所有数据全部相加，然后除以数据的个数即可。可是，如果我们发现“算出的平均值在理论上竟然具有随机性”，或许也会像过去的那些统计学家们一样对此完全无法理解。

即便如此，正如我在上文中对误差范围进行的说明，如果基于偶然得到的回归系数做出判断，会使我们做出无益甚至有害的决定，那么这种愚蠢的行为最好能够避免。也就是说，当斜率的真值为0时，我们却由于数据的随机性算出成正比的回归系数，那么根据这一结果做出的战略决策毫无疑问是完全错误的。

比如，在增加广告投放量也没有任何意义的情况下，做出“回归分析的结果显示，越是增加广告投放量就越能够增加销售额”这样的判断必将带来巨大的损失。

为了掌握回归分析所必须了解的基础术语

幸运的是，就算不擅长抽象思考的人，现在也可以利用统计学这个强有力的工具。现在，有很多软件可以帮助那些数学不好的人非常简单地计算出估计值、误差以及p值。有了这些工具算出的结果，只要掌握一些基本的统计学知识就可以将其应用在实际的工作和生活当中。

比如说，要想表示之前图5–2和5–3回归分析的结果与误差之间的关系，如表5–2和表5–3所示，y=18+0.8x。

表5–2 图5–2的回归分析结果

变量

回归系数的估计值

标准误差

置信水平为95%的置信区间

p值

截距

18

1.5

14.9~21.2

＜0.001

x

0.8

0.03

0.7~0.9

＜0.001

表5–3 图5–3的回归分析结果

变量

回归系数的估计值

标准误差

置信水平为95%的置信区间

p值

截距

1.8

35

–55.5~91.5

0.61

x

0.8

0.6

–0.5~2.1

0.23

如果我们能够对表5–2和表5–3的各个项目进行如下的解释，那么就可以在很大的程度上避免做出错误的判断。

回归系数的估计值：这里需要注意的是，截距和斜率（x）都是通过数据计算出来的数值，都是基于数据对“真值”进行的估计。

标准误差：估计值的误差。与回归系数的估计值相比，标准误差越大，估计值越不准确，不过同时还要考虑接下来要提到的置信区间。

置信水平为95%的置信区间：假设包括0在内的许多回归系数，算出“p值在5%以下时真值”的范围。基本可以认为“真值就在这个范围之内”。

p值：假设回归系数为0的情况下，只能通过数据的随机性推测回归系数的概率。一般来说当这个值在5%以上时，可以认为“就算回归系数为0也不可能出现”。

根据上述的理解，结合图表上实际的数据来看，比如表5–2中截距的标准误差为1.5，斜率（x）的标准误差是0.03，与回归系数的估计值相比这个误差要小很多。再看置信区间，分别是14.9~21.2和0.7~0.9，也就是说真值就在这个范围之内。

再假设回归系数的真值为0，也就是说x与y之间没有任何关系，那么由于数据的随机性产生这种回归系数的概率，即p值小于0.001，也就是不足1%的概率。那么，我们基本可以认为x与y之间成正比。

让我们再来看一看表5–3的回归系数的标准误差，截距的标准误差为35，斜率（x）的标准误差为0.6。这两个数据与回归系数的估计值相比要么几乎相等，要么比估计值还要大。而此时，斜率（x）的置信区间还是–0.5~2.1，也就是“既有可能是正值，也有可能是0，还有可能是负值”，完全不得要领。再看p值，全都在5%以上，也就是说即使回归系数为0，截距出现这种数据的概率也有61%，斜率（x）出现这种数据的概率有23%。由此可见，上述结果很有可能是由于数据的随机性产生的。

只要你能够看懂回归系数的误差与置信区间的数值之间的联系，那么你的统计能力就会得到大幅提升。为什么这样说，因为我们之前所提到过的那些内容，包括对数据间的关联性进行分析，或者根据某种数据推测出何种结果等，为了实现统计学的根本目的而采用的方法，全都属于广义的回归分析。

政策、教育、经营、公共卫生等所有领域的研究结果，都可以用像刚才举例的图表一样的，按照回归系数、置信区间与p值（或者其中的一部分）的形式进行记述。

21 快速加深对统计学的理解的一张图表

统计学教科书将广义线性模型分为两种

回归分析本身就是一个非常有用的工具，但是如果将更多的统计学方法全都统一理解为“广义的回归分析”的话，那么其应用范围还会变得更加广阔。

像这种“广义的回归分析”的思考方式，被统计学家们称为广义线性模型。所谓线性，指的就是回归分析中用直线表示的关系性，“将许许多多的方法都统一成回归分析进行整理”就是广义线性模型的意义所在。

极端地说，我认为基础统计学的教科书大体可以分为两类。一类是因为没有活用广义线性模型，而对费希尔时代创造的各种统计方法逐一进行介绍的教科书，另一类是对基本相同的方法进行概括介绍的教科书。

前一种教科书经常会导致以下这样的教学悲剧。

虽然记住了T检验和回归分析等名称，但是却搞不清楚它们之间的关系和规则，只能当作不同的方法单独记忆，结果就是不知道什么时候该用什么方法。就算当时能够顺利地解答练习题并且通过考试，但是等毕业以后回过头来再想起统计学的时候仍然是一头雾水。

那么，如果我们以“基本相同的方法”为出发点，仅仅通过一张图表来对所有的概念进行解释说明，那会怎样呢？我认为，这不但能够大幅减少我们理解统计学的时间，并且能够加深对统计学的理解。

这张图表如表5–7所示。

本书中曾经多次提到，统计学的目的在于从基于公平条件的比较中寻找出现区别的要素，那么只要能够找到在解释变量中，希望进行比较的结果变量，就能够非常简单地找出应该使用的统计学方法。再重复一次，这个表中介绍的所有方法都属于“广义线性模型”的回归分析。

表5–4 涵盖广义线性模型的一张图表

分析轴（解释变量）

两组间的比较

多组间的

比较

连续值多寡的比较

对多个解释变量同时进行比较

希望进行比较的内容（结果变量）

连续值

对平均值的区别进行T检验

对平均值的区别进行方差分析

回归分析

多元回归分析

是/否等二值

统计表的记录与卡方检验

逻辑回归

“一张图表”的使用方法

比如，我们将每位顾客的消费额作为变量，从0开始以1日元为单位增加的数值作为连续值。以此作为结果变量，在两组变量之间（比如以性别区分）进行比较并且记录平均值，然后分析通过T检验得到的p值和置信区间即可。

另外，来店次数的值也属于连续值，如果想要对“来店次数多的人消费额越高”这一假设进行比较，可以将来店次数作为解释变量，消费额作为结果变量进行回归分析，然后分析回归系数的估计值和置信区间以及p值即可。

而像“是否消费”以及“是否来店”等数据，只需要两个数值“是”或“否”就能够表示清楚。要想将此作为结果变量在两组或者更多组之间（比如，以10岁为一个年龄层的分组）进行比较的话，只需要通过统计表将各组的购买率和来店次数等记录下来，然后分析通过卡方检验求得的p值即可。

比较麻烦的是既不属于连续值也不属于二值，而是以“按照某种规则进行分类”作为结果变量的情况，不过，这在实际应用中也可以当作二值或者连续值来进行计算。

比如说，拥有“完全没有”、“几乎没有”、“偶尔”、“经常”这4个选项的调查表中，存在着递进的顺序。所以，可以将这里的前两项与后两项分成两类，当作二值变量进行计算。就算选项无法平均分成两份，那么将“经常”作为单独一类，其他所有选项作为另外一类进行二值计算。此外，将全部数值当作连续值进行分析的方法，在实际应用中也经常出现。

不过，像日本民众支持的政党这样的分类，恐怕就不像上述调查表的结果那么明确地富有方向性和递进关系了。

虽然可以用“自由主义”的尺度通过直觉进行排列，但是对于政策领域来说，这种顺序是可以颠倒的，而且日本民众对政党的支持也不只由“自由主义”这唯一的条件决定。因此，这里必须将“有本质区别的分类”作为变量，比如“是否支持民主党”以及“是否支持自民党”，将数值换算成对不同政党的支持这样一个二值，就可以以此作为进行分析的突破口。

对3个分类以上的变量进行分析确实比较麻烦，可即便如此，“仅仅通过这一张图表就可以对几乎所有数据之间的关联性进行分析，并且对将来的结果进行预测”，也不得不说，这是一个非常简单且有效的方法。

任何方法都应该得到相同的p值

更进一步来说，比如图表最右边“对多个解释变量同时进行比较”的时候所使用的方法，也可以应用在只有1个解释变量的情况，在这种情况下解释变量不管是各个分组间进行比较，还是通过连续值的多少进行比较都可以。也就是说，在应该使用T检验的时候使用了多元回归分析（如果在分析轴只有1个的情况下就不能称为多元回归分析，而应该称为回归分析），或者应该使用卡方检验的时候使用了逻辑回归分析，最后都会得到相同的p值。所以，对关联性进行分析的方法大体上都可以称为广义的回归分析。

本来应该用数学公式来证明上述结果的一致性，但T检验和回归分析结果的一致性就算不用数学公式也同样可以证明。

图5–5表示的是通过T检验计算两组数据间平均值的差，是否属于误差范围的统计方法。将两组分为“看到广告的组”和“没看到广告的组”，对两组数据间消费额平均值的差进行分析。

图5–5 T检验的思考方法

黑点表示的是各组顾客的消费额，①②表示的是各组消费额的平均值。T检验所要分析的平均值就是①②之间“高度”的区别，如果这一结果超出数据随机性所导致的误差范围，就说明广告宣传是有效的。

那么，对同样数据进行回归分析，又会怎样呢？图5–6就属于这种情况。为了进行回归分析，必须将两者都以数字表示。为了便于理解，我们将“没看到广告”的设为0，“看到广告”的设为1。

图5–6 回归分析的思考方法

正如之前说过的那样，回归直线是“穿过数据中心的直线”。所以，这条直线要穿过两组数据的平均值所在的点。那么，由此得到的斜率就应该是“坐标的纵长除以坐标的横长”。

其中，“坐标的纵长”就是两组数据间“平均值①②的差”。而“坐标的横长”则很明显就是1。“平均值的差”除以1得到的值还是“平均值的差”，也就是说当两组数据间的区别用0和1来表示的话，“平均值的差”与“回归系数”是完全相同的。

像这样将原本并非数值的“两组”或者“二值变量”用0和1表现的方法称为虚拟变量，在很多论文中十分常见。在回归分析的文章中，如果出现“男性虚拟”或者“高龄者虚拟”的字样，意思就是“男性为1、女性为0”或者“高龄者为1、其他为0”。比如男性虚拟的回归系数为5.2，意思就是“与女性相比，男性只有5.2的可能结果变量较大”，如果男性虚拟的回归系数为–4.1，那么意思就是“与女性相比，男性只有4.1的可能结果变量较小”。

也许有聪明的读者会发现，除了要考虑“平均值标准差”和“回归系数”是否一致之外，还要考虑误差与随机性。不过，考虑这些都是没有问题的。

因为通过数据计算得出的各组之间的平均值、回归系数，全都拥有相同T分布的随机性，早已被费希尔所证明了。如果根据同样的数据推测出本质相同的数值（平均值的差和回归系数），而且理论上的随机性也相同的话，那么最终的结果当然也会完全相同。

容易混淆的术语：广义线性模型

我之所以能够仅仅用这一节的篇幅就讲完一整本基础统计学教科书的内容，完全是因为广义线性模型太过完美。

虽然从聂耳达与维达潘最早提出这个对学习者来说简单易懂、一目了然的概念已经过去了40余年，可是这个概念却没有出现在日本的任何一本教科书中，实在让我感到非常遗憾。

曾经在一次哈佛大学的统计学研讨会上，就有人提出“为什么到目前为止从没有人这样教过统计学呢”。由此可见，这不仅是日本统计学教育所面临的问题。

聂耳达之所以会提出广义线性模型这个概念，就是因为他发现当时发明的各种各样回归分析的方法实际上采用的都是相同的计算方法。因此，只要我们了解了多重回归和逻辑回归之间的区别，那么今后不管看到什么样的回归分析方法都能够轻而易举地找到其中的规律。

另外说句题外话，在聂耳达与维达潘提出广义线性模型之前，有一位叫做科恩的统计学家在1968年提出了一般线性模型的概念。

对于这两个容易混淆的名字，聂耳达本人也承认“应该再想一个更好的名字才对”。

不过，对于并非统计学专家的读者朋友们来说，没必要对这两个概念的区别过于敏感，只要在见到“一般线性模型”的时候知道也有这个概念，并不是“广义线性模型”的笔误就足够了。

22 现代统计学的主角：多元回归分析

专家常用的统计方法

通过广义线性模型的方法，对数据间的关联性进行分析推测的方法基本上都可以整理为广义回归分析的一部分。

这里提到的多元回归分析，就是拥有多个解释变量的回归分析，同时也是在“公平比较”的基础上最重要的统计分析方法。

也正因为如此，在政府报告和学者的研究论文中，每当对数据进行分析的时候，最常使用的方法就是多元回归分析以及逻辑回归。可以说，多元回归分析是现代统计学的主角。只要掌握了这种方法，你也可以与统计学专家进行对等的讨论。

那么，为什么通过多元回归分析和逻辑回归，就能够实现“公平的比较”呢？

有一种由于无法进行“公平的比较”导致对数据做出错误判断的情况，被称为辛普森悖论。之所以叫这个名字，是因为这个问题最初就是辛普森提出来的。

假设面对以下这几个问题，你会做出怎样的回答呢？

对高中A与高中B的同年级学生进行相同的模拟测验。

对男生进行比较，高中A的平均分比高中B的平均分多5分。

对女生进行比较，高中A的平均分比高中B的平均分多5分。

那么对全部学生进行比较，高中A和高中B哪一个平均分更高？

如果按照普通的理论思考，当然高中A的平均分要比高中B的平均分多5分。但是，从统计学的角度来看并非如此。关于具体数值的例子如表5–5所示。

表5–5 “辛普森悖论”的事例

高中A

高中B

男生（人）

总得分

9 600

2 200

人数

160

40

平均分

60

55

女生（人）

总得分

3 000

11 200

人数

40

160

平均分

75

70

男女生合计（人）

总得分

12 600

13 400

人数

200

200

平均分

63

67

在表5–5所示的情况下，高中A男生的总得分为9 600分，除以男生人数160得到的平均分为60分。女生的总得分为3 000分，除以女生人数40得到的平均分为75分。因此，高中A的男女合计平均分为（9 600+3 000）÷（160+40）=63分。而通过同样的计算，得出高中B男女合计的平均分为67分。

从表上的数据可以看出，高中A的男生平均分和女生平均分确实都要高于高中B，与之前提出的问题条件相一致。可是，因为男生与女生的平均分不同，而且高中A与高中B的男女学生比例不同，所以全校平均分反倒是高中B比高中A多出4分。

像这样全体进行的单纯比较与内部小群体进行的比较结果相矛盾的情况，就是辛普森提出的问题所在。在没有进行随机化的流行病学观察研究中，即便通过单纯的比较发现了巨大的差异，也很有可能是和高中A与高中B的男女平均分差距一样的“细节”差异。相反的，即便在单纯的比较中没有发现什么差异，却有可能在“细节”上隐藏着真正的区别。

比如在前文中提到过的“玩暴力游戏与少年犯罪率”之间的因果关系。将家庭环境这一“细节”算在内进行比较并没有明显的区别，但是如果玩暴力游戏的分组中家庭环境不好的孩子占多数，那么在数据上就会出现玩暴力游戏的孩子的犯罪率更高的结果。

分组分析能够防止辛普森悖论产生吗

要想防止辛普森悖论，就需要像流行病学的观察研究那样保证条件的一致性。将高中A和高中B的学生的成绩按照男女性别分组，或者将玩暴力游戏的孩子按照家庭环境分组，只要将对结果可能产生影响的条件保持一致进行比较，就能够避免辛普森悖论的产生。这种将具有同样条件的群体进行比较分析的方法，被称为分组分析。

这种思考方法基本上是正确的。但是当“影响结果的条件”越来越多时，这种方法就会逐渐变得不那么可靠。

为了解释为什么会出现上述的这种情况，让我们来分析一下在对高中A和高中B的成绩进行对比时，除了学生性别之外还应该考虑什么条件。

比如说，①参加什么社团活动（运动部、文化部、不参加），②是否参加补习班（是、否），③家庭环境（按照家长的年收入分成3个层次），那么为了满足上述所有条件，我们需要将全体学生分为几组呢？

答案如下：

2（性别）×3（社团活动）×2（是否参加补习班）×3（家长年收入）=36

也就是说，要想保证上述条件完全一致的话，我们需要将学生分成36组。

那么，这两所学校中符合分组条件的学生又有多少呢？假设符合每个条件的学生数量大致相同，那么每一组就应该有200÷36=5.556，也就相当于每组只有五六个人。同时，由于两所学校的男女比例差都很大，比如高中A需要将40名女生分成18组，那么平均每组就只有两三个人。如此少的人数，不管进行怎样的分析得出怎样的结果，都逃不出误差的范围。

不需要分组的多元回归分析

面对这样的问题，多元回归分析就会发挥出威力。在“保证条件相同”的基础上更进一步，只要确定“不同性别学生的平均分相差多少”，就可以不必进行任何的分组。接下来让我们对这种思考方法进行详细的解说。

假设不考虑性别，对高中A与高中B的平均分进行比较的话，就像图5–7那样进行回归分析即可。相信掌握了上一节内容的读者对这部分是一目了然的。浅色的圆点是男生的平均分，深色的圆点是女生的平均分，圆点的大小代表各自学生的人数，×表示的是两个高中各自的平均分（两所学校的平均分都比较靠近人数较多的性别），穿过×的直线的斜率就是“两所学校平均分的差”。在这种情况下，斜率越向右上攀升，高中B的平均分比高中A的平均分越高。

如果考虑性别的话，情况又会怎样呢？比如说，高中A和高中B都是女生的平均分要高出15分，应该如何利用这个条件呢？

图5–7 单纯的回归分析

如果想要根据这个条件对两所高中进行“公平的比较”，可以采用“假设这两所高中的男生全都是女生”这个方法（图5–8）。

图5–8 假设男生全都是女生

这样一来，两所高中男生的分数都提高了15分，那么高中A的总体平均分就是75分，高中B的总体平均分是70分。也就是说，成功地避开了辛普森悖论，直接得到了“高中A的平均分比高中B平均分高5分”的结论（图5–9）。

图5–9 假设男生全都是女生情况下的回归分析

像这样对不同性别导致的平均分差与所在高中不同导致的平均分差等多个回归系数同时进行推测的方法，被称为“多元回归分析”。如果能够推测出性别的不同会“造成平均分出现多少分差”，那么就算不对男生和女生进行分组仍然可以通过“假设男生全都是女生”的方法来实现“公平的比较”。

这就是利用多元回归实现公平的比较的例子。通过这种方法，不管增加多少条件，都没有进行庞大分组的必要了。

多个回归系数在假设“没有相乘效果”的前提下，表明了解释变量对结果变量会产生多大程度的影响。如果理解了这一点，那么诸位就可以在不借助任何帮助的前提下读懂学者的论文或者国家的政策报告了。

比如牛津大学的教授苅谷刚彦就在自己的著作《学力与阶层》一书中，介绍了他从1989~2001年间以大阪府下属的中小学校学生为对象，调查学生们的生活、学习习惯以及成绩，并且对这些数据进行多元回归分析之后所得出的结果。

在《学力与阶层》一书中，他详细叙述了调查的内容，比如说2001年中学生的数学正确率（即满分100分的得分）得出了如表5–6那样的多元回归分析结果，对于其中的意义想必大家也是一目了然。

虽然表5–6中没有置信区间，p值也并非实际的数值，而是按照不足0.001、不足0.01、不足0.05、0.05以上进行的分类，都和我们之前接触过的内容有些不同，但即便如此我们仍然能够通过表5–6了解到一些信息：“男生比女生低1.62分”，“朗读的学生普遍高出3.32分”，“参加补习班的学生高16.62分”，“认真完成作的人高6.92分”，“在家和补习班学习时间的长短对成绩的影响基本处于误差范围之内”，“但是不参加补习班而且在家也不学习对成绩的影响则是–5.97”。

表5–6　对中学生数学正确率进行的回归分析

回归系数的估计值

标准误差

p值

截距

42.33

男生（虚拟）

–1.62

1.31

0.05以上

朗读（虚拟）

3.32

1.41

不足0.05

补习班（虚拟）

16.62

1.64

不足0.001

作业（虚拟）

6.29

0.92

不足0.001

学习时间（分）

0.01

0.02

0.05以上

不在家学习也不参加补习班（虚拟）

–5.79

2.08

不足0.01

在这里影响最大的因素就是补习班。与认真完成作业和长时间在家学习的学生相比，基本不写学校作业而参加补习班的学生竟然在理论上取得了更好的成绩，这不但证明了学校教育还不够完善，同时也证明了能够供孩子参加补习班的家庭环境对成绩会有很大的影响，这或许从另一个侧面反映了社会的不公平。只要熟练掌握多元回归分析的方法，就能够根据得到的数据进行多方面的讨论和研究。

利用比值比进行逻辑回归分析

因为多元回归分析只能够应用在结果变量为连续值的情况下，于是在弗明汉研究中，研究者们进一步发明了逻辑回归。

针对是否会得心脏病这个二值的结果变量，许多解释变量（血压、年龄、是否吸烟等）都会对其产生影响。为了进行公平分析，研究者们发明了逻辑回归的方法。

数学部分的内容请大家参考相关专业书籍，我在此就不作赘述，逻辑回归大体上的思考方法就是将原本为0或1的二值结果变量，变换为连续的变量进行多元回归分析。

在逻辑回归之中，回归系数是以“比值比”来表示的，意思是“大概有几倍的机会”，只要看懂了这个，就能够掌握结果。与多元回归分析一样，回归系数的估计值、标准误差、置信区间以及p值都是需要我们看懂的内容，与多元回归分析相比，逻辑回归只是对回归系数的理解方法稍微有些不同。

在之前提到过的《学力与阶层》一书中，还针对“不在家学习，也不参加补习班”的学生特征进行逻辑回归分析，让我们来看一看分析结果的比值比和p值。

在这里，是否是男生、是否朗读、家庭文化阶层高不高都属于“误差范围”，而是否认真完成作业对“学习时间为0”的影响比率是0.55倍（这部分的因果关系很难确定），另外，家庭文化阶层较低的“学习时间为0”的比率是1.78倍，父亲从大学毕业的话比率则是0.6倍，由此可见除了是否参加补习班之外，家庭环境也对学生的学习习惯有着很大的影响（表5–7）。

表5–7 “不在家学习也不参加补习班”的学生的特征

比值比的估计值

p值

男生（虚拟）

0.77

0.05~0.10

朗读（虚拟）

1.11

0.05以上

作业（虚拟）

0.55

不足0.001

文化阶层低（虚拟）

1.78

不足0.01

文化阶层高（虚拟）

0.69

0.05–0.10

父亲大学毕业（虚拟）

0.60

不足0.01

掌握了回归分析就能够驳斥那些“胡说八道”

不管是关于社会问题的分析，还是对改善经营状况的建议，只要你掌握了到目前为止所说的这些统计学知识，就不会被那些没有任何数据的胡乱分析所欺骗。

我这个人特别较真儿，每当在电视和网络上看到那些学者和文化人毫无根据的分析的时候，就会去查询数据看看他们说的到底是不是真的，但遗憾的是很多人说的话都是没有依据的。

当你对某些“毫无根据的胡说”心存疑虑的时候，可以将怀疑的内容后面加上回归分析这个关键词一起输入谷歌检索，一定能够找到“是否有关联”的结果。希望大家都能够活用到目前为止掌握的统计学知识，去驳斥那些所谓专家们的“胡说八道”。

23 统计学家最拿手的统计法

像多元回归分析和逻辑回归这样的回归模型，是在寻找数据关联性时最常用的方法。

这里所说的“模型”，与按现实世界中实际存在的汽车和飞机，用塑料制作成塑料模型是同样的概念。也就是说，将现实中看不见、摸不着的因果关系，通过回归分析制作成回归模型。

但是，回归模型并不一定能够准确地推测出因果关系。当然，这并不意味着回归模型就毫无价值，只要我们知道应该注意什么地方，就可以对数据进行准确分析。

接下来，我将为大家介绍回归模型的极限，以及为解决这个问题而诞生的现代统计方法。

使用回归模型时要注意交互作用

多元回归分析中，对回归系数的估计是非常重要的问题。

也就是说，在估计回归系数的时候，要考虑“变量间在没有相乘效果的状态下会出现怎样的区别”。为了方便说明，我们假设高中A和高中B男女生之间平均分的差“都是15分”，男生和女生相比则是高中A的学生比高中B的学生分别“高出5分”（表5–8）。

表5–8 两所高中模拟测试的结果（与表5–5相同）

高中A

高中B

男生（人）

总得分

9 600

2 200

人数

160

40

平均分

60

55

女生（人）

总得分

3 000

11 200

人数

40

160

平均分

75

70

男女生合计（人）

总得分

12 600

13 400

人数

200

200

平均分

63

67

但实际上，结果可能并没有那么简单。比如，出现像图5–10那样的情况会怎样呢？

如果将高中A的5分差距和高中B的25分差距平均一下，那么全体相比还是女生比男生高出15分。

但实际上，高中B只有男生成绩非常差，如果排除这一因素，实际上男女生之间的差距和高中之间的差距都不那么明显。这就是“没有相乘效果的状态”假设不成立的情况。如果是没有相乘效果的状态，那么高中A和高中B都会有同样的男女分差，而且还能够体现出两所高中男女生各自的分差。

高中A

高中B

男生（人）

总得分

11 200

1 800

人数

160

40

平均分

70

45

女生（人）

总得分

3 000

11 200

人数

40

160

平均分

75

70

图5–10 稍微改变测试结果的话

英语中将这种相乘效果称为interaction，统计学中有一个术语叫作“交互作用”。

使用回归模型时最需要注意的一点，就是这种“交互作用”是否真实存在。不过，就算实际的交互作用并不可靠，仍然可以对包含在回归模型中的回归系数进行推测。

也就是说，不管是连续值还是虚拟变量，只要创造两个解释变量各自的回归系数，以及与这两个变量相关的解释变量（被称为交互作用项），就可以对回归系数同时进行推测，也能够推测这个交互作用的影响。

将上述内容整理后如表5–9所示。

表5–9 交互作用的影响

性别男生虚拟

高中B虚拟

男生×高中B交互作用

高中A的男生

1

0

0

高中A的女生

0

0

0

高中B的男生

1

1

1

高中B的女生

0

1

0

这个交互作用的1和0可以分别看成是“高中B且为男生”与“除此之外”。这表示仅仅通过男女间的平均差异无法对高中间的平均差异进行说明的情况。而根据虚拟变量的假设方法，就算设定“高中A且为女生”的交互作用项也对估计没有任何影响，最重要的一点在于，通过导入这个交互作用项，两所高中×两个性别组合所产生的全部4个分组间的平均值的差，就全部可以通过回归系数表示出来（图5–11）。

图5–11　两所高中×两个性别的关系性

只要像这样建立包括交互作用项的回归模型，就可以降低因为表面上的回归系数而导致做出错误判断的概率。

不知如何是好时的变量选择

但是，如果为了追求准确性而对所有的交互作用项进行分析，则会陷入不知如何是好的状态。

如果有两个解释变量，在它们之间增加1个交互作用项的话没有什么问题；如果有20个解释变量，那么它们之间的交互作用项就是20×19÷2=190个。

在样本数有限的情况下，像这样进行大量的回归系数估计会出现极大的误差，可是就算通过“大数据”实现无数样本，在面对超过100个的回归系数时，仅凭人类的智慧很难对其进行解释。

每个人都是独一无二的，这可以说是人类最大的优点。但当我们想对数据进行分析时，如果发现每个数据都是独一无二的，那就完全无从下手了。尽可能简单地找到使结果变量出现区别的数据，才是统计学应该发挥的作用。

因此，人们研究出一种包括交互作用项在内自动选出解释变量构筑回归模型的变量选择法。另外人们还开发出几个指标，用于判断什么样的解释变量或者包含交互作用项的回归模型最合适。其中最具代表性的一个，就是原统计数理研究所所长赤池弘次在1973年发表的赤池信息量准则。

但是，什么样的回归模型在实际情况中是最为合适的，并不单纯由数理性质所决定。

只要选择适当的变量，正确考虑所有需要调整的条件，就一定可以通过回归模型进行“公平的比较”。但是，对于如何获得适当的回归模型这一点，除了统计学家之外，还需要与最终结果有紧密联系的利益相关者们经过谨慎研究讨论后再作决定。

无限接近随机化的“倾向指数”

1983年，罗森堡和鲁宾这两位统计学家提出了倾向指数的统计方法。这一方法在随机化无法或者难以确定因果关系时能够发挥非常巨大的作用。

所谓倾向指数，就是判断拥有二值的解释变量“究竟应该是哪一个”的概率。通过前面介绍过的逻辑回归方法，就可以非常简单地得出倾向指数。

比如我们在前文中提到过，想要证明吸烟与肺癌是否有确实的因果关系非常困难。虽然通过随机对照试验能够实现公平的比较，但这种研究在伦理上却是无法实现的。

于是，我们只能选择“拥有同样条件的人群”作为比较对象，但是需要考虑的条件越多，数据量就越大。最终就会出现前面提到过的，不知如何是好的变量选择。

鲁宾和罗森堡发现，倾向指数在对同类群体进行比较的时候，“其他条件”与“是否吸烟”的关联性会使“是否吸烟”与“肺癌”的关联性出现偏差。

假设女性比男性的吸烟率高，居住在城市的居民比居住在农村的居民吸烟率高，而且女性比男性、城市居民比农村居民罹患肺癌的可能性高，那么在这种情况下，就算吸烟本身与肺癌没有任何关系，数据也会显示吸烟是导致肺癌的原因。

不过，这是因为诸多条件的不同对吸烟率造成影响所导致的结果。相反，只要能够确定吸烟率相同的人群，那么诸多条件就不会对吸烟率造成任何影响。也就是说，只要推测出影响吸烟率的条件，就能够实现和随机对照试验相同的公平比较。

根据同样的倾向指数进行分层比较，也就意味着对“其他条件都表明不吸烟实际上却吸烟的人”与“其他条件都表明吸烟实际上却不吸烟的人”进行比较，这样想或许会更容易理解。

因为倾向指数可以非常简单地进行无限接近于随机化的因果关系推测，所以除了流行病学领域之外，现在还经常出现在政策与教育领域。倾向指数的统计方法在20世纪八九十年代取得了长足的进步和发展。虽然倾向指数还不能像随机化那样完全排除“导致结果出现巨大误差的因素”，但这也在提醒我们时刻保持谨慎和严密的思考与判断。

人类已经拥有把握和控制因果关系的技术，只要稍微学习一些统计学的知识，就可以通过对数据的分析做出最佳的判断。接下来的问题，就是如何利用这些知识来创造财富了。

第六章

应对一切问题的统计学思考方法

24 统计学家们的残酷战争

统计学思考方法的6大特征

如果你已经掌握了p值、置信区间、回归模型等之前所讲的内容，那么你就已经得到了统计学这个强大学问的“主干”。

不过，统计学的有趣之处不只在于“主干”。为了使统计学在更加广阔的学问领域之中都能够得到应用而展开的那些“枝杈”，同样十分重要，如果能够同时掌握这些“细节”方面的知识，那么可以说你对现代统计学已经有了非常深刻的理解。就算面对拥有不同知识背景的统计学家之间的辩论，你也可以从整体上对辩论的内容进行把握。

虽然统计学是基于数学理论建立起来的，但是要想将这些数理应用到现实之中，就必须通过假设和与假设相关的现实判断。而所谓的现实判断，则根据应用领域的不同分别被哲学、目的、传统以及数据的性质所影响。比如，我们在使用回归模型的时候，假设多个解释变量间没有相乘效果，这就是数学上的事实。另外，如何应用这一假设，则不属于数学理论，而是要看领域的不同具体问题进行具体分析。

实际上，将统计学应用在自己的研究和业务领域的专家，或者说专门研究统计学方法的统计学家们，很少有人意识到这种不同领域间思考方法的区别。虽然统计学本身可以应用在诸多领域中，但由于现代知识的专业性和细分化逐渐加强，某个领域的专家往往很难理解其他领域的看法。

这一章中所要讲述的内容，就是为了让大家在今后应用统计学的时候，不会陷入这种混乱之中。只要你掌握具有以下6个特征的统计学思考方法，那么今后不管面对什么样的统计学理论，你都能够理解“应该站在哪种立场进行分析”。

把握实际动态的社会调查法。

为了找出原因的流行病学——生物统计学。

检测抽象概念的心理统计学。

进行机械化分类的数据挖掘。

对自然语言进行处理的文本挖掘。

关心演绎的计量经济学。

首先，让我们从之前提到过很多次的前两个思考方式入手吧。

追求正确性的社会调查专家们

一般情况下，人们所说的“作统计”指的就是单纯的收集数据。在费希尔和戈赛特的时代之前，大约17~18世纪的欧洲诸国就已经对国家的人口和死亡人数进行过相关统计，甚至还诞生了计算平均值与百分率的统计方法。以国情调查和选举前的舆论调查为代表的社会调查，就是诞生于这一时期的传统统计学“最古老的使用方法”。

在上文中我曾经说过“单纯记录平均值和百分率的统计没有任何意义”，但是进行社会调查的统计学家们对“平均值和百分率”的执着，却远远超出了“单纯记录”的级别。这些统计学家将在新政中得到实际应用的抽样调查进一步发展，不断地研究应该怎样做才能尽可能准确且高效地计算估计值。

一般来说，只要从分析对象（比如说全体国民）之中完全随机抽样，获得足够数量的样本数据即可。但是，在现实世界中即便是法律要求必须回答的调查，也存在配合的国民与不配合的国民之间的回答率的不同（日本有被称为统计法的法律，对于国家的基础统计调查不予配合，或者做出虚假回答的话，将被处以50万日元以下的罚款）。

比如说已婚的老人，调查员可以直接登门拜访请他尽快做出回答；生活不规律且单独生活的年轻人，就算调查员登门也很难见到人。结果就是单独生活的年轻人的回答率大大低于已婚老人的回答率，那么最后得到的数据就会高出实际要求的平均年龄和结婚率。

无法对应该获取的数据进行测定的情况被称为“数据缺失”，社会调查的专家们想尽一切办法训练调查员，其目的就是为了减少“数据缺失”的情况。他们或者通过改良调查方法，或者对估计值的偏差进行修正，进行了各种各样的尝试。

统计学家们关心的是数值的准确性，因为只有准确的数据才能够作为讨论的基础。如果政府想解决失业问题，就必须掌握失业者的准确人数，要想对抗癌症，也必须知道癌症患者的准确数量。如果没有这些数据作为支撑，政府就不知道究竟需要多少预算，也无法有针对性地寻找对策。

在商业领域的市场调查中，经常会聘请社会调查专家进行协助。当然，那种只会用随意制作的调查表和Excel进行统计的所谓市场调查专家，完全不在我们的讨论范围之内。

希望进行调查的公司会首先计算出预计的误差，然后委托调查公司提交一个调查方法，使其能够在预算范围内得到最准确的必要信息。最后，他们就会得出“什么样的顾客有多少人”或者“这些顾客在我的商场平均消费额是多少”之类的估计值和误差范围。根据统计的结果来指定经营战略，相信是很多热衷于市场调查的企业经常采用的方法。

追求“适当判断”的流行病学家和生物统计学家

虽然我们无法否定这种调查的重要性，但是从另一个角度来说，即使我们已经清楚地掌握了顾客人数和市场规模，最后还是要靠企业领导们的感觉来决定“最后采取何种经营战略”就太浪费了。

在这种时候最好能够进行随机对照试验，或者利用回归模型和倾向指数也能够推测出因果关系。只要搞清楚改变什么因素，能够对追求的结果（在商业领域一般都是和利益有直接联系的指标）产生影响，那么能够控制这个因素的战略就是最正确的。

费希尔在英国的洛桑实验室发明了随机对照试验，戈赛特受进化论的影响发明了回归模型。虽然他们的专业领域被定义为生物统计学，但实际上他们的发明并不只局限于生物领域，而几乎能够在所有领域中作为统计学方法的基础。顺便说一下，因为我的统计学专业是流行病学和生物统计学，所以本书中所讲述的内容也稍微偏重于这两个方面。

之前我曾经说过，实际上几乎所有的科学家都引用过费希尔的《试验设计》这本书。书中提到的随机对照试验，不仅可以应用在包括农业在内的生物学之中，其他像工学与化学等以物体为对象的领域，甚至心理学、教育学以及最近的政策科学和经营学等以人类为对象的领域，它都能够在其中发挥巨大作用。而且，以除了人类之外的生物和物体为对象，更加容易进行随机对照试验。

在由于伦理或感情无法进行随机化的以人类为对象的领域，可以使用流行病学的方法论。这种方法同样可以应用在教育、政策以及经营等许多领域。

这两者共同的思考方法，都是为了寻找对最终结果产生影响最大的“原因”。反过来说，只要找到了基于p值的“原因”，甚至连估计值的“国民适应性”这一社会调查领域的统计学家们最重视的要素，都显得不那么重要了。

比如说，吸烟是否影响身体健康，流行病学家和生物统计学家最关心的是准确无误的结论，至于吸烟会缩短寿命8年或10年，对他们来说并不是那么重要。另外，如果老人吸烟会缩短寿命10年，年轻人吸烟会缩短寿命15年的话，还要考虑交互作用的问题，因为如果“只限定在年轻人的范围内”就有可能出现“吸烟延长寿命”这一完全颠覆结论的交互作用结果。但不管怎样，既然吸烟对健康有非常不好的影响，那么首先降低吸烟率才是正确的选择。只要能够做出这样的判断，在某种程度上也算是令人满意的结果了。

因此，生物统计学家和流行病学家，并不十分拘泥于“全国的随机样本”。如果出现极端的数据偏差，比如想要对全体国民的因果关系进行讨论时，结果却只收集到了医生的数据，或者只收集到了高中生的数据，即便在这种情况下，也只是加上“此结果是以偏向于医生群体的数据计算得来”这样的注释后正常发表。

另外，在一篇内容严谨的论文中一定还会有类似这样的说明，“是否适用于其他群体尚不明确，应用时需要注意”，或者“今后还将继续研究其他群体是否具有相同的关联性”。

在流行病学和生物统计学中，要想从全体数据中获得充分的随机样本，必须花费大量的成本和时间。由于这一现实条件的制约，所以才诞生了上述思考方法。

假设现在日本出现了死亡率为50%的可怕传染病，并且已经造成3万人死亡。此时，必须立即通过流行病学的方法找出死亡的原因。但是，感染人数和死亡人数尚且不足日本人口总数的0.1%。也就是说，从日本全体国民中随机选出1万人，只能从中找出几个感染者，而且其中的一半人还因为死亡而无法进行调查。这样的话完全无法进行任何分析。

那么，我们可以只以感染者作为对象进行抽样调查。可是，这需要我们拥有全部感染者的名单，否则也无法进行抽样调查。在这种情况下最好的选择是，首先对眼前的感染者数据进行全面分析，也就是前面提到过的思考方法。

统计学家们永无休止的争论

所以，流行病学家和生物统计学家们，相比“通过抽样调查得到的正确估计值”更加重视“通过随机化做出的适当判断”。而那些接受以社会调查为中心的统计学教育的人（或者说对统计学一知半解的人），常常会提出“没有随机抽样调查的结果都不准确”，结果双方就会陷入永无休止的争论中。场面大概会像下面这样。

“没有对全体国民进行随机抽样调查，所以你的结论不准确。”

“虽然分析的只是年轻人的数据，但是只要年龄与吸烟的危害之间没有太强的交互作用，吸烟对身体有害的这个结论是不会改变的。”

“可是，交互作用究竟是否存在，我们并不能够确定啊。”

“那么，你说老人吸烟对身体有益的说法有什么证据吗？”

“没有，可这并不能证明吸烟一定对身体有害。”

“所以，我说了这次的研究主要偏向年轻人群体的数据，今后还将对其他年龄段进行研究。”

“那你为什么凭借这个片面的结果就确定了吸烟有害呢？”

“所以，我不是说过，只要年龄与吸烟的危害之间没有太强的交互作用，吸烟对身体有害的这个结论就不会改变的吗？”

虽然针对社会调查领域的“数据缺失”，可以使用流行病学的方法来进行补充，但这种补充方法对于社会调查领域的统计学家来说，只不过是“竭尽全力进行随机抽样调查后的最终手段”，因为他们对没有进行过随机抽样调查的数据本身毫无好感。

所以，当这两者进行讨论的时候，流行病学家和生物统计学家心中常常会想“这群家伙不管推测出多么正确的数据，只要没有进行关联性分析就没有任何意义，真是太可怜了”。而社会调查领域的专家则很生气地认为，“这群家伙明明只有一些片面的数据，还摆出一副了不起的样子”。

要说他们两者之间究竟谁是正确的，实际上只是研究学问的角度不同而已，谁都没有对错。而对我们来说，最重要的还是根据不同状况选择最适合的思考方法。

25 发明“IQ”的心理统计学

IQ（智商）测试这一衡量智商的标准就连小学生阅读的漫画中也能看到，但实际上，很多人却并不知道这一指标的具体含义。

当我们在虚拟世界中描述一个“IQ很高的角色”时，经常会说他“脑子反应很快”，或者“脑子很聪明但性格有缺陷”，大概这就是现实中人们对IQ的印象吧。爱因斯坦的IQ数值是人们津津乐道的话题，也有人认为人类的价值可以用IQ来进行衡量，或者IQ测试是导致歧视的根源等。而在此之前认为强调EQ（情商）比IQ更重要的书籍十分畅销。

但是，与身高、体重和血压这样能够进行物理检测的指标不同，智商是看不见也摸不着的东西。究竟什么是IQ，又应该怎样对其进行测定？现在，我们使用的IQ测试为什么能够对IQ进行检测？如果不了解这些问题，单纯为自己的高IQ而沾沾自喜，或者对IQ这个指标进行攻击，都是非常愚蠢和滑稽的行为。

要想理解IQ究竟是什么，我们首先需要了解心理学家在最近100年来所积累下来的统计学方法。这也是我们接下来要讲的主题。

“一般智能”的发明

要想理解革命性发明的了不起之处，最好的办法就是设身处地地亲自体验一下发明的过程。假如你是一家公司的人事部经理，负责毕业生的录用工作，那么在不利用现有智商测试的情况下，你应该用什么方法来检验前来应聘的毕业生的智商呢？

或许有的人会测试对简单指令的反应速度，或许有的人会测试对无序排列的文字在一定时间内的记忆个数。甚至还有人会单纯地进行数学和语文的突击测试。而实际上，很少有企业会将上述这些没有任何统计学技巧的测试作为录用标准。

实际上早在19世纪，就已经有人对此进行了所有的尝试，创造了现在智能研究基础的心理统计学家斯丕曼在1904年发表的论文中将其作为“马马虎虎的先行研究”公之于众。

之所以说是“马马虎虎”，是因为最后他只是提出了几种可能对智能进行测试的方法。而对于“究竟什么是智能”这个问题，只能凭借研究者的直觉来进行回答。

斯丕曼从先行研究提示的测试方法中选出了几种，对研究参加者进行了测试。并且对各个“表示智能的指标”之间的相关性进行了分析。

所谓相关性，是指“一方面的值较大时，另一方面的值也较大/一方面的值较小时，另一方面的值也较小”这一关联性的强弱程度。高尔顿在进行回归分析的时候，发现了“回归平均值的直线很清晰的状态”和“回归平均值的直线非常不清晰的状态”。他将这种区别称为相关，他的学生皮尔森提出了相关系数这一指标的计算方法。在绝对的直线上“一方面的值较大时，另一方面的值也较大”的情况为1，相反的在绝对的直线上“一方面的值较大时，另一方面的值较小”的情况为–1，基本看不见关联性的情况为0。

另外，相关性只表示“一方面的值较大时，另一方面的值也较大”这种倾向，与“因为一方面的值较大所以另一方面的值也较大”的因果关系完全是不同的概念，请诸位读者注意。

根据研究的结果，斯丕曼发现不同智能的表现有某种程度的相关性。

然后只要对这些指标加入一定的关联性，就可以得出一个与所有指标都相关的合成变量。

如果能够将所有表示其他智能的相关指标都综合在一起得出一个合成变量的话，就可以表示潜在的智能指数。而且，只要掌握了这个变量，就可以大致预测出所有智能相关测试的成绩。这样的话，与分别进行各个项目的测试相比，掌握这个潜在的智能指标更加简便。斯丕曼将这个指标称为“一般智能”（图6–1）。

图6–1 从“能够测试的东西”之中得出合成变量

将智能分为7类的多因子智能说

斯丕曼的分析方法，现在被称为因子分析法。就是从各自相关的多个数值中，计算出与所有数值都关系紧密的合成变量。这个合成变量被称为因子，因子分析法也由此得名。

因子是用来表示“智能”等抽象概念的数值，因子本身无法进行直接测试。但是，现实存在许多与因子具有紧密联系的“能够测试的东西”。比如说，智能，反应速度和记忆力以及计算能力都能够进行测试，而这些能力和我们所拥有的抽象的智能因子具有非常紧密的联系。

通过“能够测试的东西”计算出“拥有紧密联系的合成变量”，就可以推测出因子的数值。这就是斯丕曼与受他影响的心理学家们所考虑的方法。

此外，因子也不一定就像斯丕曼的一般智能是“与所有测试项目都有联系的唯一因子”，还有可能会得出多个因子。

事实上，受斯丕曼研究影响的心理学家们实施了各种各样的组合试验进行因子分析，除了一般智能之外，他们有时还得出了多个因子。

在这些研究中最著名的一个，就是赛斯顿于1938年发表的多因子智能说。赛斯顿对许多与智能相关的测验结果进行了因子分析，最终整理出7种表示智能的因子。

感知空间与立体认识的空间智能。

与计算能力相关的数学智能。

善于理解语言和文章内容的语言智能。

与判断和反应速度相关的感觉智能。

能够进行理论判断的推理智能。

快速灵活使用语言的流畅性智能。

擅长记忆的记忆智能。

也就是说，比如空间智能，即便在算数的图形问题和拼图，以及计算立方体个数等测试中与几乎所有的项目都有紧密联系，但是在文章问题和与记忆相关的问题中，却属于几乎没有任何联系的因子。

在近年来的智能研究中，也经常出现关于一般智能还是多因子智能的讨论，在对诸多的智能检测方法进行分析后，发现“与不分领域的检查项目全体都有联系的因子”，也就是一般智能大概对全部得分有30%~60%的影响。但是，关于一般智能究竟是什么这一问题，目前还没有明确的答案。

心理统计学家的思考方法

除了智能之外，心理统计学家还希望对“心灵”和“精神”等看不见、摸不着的抽象事物进行测试。通过对上述对象进行测试，他们就可以对行动和成果与精神疾病的关联性进行分析，否则的话，他们就连“工作的意义比金钱更加能够影响员工的工作热情”这样单纯的假设都无法进行实际证明。

因此，他们必须对自己希望进行测试的“抽象的概念”作一个定义。比如，将“工作的意义”定义为“工作对社会的贡献与得到正面社会评价的切身感觉”，这样一来就可以找到许多与之相关联的问题。

心理统计学家们的问卷并不是他们一拍脑袋想出来的。他们会事先找到“认为自己的工作有意义的人”和“认为自己的工作没有意义的人”进行调查，确认什么样的回答与“意义”有关联，调查别人针对于此提出过什么样的理论，以及国内外是否进行过同类的心理调查，在上述一切都准备完毕之后，他们才会根据得到的数据制作问卷。

制作好的问卷一般在进行正式的测试前，还需要进行检验。方法是找几十个人来做这张问卷。如果这里面有几乎所有人都回答“是”，或者几乎所有人都没有回答的问题，那么这些没有什么作用的问题就会被删除。

接下来，就是与因子分析的结果进行对比，根据事先预测的因子结构，删除与多个因子相关的项目以及与任何因子都毫无关联的项目。然后过一段时间等回答者忘记相关内容后再进行一次同样的测试，删除那些每次回答时结果不同的问题。

经过这些过程最终制作出来的问卷，可以说是在科学测试中最重要的标尺。基于因子结构计算出来的最后得分，应该就是对希望测试的抽象概念最直观的表示。接下来，就可以用这个分数进行回归分析或者其他分析，甚至可以和你感兴趣的其他变量一起进行分析。

除了回归分析之外，心理统计学家们还有一个比较常用的分析方法被称为通径分析，就是将包含心理因子的变量间的关联性通过椭圆（或者长方形也可以）和箭头来进行表示。

在开本浩矢所著的《研究开发的组织行动》（中央经济社）一书中对此进行了实际的研究论证，让我们来看一看其研究的结果。开本浩矢等人对企业研究对象的工作热情轨迹进行了分析，结果显示业绩较高的研究对象们的工作热情轨迹如图6–2所示。

摘自：开本浩失，《研究开发的组织行动》，（中央经济社）。

图6–2高业绩群体的研究对象们的工作热情轨迹

其中箭头上的–1~+1的数字就是相关系数，可以看作与相关性一致的指标。另外带星号（*）的数值，表示这个数值具有的关联性的p值小于0.05。

开本浩矢等人针对“工作意义”这个心理学的概念，进行了关于“内在动力”的讨论。但是，像“对社会的贡献”和“学习与成长的机会”等与“工作意义”相关的因子，对高业绩的研究对象们却几乎没有影响（不过，对低业绩的研究对象们还是有影响的）。

似乎对高业绩的研究对象们来说，已经从上述两个方面感受到了足够的工作意义，因此要想继续提高他们的工作热情，最好的办法是给予薪水和晋升空间等物质方面的激励。

如此耗费心血制作的问卷，如果被其他的统计学家们当成毫无技术含量的“调查问卷”，那么心理统计学家们一定会感到十分伤心。

调查问卷是将想要得到答案的问题直接写在问卷上，其中没有任何抽象的概念和科学的测试方法。所以对心理统计学家们来说，绝对不希望将自己的心血和那种东西相提并论。

曾经我看过一家企业为了录用毕业生而自己设计的“测试问卷”，那就是一个完完全全的“调查问卷”。虽然我也能理解他们希望录用抗压能力强且能够坚持不懈的人，可是如果直接问对方有没有耐心，想必没有人会诚实地说出“我没有耐心，不能够坚持下去”这样的话。实际上，这样的“测试问卷”对于录用员工几乎帮不上任何忙。作为一名统计学家，我非常希望能够对入职后的员工业绩与这个“测试问卷”的成绩进行相关分析。这家企业最好能够录用一个学过心理统计学的毕业生，哪怕这个学生抗压能力不强且没有耐心，也可以让他去人事部工作来弥补“测试问卷”的不足。

一般来说，搞市场调查、社会调查和流行病学研究的统计学家们都喜欢对自己想要得到答案的问题进行直接提问。他们乐观地认为直接得到的答案能够客观地反映事实，即便并非如此也可以将其看作单纯的误差。

社会调查和流行病学研究的问卷上提出“你的亲人或朋友中有人吸烟吗？”这样的问题时，就是想知道“被动吸烟的人数占多少比例”，或者“被动吸烟对健康是否有影响”。但是，对于心理统计学家们来说，问题却并不是这么简单。

对问题的回答有可能被回答者的主观判断所左右，心理统计学家们在这100年来一直对人类的主观情绪进行着反复讨论。

比如说，“在同样都有朋友吸烟的情况下，有的人会意识不到吸烟者的存在”，还有的人可能对吸烟的行为感到非常厌恶，所以并不将吸烟者看作自己的“亲友”，所以对于心理统计学家们来说，他们会准备很多同种类的问题进行因子分析，然后找出其中的答案究竟对何种因子具有意义。

在市场调查方面，也有被称为“消费者行为”的领域，这一领域的学者们往往具有心理统计学的知识基础，而且与社会调查学派的市场调查之间还有许多共同的调查方法。

但是另一方面，在因子分析中假设有多个因子的情况，或者是否允许因子相互之间有关联性等，诸多细节都有可能导致结果产生巨大的区别。为了得到自己考虑的因子结构，而不断重复进行试验的心理统计学家的做法，在流行病学家和生物统计学家们看来，完全是一种自欺欺人的行为。

就连通径分析也无法判断模型是否合适。假设在7个因子之间进行通径分析，从中取出两个进行组合的话有21（=7×6÷2）个通径，如果每个都有“A→B”、“A←B”、“A↔B”、“A与B之间没有箭头”等4个种类的关系性，那就要对84个通径的模型进行是否准确的验证。但是，心理统计学家却几乎从来不会进行全种类的测试。对他们来说就算数据合适，但是无法在心理学上解释的模型也是毫无意义的。

基于上述原因，对于问卷调查的项目和分析方法，心理统计学家与其他统计学家之间的意见往往无法达成一致。

没有针对性的智能测试毫无意义

不过，在日本广泛应用的智能测试，却并没有经过上述介绍过的那些谨慎的心理统计学的分析。

比如，在日本比较流行的智能测试方法之一“田中比奈式测验”，原本是阿尔弗莱德·比奈在1905年为了研究与同年龄孩子共同学习时跟不上进度的孩子，而对自己女儿的成长过程进行观察后所得出的测试方法。所以，就算在这个测验中得到较高的分数，也不能说明就是“天才儿童”。

不管是心理测验还是物理测验，只要原本的定义和测验标准不相符的话都是毫无意义的。就好像如果要找一个“身体好的孩子”，需要根据是究竟准备打篮球还是准备练相扑来选择身材高大的还是身材魁梧的区别一样。

由此可见，没有针对性的智能测试毫无意义，之所以会出现智能测试被滥用的问题，都是因为大家对智能测试不甚了解或者对其进行了过分解读。只要了解前提和极限，并且能够结合自己的目的进行应用，那么不管是智能测验还是其他的任何测验，都可以找到你真正想要知道的东西。这就是心理统计学赋予你的力量。

26 诞生于市场调查现场的数据挖掘

在前文中我曾经提到过，统计学由于计算机的出现，其影响力得到了爆炸性的扩大，由此诞生了被称为数据挖掘的研究领域。

正如对计算机的利用取代了统计学家的手工计算一样，数据挖掘的技术也是伴随着计算机的进步所诞生的。或许就是因为这个缘故，在计算机领域对“数据挖掘”的认知率要远远高于“统计学”。经常会有人向我咨询“我已经导入了最新分析用的数据库，为什么还是无法进行数据挖掘”。不过，没有人向我咨询“我为什么无法进行统计分析”。

但实际上，当我仔细询问究竟为了什么课题或者出于什么目的进行分析的时候，却发现与“数据挖掘”相比，真正应该使用的却是统计学方法。

确实，与“回归分析”这样写在统计学教科书上的汉字相比，“Neural Network”这样的英文单词确实显得更加时髦。而且像“根据在人工智能领域的研究，对人类的神经元进行模拟实验”之类的说明，听起来好像是非常了不起的技术。

不过，如果能够掌握数据挖掘和统计学的思考方法之间的区别和共同点，就可以找到最适合自己的方法。接下来，就让我们对此进行详细的说明。

数据挖掘的历史

要说数据挖掘的起源，谁也没有一个准确的答案。“数据挖掘”这个单词本身，在1995年知识发现（KDD，Knowledge Discovery in Database）国际会议上被确定为“在众多数据中找出有用且未知数据的过程”之前，人们对它的解释一直是众说纷纭。

因此，目前还没有人能够像费希尔被称为“生物统计学之父”那样被人们称为“数据挖掘之父”。

之所以会出现这种情况，是因为数据挖掘并不是由学者研究出来的方法，而是在市场调查和数据处理的“现场”所诞生的方法。曾经进行数据挖掘的人甚至对统计学一无所知。

但是从统计学家在纸上计算公式，对自己从学生们那里收集到的调查问卷结果和实验动物的检查值进行手动计算的时代开始，这些对统计学一无所知的人就已经拥有大量实际存在的数据，并且需要从中找出有用的信息了。1970年代，条码格式才开始逐渐规范，销售点（POS机）也在超市中得到普及。数据库领域的王者甲骨文公司也是在20世纪70年代末期成立的。

但是在那个年代，就算身为统计学家，也不见得就接触过计算机。根据比我年长20~30岁的教师亲口所说，在他们的学生时代“只要写作一篇相当简单的统计分析论文，就可以毕业”。

“尿片与啤酒”的购买分析

在数据挖掘的黎明期，经常接触数据的计算机技术人员和身处一线的市场调查员们发明了各种各样的方法。

其中最著名的当属IBM公司的拉凯什·阿格拉瓦在1993年为英国玛莎百货所作的购物车分析。关心数据挖掘的人，应该都听说过“尿片与啤酒”的故事吧？

表6–1 尿片与啤酒的购买分析①

购买啤酒

没购买啤酒

共计

购买尿片

20

30

50

没购买尿片

280

670

950

共计

300

700

1 000

比如，我们对1 000位顾客的“购物车”，也就是超市的购物小票进行统计，分析“是否购买啤酒”和“是否购买尿片”的数据，得到的结果如表6–1所示。其中同时购买尿片和啤酒的顾客有20人，只买啤酒的顾客有280人，只买尿片的顾客有30人，两者都没买的顾客有670人。

这个数据能够说明什么呢？阿格拉瓦认为最值得关注的地方在于“购买的尿片的人中有40%（50人中有20人）的人都购买了啤酒”。与其他商品进行比较之后就会发现，“买尿片的人”最有可能同时购买的商品就是啤酒。所以，我们可以得出一个推论，即向买尿片的人推销啤酒应该可以提高啤酒的销量。在购物车分析中，像这样“购买某种商品的人同时购买其他商品的概率”被称为信赖度。

不过，现在就给出上述结论为时尚早。本来购买啤酒的人的数量就远远多于购买尿片的人。人类使用尿片的时间最多也就2~3年，而成年男性绝大多数都会喝啤酒。假设本来应该有1/2以上的购物车中装有啤酒，但是因为前来购买尿片的年轻父亲为了孩子而控制饮酒，导致啤酒的购买率停留在40%的话，那么向这些顾客推荐啤酒就是失去意义了。

所以，在购物车分析中还需要一个被称为改善度的指标。也就是说，在所有的顾客中啤酒的购买率（1 000人中有300人购买，购买率为30%）与购买尿片的顾客中啤酒的购买率（50人中有20人购买，购买率为40%）相比，究竟是何种关系，这个对比的数值就是改善度。上述例子中尿片对啤酒的购买率改善度就是1.33（=40÷30）。从购物车分析的思考方法来看，如果改善度在1以上，就可以认为是具有改善效果的。

但即便如此，这个结果仍然是不准确的，如表6–2所示。

表6–2 尿片与啤酒的购买分析②

购买啤酒

没购买啤酒

共计

购买尿片

2

3

5

没购买尿片

298

697

995

共计

300

700

1 000

在这种情况下，虽然购买尿片的顾客中有40%（5人中有2人）的人都购买了啤酒，信赖度仍然为0.40。所有顾客中啤酒的购买率仍然保持不变，所以改善度同样为1.33。

但是，如果同时购买尿片和啤酒的这两个人中有一个人是偶尔心血来潮进行购买的话，那么信赖度就会瞬间下降到0.20，改善度也同样下降为0.67，就会出现相反的结果。而且，如果购买尿片的人数本来就很少的话，就算他们“真的会同时购买啤酒”，对增加啤酒的销量也起不到什么作用。

所以，在购物车分析中需要注意的是，“不必考虑那些数量极少的消费组合”以及“同时购买尿片和啤酒的顾客”在全体顾客中占多少比率。这个值被称为支持度。表6–1中的支持度为0.02（1 000人中有20人），而表6–2中的支持度为0.002（1 000人中有2人）。

比购物车分析更加方便的卡方检验

通过上述那样简单的计算就可以找出具有关联性的商品，这是购物车分析的优点。但是，学过统计学的人很快就会发现“本来就有更加简单的方法”。谷歌的创始人之一谢尔盖·布林在学生时代特意针对此事发表过一篇论文，提出“与购物车分析相比，统计学的相关分析更加方便”。

在对这样的统计表进行分析时，统计学最常用的是卡方检验计算的卡方值。在广义线性模型中，我已经对卡方检验进行过说明，所以大家应该对这个概念并不陌生。卡方检验之中已经包含了费希尔所说过的“估计值的误差”，所以不必考虑支持度之类的指标，卡方值越大就能够证明改善度越大。另外，在商品是否有销售的二值变量间，选择卡方值大的组合与选择相关系数绝对值大的组合，其意义也是相同的。

在进行购物车分析时，必须在考虑改善度与支持度的前提下进行各种各样的计算和检验，而使用卡方值的话则不会被误差所欺骗，能够自动找出关联性较强的商品组合。因此，在亚马逊的商品推荐中，就常常进行这样的相关分析。

诞生于人工智能领域的高级数据挖掘法

当然，除了购物车分析那样的简单计算方法之外，数据挖掘领域也有具有高级运算逻辑的方法，比如神经元网络、支持向量机，以及聚集性分析，想必大家都或多或少地听过这些名字吧。

这些方法绝大多数都被应用于人工智能领域。人工智能是计算机科学中一直备受瞩目的领域，从事计算机相关工作的技术人员或许从学生时代开始就经常接触到上述那些方法了。

在人工智能领域中，根据思考方法的不同分为几大类，而数据挖掘最常用的方法则是从归属于人类认知功能的分类之中诞生出来的。

比如，我们人类面对拥有一定高度的家具时，能够非常清楚地分辨出哪些形状的是“椅子”，而计算机就无法分辨什么样的家具属于“椅子”。这样的认知就属于“椅子”和“椅子之外其他家具”的分类。

图6–3 形状各异的椅子

对人工智能来说，“分类”大致上有两种方法：一种是“有教师的分类”，另一种是“无教师的分类”。

如果将家具的高度、重量以及有几个接地点等数据输入进去，那么接下来需要做的就是“将相似性较高的分为同一组”。如果利用椅子之间数据的相似性要高于椅子与衣柜之间数据相似性的特点对许许多多的家具进行分类的话，其中一定会出现“椅子或者数据上类似椅子的家具”这一分类。这种方法属于无教师的分类，其中最具代表性的就是聚集性分析。

实际应用中，聚集性分析最常出现的领域是市场调查中的市场分类。所谓市场分类，是指将市场或者顾客分为相似性较高的几组。没有进行市场分类的市场调查就像是没有准星的大炮，只能盲目地生产商品，毫无针对性地进行宣传和销售。但是，顾客的价值观与接触的媒体各不相同，毫无章法地胡乱“开炮”只会浪费广告费与销售经费。

如果你能够将公司的顾客群体限定在“有钱的专职主妇”和“高端的职场女性”这两个分类之中，那么就可以有针对性地生产商品和进行广告宣传。只要对顾客数据进行聚集性分析，就能够实现上述那样完美的分类。

但是，聚集性分析“只能够进行分析”，至于分类后的结果各自属于什么类别，还需要对其进行人工识别和判断。聚集性分析是某种市场调查员们最常用的方法，在这些人中甚至还有大家耳熟能详的名人。

不过，要是想从家具的数据中找出“椅子”，与其单纯地依靠类似性进行分类，不如直接告诉对方“这是椅子”。这样的话，可以得到更加准确的数字。这种直接告诉对方“这是椅子”的方法，就是“有教师的分类”。

为什么数据采集专家认为回归模型是“老古董”？

如果在统计学中想要进行“有教师的分类”，就要对“椅子为1”、“其他为0”这个二值的结果变量进行逻辑回归分析，但是有些高级的数据挖掘专家却认为这种方法过于陈旧，属于“老古董”。

他们之所以这么说，是因为回归模型只能进行“解释变量独立对结果变量产生影响（没有相乘效果）”和“解释变量与结果变量的关系性呈直线”的分析。

将椅子的重量作为解释变量，对椅子作为结果变量进行分析的时候，1千克的椅子和2千克的椅子之差与10千克的椅子和11千克的椅子之差是“重量每增加1千克，属于椅子的概率同比下降”的直线关系。相反，如果1千克增加到2千克的情况和10千克增加到11千克的情况对结果变量的影响不同的话，那么就会出现“曲线关系”。

当然在逻辑回归之中，追加相互作用可以对曲线的关系进行假设分析。但是，在数据挖掘专家们看来，统计学家们“必须要经过不断的错误尝试才行”。

如果使用神经元网络和支持向量机的方法，就可以对包括曲线关系和交互作用在内的情况，都进行最具识别力的分类。

比如图6–4，神经元网络会在输入数据中产生出“中间层”的值。中间层的数量和中间层包含的变量的数量可以任意设定，不过一般都是通过输入数据中的有用项目，按照实际情况自动计算出中间层的数量。其中的椭圆和箭头表示的是神经细胞与神经元之间的联系。

图6–4 神经元网络分析

而逻辑回归（没有交互作用）则是单纯地通过输入的数据来对结果进行直接预测（图6–5），所以数据挖掘专家们才会认为回归分析是过于陈旧的“老古董”。

图6–5 逻辑回归分析

如果使用支持向量机的话，甚至可以用曲线的方法进行分类。

图6–6是假设只能通过“高度”与“重量”这两个数据对椅子和桌子进行区分的情况，椅子由于靠背的有无而被分为两种“高度”。因此，桌子比没有靠背的椅子高，却比有靠背的椅子低。

在这种情况下使用逻辑回归进行分类的话，根据虚线所示的两边进行究竟是椅子还是桌子的判断，结果发现两边各出现一个分类错误的例子。这时可以使用支持向量机的方法进行如图6–7那样的更加准确的曲线分类。

图6–6 逻辑回归的分类

不管是神经元网络还是支持向量机，只要是针对曲线或者有多个变量存在的复杂关联性数据时，都比回归模型更加准确和高效。

在“预测”中发挥重大作用的数据挖掘

不过，能够享受上述优点的只有以分类和预测为目的的情况。

图6–7 支持向量机的分类

单纯的逻辑回归本来就能够掌握简单的解释变量和结果变量之间的关联性。图6–5的逻辑回归用比值比来表示的话，如图6–8所示。

某个家具是椅子的概率在宽度和高度发生变化时产生改变的概率并不大，但是，接地数每增加一个比值比就会增加2倍，重量每增加1千克比值比则减少1/2。只要掌握了这些条件，谁都能够判断出“重量轻且接地数多的家具”是椅子的概率比较高吧。而宽度和高度之所以无法作为参考条件，大概是因为有很宽的椅子存在以及椅子分为有靠背和无靠背的缘故。

图6–8 通过逻辑回归得到的比值比

与之相比，神经元网络的复杂箭头表示了何种程度的关联性，支持向量机的曲线表示怎样的公式，对人类来说就没有那么一目了然。这样的话，不管预测精度有多高，都会使人感到困惑。

比如，在市场调查中得到了“来店频率高、对品牌拥有好感的顾客消费额也高”这样的结果，那么就可以进行刺激顾客频繁来店的促销活动，或者进行提高品牌好感度的宣传广告。但是，如果你拿出了一个“虽然不知道计算的过程，但能够准确预测顾客消费额的方法”，那么对实际行动没有任何指导意义。

当然，像预测顾客可能购买的商品，或者事先发现可能退会的顾客等，这种以预测本身为目的的情况下，数据挖掘是非常有效的。虽然数据挖掘的方法与逻辑回归的预测精度相比，经常只有百分之几的误差，但如果这百分之几的误差与非常巨大的利益有着紧密联系，还是应该选择数据挖掘的方法。

在并非以预测为目的，而是希望知道预测模型今后应该怎么做，回归模型就会发挥巨大的作用。在理解上述这些不同点的基础上，根据不同的情况选择最合适的方法，是21世纪的统计学家们所必须具备的素质。

27 分析语言的文本挖掘：莎士比亚真的存在吗？

莎士比亚就是培根？

文本挖掘，简单地说就是对用自然语言书写的文章进行统计学分析。所谓自然语言，就是像汉语、英语、日语那样自然地随文化演化出来的语言。

古往今来，对文章的分析从来都用不到数学，而是完全依靠对历史资料的研究、哲学的思考以及文学的想象力来支撑的。在我周围也不乏仅仅因为“对数字很头疼”的理由就选择进入文学系的人，就算他们对数字很头疼，也一样可以对莎士比亚的戏曲表现和本·琼森的诗歌进行比较与讨论。

但实际上，早在19世纪人们就已经将数学概念引入文章分析当中。也就是说，通过对文章中出现的单词种类和长度，以及一篇文章中包含的平均单词数等数据进行统计，可以尝试掌握文献的特征。这种研究被称为文献计量学。

初期的文献计量学研究者们对莎士比亚的文本进行了分析。不过，这并不是为了探寻莎士比亚戏曲魅力的秘密，而是为了搞清楚“莎士比亚究竟是不是弗朗西斯·培根”这个在当时被传得沸沸扬扬的话题。

“莎士比亚这个人物真的存在吗”、“是不是谁的笔名”之类的议论，从18世纪开始就沸沸扬扬。因为莎士比亚出身于平民，所以关于他的历史资料少之又少，而他对贵族的文化和教养却描写得十分细致，因此人们怀疑他的作品也许是另外一位受过良好教育的人创作的。

而弗朗西斯·培根是与莎士比亚同时代出生的伟大哲学家，他摒弃了偏见和先入为主的观点，证明了通过观察与试验寻找真理的归纳推理的重要性，毫无疑问是统计学家们最尊敬的人物。他的文学素养和教育程度都很高，完全是一个有能力写出莎士比亚戏曲的人。

但是，对两者的文章进行比较之后，却发现平均单词长度和一篇文章中单词的数目都不一样（图6–9）。虽然戏曲和哲学书籍的文体确实不一样，但是能够得出“没有人们议论的那种特别的相似性”这一结论，也是一个很大的进步了。

图6–9 莎士比亚与培根所用单词的字数区别

文本挖掘的王道：“语素分析”

19世纪，要对整本书的单词数和文字数进行计算，恐怕是一项非常痛苦的工作。但是，在计算机技术十分发达的今天要进行同样的工作却十分轻松。现在有很多开源的语素分析工具，只要使用这些工具，就可以非常简单地对文章中单词的使用频率进行分析，还可以对动词和名词进行统计，从而分辨两篇文章之间使用单词的类似性。

一般情况下，语素分析指的是将文章分解为单词，然后统计各个单词分别出现过多少次的计算过程。在语言学中，“语素”指的是比单词更加短小，“在语言中拥有意义的最小单位”。比如说，“不稳定的”这个形容动词，其中“不”是否定助词，“稳定”和“的”属于形容动词，但是如果真的将这个单词如此细致地分为3个语素，那么反倒会让人完全无法理解其中的意思，所以绝大多数的语素分析工具都只是将文章分解为单词。

为了进行语素分析，收集了单词信息的词典数据是必不可少的。基本的计算逻辑就是从文章内找出与词典数据内的单词相一致的内容，找到后进行标记。

让我们通过谷歌日语输入法的开发者之一工藤拓发明的MeCab语素分析工具，来对“あえて断言しよう。あらゆる学問のなかで統計学が最强の学問であると。（我敢断言。在所有的学问之中统计学是最强的学问）”这句话的语素进行分析，得到的结果如图6–10所示。

图6–10 用MaCab进行语素分析后的结果

副词

“あえて”

名词

“統計”

名词

“断言”

名词

“学”

动词

“しよ”

助词

“が”

助动词

“う”

名词

“最強”

标点符号

“。”

助词

“の”

连体词

“あらゆる”

名词

“学問”

名词

“学問”

助动词

“で”

助词

“の”

助动词

“ある”

名词

“なか”

助词

“と”

助词

“で”

标点符号

“。”

虽然“统计学”应该被算作一个单词，但总体来说这个结果还算令人满意。将这个分析结果进行词性统计后的结果如图所示。

除了语素分析之外，还有一种不利用词典数据的方法，叫作N元语法模型（N–Gram）。这种方法的原理是选出具有机械性重复的N个字的文字列，然后从中找出想要的单词。比如N等于5的话，那么“统计学是最强的学问”这句话就能够生成“统计学是最”（第1~5个字）、“计学是最强”（第2~6个字）、“学是最强的”（第3~7个字）、“最强的学问”（最后5个字）这些以5个字为单位的Gram。

表6–3 图6–10的词性统计

词性

频率

%

名词

7

35.0%

助词

5

25.0%

助动词

3

15.0%

标点符号

2

10.0%

动词

1

5.0%

副词

1

5.0%

连体词

1

5.0%

总计

20

100.0%

在之前的语素分析当中，因为词典中没有“统计学”这个单词存在，所以才将其分别认识为“统计”和“学”。但是根据语素分析后的结果搜索“统计学”这个单词的时候，会发现“不存在这个单词”。而N–Gram则不会出现这种情况，只要是低于5个字这一Gram限制的“统计学”这个单词确实在文中存在，就一定能够被找出来。谷歌之所以能够搜索出非常冷门的词语，就是因为在其背后有非常庞大的N–Gram数据作为支撑。

在商业中活用文本挖掘的方法

文本挖掘方面的专家大体上可以分为两类。

第一类是接受过文学、历史、社会学等人文学科教育的人，或者接受过拥有相关背景的教员指导的人。他们经常为了自己的研究而使用文本挖掘工具对史（资）料进行调查，用来旁证自己的论点。

第二类是在计算机领域对自然语言处理这一题目感兴趣的人。准确地说，他们应该更接近于数据挖掘专家，为了找出通过机械的计算方法，快速且准确地对语素进行分析和研究。

比如说，他们所关心的研究课题是如何不单纯地依靠词典数据，而是根据前后文的单词来提升推测精度。另外，他们还经常将语素分析的结果应用在数据挖掘的研究之中。

文本挖掘技术在很久以前就已经被应用在商业领域，对客服中心的对话内容进行分析。在客服通话结束后，对客服人员提交的报告书和询问的电子邮件中频繁出现的单词进行分析，就能够找出“被询问最多的是什么问题”。掌握了这个信息之后就可以有针对性地制作说明书或者常见问题解答（FAQ），从而达到减少客服人工费的目的。这种方法最早由IBM使用，后来被许许多多的公司所效仿。

此外，还有对得到的询问邮件自动进行语素分析，将与出现的关键词有关的FAQ发送到客服人员终端上的系统。针对绝大多数的提问，客服人员只需要将推荐的FAQ直接复制、粘贴即可，节省了大量的对答时间。

另外，还有对调查问卷上的自由回答中出现的单词进行统计的应用。

如果顾客数量过于庞大，要想将每个人的意见逐一看完是非常困难的，但是通过语素分析对单词的出现频率进行统计的话，就可以轻松地掌握顾客意见的整体情况。

近年来，文本挖掘已经不只应用在对自己公司的询问邮件和调查问卷内容进行统计，更进一步发展到对通过社会性网络服务（SNS）产生的庞大文本进行统计。包含自己公司名称和商品名称的博客与微博都是非常重要的“顾客之声”，就算无法一一进行了解，通过文本挖掘对其整体情况进行掌握也是非常重要的，或许会由此诞生出令人意想不到的新商品或者促销活动的好点子。

通过活用文本挖掘来获得利益

但是，如果从统计学家的角度来看文本挖掘领域共通的这些课题的话，他们一定会提出这些课题都过于限制在自然语言范围。

通过语素分析，确实可以将文章这种非结构化数据转换为是否出现单词的虚拟变量。由此实现的对文章进行统计学处理也确实是一大进步，但是仅仅将这一进步应用在通过单纯的统计和分类对整体情况进行把握方面，实在是一种浪费。像文章中的何种单词以何种组合出现之类的信息，在绝大多数情况下如果离开了庞大的解释变量，就不是我们所追求的结果。

不过实际上，在日本的商业领域之中，已经出现将文本挖掘与利益连接起来的事例。

比如对营业日志进行文本挖掘，分析成功事例与失败事例之间有怎样的单词频率区别，从而达到增加机会的目的。有人对有价证券报告书中出现的单词进行分析，找出后来破产的企业和成功的企业之间单词的出现频率有怎样的区别。还有人将顾客对店铺的忠诚度和对店铺发表的感想进行了综合分析，找出对店铺忠诚度高的人在感想中都会出现什么样的单词。在上述例子中，都没有仅仅针对文章中出现的单词频率，而是对文章之外还有什么与结果变量之间具有关联性进行了分析，所以才找到了能够产生利益的战略。

虽然文本挖掘背后凝聚了非常高的技术含量，但只要利用工具的话谁都可以轻而易举地做到。而如何通过文本挖掘获得利益，则需要文本挖掘之外的统计能力了。

28 “演绎”的计量经济学与“归纳”的统计学

统计学与计量经济学表面上的区别

计量经济学家是对在经济学领域应用统计学的人的一种统称，但计量经济学与统计学之间的界限却有些模糊。

如果是在几十年前，或许还可以清楚地分成“将统计学应用在社会与经济领域就是计量经济学家”、“将统计学应用在农业和医疗领域就是生物统计学家”，但是从生物统计学之中诞生出来的方法现在却被广泛应用于许多领域，就连计量经济学家们也不例外。而且现在人们对于费希尔和皮尔森所发明的种种方法，并不特意将其归类为“生物统计学”。一般情况下说起统计学，如果没有像心理学和社会调查学那么明确地进行区别的话，指的都是由费希尔等生物统计学家在背后支撑着的统计学。

比如将现在是否有工作作为结果变量，将受教育程度和过去的家庭收入、人种、居住地等社会属性作为解释变量进行回归分析，计量经济学家与社会学领域的统计学家都会作这样的统计。但是，计量经济学家属于统计学家中立场比较特殊的一类人。

表面上的区别在于，计量经济学家比统计学家更加重视包含交互作用的解释变量，在其选择上会进行更加慎重的讨论。而且，他们不只考虑解释变量与结果变量间的直线关系，还会考虑两者之间的曲线关系。比如将单纯的家庭收入作为解释变量，对生活的满意度作为结果变量进行回归分析时的回归系数，可以看作“年收入增加100万日元的效果对所有人来说基本相同”（图6–11）。

图6–11直线的关系性

另外，通过这张图表我们还可以看出，“年收入从300万日元增加到400万日元所产生的变化，和从900万日元增加到1 000万日元所产生的变化对生活满意度的影响是不同的”。也就是说，家庭收入与生活满意度之间的关系似乎更符合曲线的变化轨迹（图6–12）。在这种推测中，就需要利用“家庭收入的平方”与“log（家庭收入）”作为回归分析的解释变量。

图6–12 曲线的关系性

另外，许多统计学家对于二值的结果变量习惯使用逻辑回归，而计量经济学家们却习惯使用多元概率比回归。虽然多元概率比回归比逻辑回归在数理表示上更加清晰，但是多元概率比回归推测出来的回归系数并不像逻辑回归推测出的比值比那样以“大约×倍”的形式表示得一目了然，这也是多元概率比回归的缺点。

在前面的文章中，我还介绍过统计学家们在因果推论中会使用倾向指数，而计量经济学家们则习惯使用疗效模型和赫克曼选择模型等方法，这是诺贝尔经济学奖获得者詹姆斯·赫克曼在他1974~1979年的一系列论文中所提出的方法。我还没见过任何一个没有经济学知识背景的统计学家使用过上述两种方法。

统计学与计量经济学本质上的区别

不过，上述那些内容只不过是表面上的区别，最重要的还是作为其背景的哲学。

虽然经济学和统计学乍看上去都是“对社会上存在的数字进行分析的学问”，但在某种意义上两者却拥有完全不同的哲学。计量经济学虽然属于经济学中最贴近统计学思考方法的领域，却仍然和统计学之间有着无法填补的鸿沟。

存在于两者之间的完全相反的哲学，主要围绕着“归纳”和“演绎”为中心组成。

一般情况下，科学的推论形式大体上可以分为归纳与演绎两类。总体上来说，归纳就是将个别事例集中起来推测出统一规则的方法；演绎则是基于某种事实和假设，通过推理导出结论的方法。

费希尔的学生C·R·拉奥就这样说过，“随着统计学的发展，可以将归纳推论中的不确定性量化，从而使归纳的推论更加准确，并为我们的思考方式带来巨大的飞跃性的进步”。所谓数据，实际上就是将个别的事例为了更加容易理解而集中起来的结果，因此统计学的目的就是进行归纳的推论。在这种情况下，推测出来的回归模型之类应该就属于“将事例集中起来推测出来的一般规则”。

另外，演绎的代表则是牛顿的力学理论。牛顿力学有三大定律，可以用来解释小到棒球大到太阳系行星等世界上一切物体的运动规律。

牛顿力学的三大定律如下所示。

一切物体在没有受到外力作用的时候，总保持匀速直线运动或静止。

物体的加速度与物体所受的合外力成正比，与物体的质量成反比，加速度的方向跟合外力的方向相同。

两个物体之间的作用力和反作用力，在同一直线上，大小相等、方向相反。

不过，我们无法判断上述定律本身的真伪，这一点需要大家注意。

比如第一个定律，换句话说可以理解为“力使物体的速度发生变化”。当然，或许有人对“力”这个词有着不同的理解，但是对于“牛顿今后这样定义力这个词”，我们却无法判断其是否正确。

总之，牛顿最初提出的运动定律是“无法提出反驳”这一讨论的前提。即便如此，通过对这个简单的假设所得出的数学公式展开演绎，可以对我们眼见的所有运动状况进行解释和说明。而且以此建立起来的理论，支撑了基于观察和试验的理论实证，确立了进行归纳推论的方向性目标。

从牛顿的简单假设到解释说明世间万物的理论体系这一美妙的过程，随后对物理学之外的其他所有领域的学者们都产生了非常深远的影响。

比如提出共产主义理论体系的卡尔·马克思，他就认为人类社会也和自然一样存在着客观的规律，由此提出了人类历史只用生产力的发展就可以进行解释说明的唯物主义历史观。在费希尔之前有一位叫作阿道夫·凯特莱的统计学家就曾经尝试找出人类的行动规律，他认为人类的行为也和天体运行一样是有规律可循的，并且对人类的相关数据进行收集，开创了被称为社会物理学的学科。另外，高尔顿也将达尔文的进化论进行了数学化的描述，或许他是打算成为生物学领域的牛顿。

追求更好模型的计量经济学家

虽然上述那些人的尝试很多都以失败告终，但牛顿的研究方法在物理学领域之外仍然有少数成功的事例，经济学领域就是其中之一。

经济学家们根据牛顿的假设“一切物体在没有受到外力作用的时候，总保持匀速直线运动或静止”，推测出“所有的经济活动都是以物易物”以及“消费者会选择最大化期待效果的行动”等假设，并且根据这些假设对价格、支出、储蓄等条件之间的关联性通过联立方程式重复进行演绎，尝试对个人与社会的均衡状态进行解释和说明。

或许是出于这个原因，计量经济学家会经常利用回归分析的结果进行推论。对于流行病学家们来说，只要证明吸烟会提高罹患癌症的风险这个结果就可以了，但是计量经济学家们却要针对此进行“如果这个推测是正确的，那么全日本因此出现了多少损失”的演绎。在前文中我曾经提到过吸烟每年会给日本带来7兆亿日元以上的经济损失，这就是计量经济学家推论出来的结果。

比如我们得到了一个通过性别、年龄、是否吸烟等数据推测出癌症发病概率的模型，那么根据现在性别、年龄与吸烟率的数据，就能够演绎出由于现在吸烟导致将来癌症发病的人数。进一步根据癌症患者的医疗费等新数据，就可以演绎出“由于吸烟而产生的额外医疗费”这一经济上的损失。

不过，针对最终的经济损失数据，还必须满足“回归系数在考虑性别与年龄的基础上对其他群体也适用”和“癌症患者的医疗费今后不发生变化”这样的假设条件。

流行病学家和生物统计学家在利用归纳的方法导出一般规律的时候，会认为“因为没有进行随机对照试验，所以肯定会包含误差，换作其他群体的话或许无法与这个回归系数保持一致”，对涉及普遍性的部分保持比较谦虚的态度。甚至被某些计量经济学家们说成是“胆小鬼”。因此，他们“只在这次的调查对象”范围进行准确无误的因果推论，并且在加上“应用于其他对象群体时请注意”这样的说明后才提交结果。只要他们能够准确地推论出自己感兴趣的原因与结果的关系性，那么对于包括性别和年龄等其他变量的模型是否适用于日本民众就不那么关心了。

但是，对于计量经济学家们来说，无法作为演绎对象的模型对于经济学的进步来说没有任何意义，因此他们比其他统计学家们更加热衷于利用一切手段去寻找最合适的、最准确的模型。利用抽样调查对社会调查数据进行分析就是他们的方法之一。如果能够获得更好的模型，就能够降低在今后的演绎中出现错误结论的可能性。但是，不管模型有多么完美，他们仍然对类似神经元网络那样的联立方程式一样的表现形式没有任何兴趣。

另外，我在赫克曼的疗效模型和倾向指数之间也发现了“为了进行演绎的模型”与“为了对导致因果关系出现误差的原因进行调整的模型”这种思想上的区别。

使用倾向指数进行的分析与随机对照试验一样，属于“除了感兴趣的因素之外其他条件基本相同”的情况。将这样的倾向指数应用在回归模型之中，就能够准确分析多个解释变量对结果变量所造成的影响。哈佛大学的教授鲁宾等人在1994年发表的论文对此有巨大的影响。但是，赫克曼在20世纪70年代就已经提出了回归分析的方法，后人也不断对其进行细节方法上的改善。

但实际上，并不像有些刻薄的计量经济学家们所说的“统计学家与经济学家相比研究的级别要落后20年”。在流行病学家和生物统计学家看来，在倾向指数实现的分组分析中，能够像随机对照试验那样“平均情况下其他条件基本相同”的话，就足以用来进行因果推论了。但是，对于计量经济学家来说，“公平比较”本身并不是目的，只不过是为了得到更加准确的演绎模型的一种手段罢了。

影响力不断增强的计量经济学

几乎所有的统计学家都希望能够尽可能地减少假设。因为一旦假设错误，因果推论的结果出现错误的可能性就会非常大。

但是另一方面，如果假设在某种程度上是正确的，那么通过演绎就能够得到比数据更多的信息。况且，统计学本身也不是在没有任何假设的前提下就一定准确的东西。

不管是计量经济学还是统计学，最关键的都不是推论出来的结果，而是其背后隐藏着怎样的假设，以及假设有多少准确性。只要能够理解这两点，那么在推论过程中使用哪种方法，不过就是琐碎的小事。

这个在演绎与归纳或者说在理论与实证之间扮演着重要角色的计量经济学，实际上是在最近一段时间才在经济学中占有一席之地的。经济学领域最有影响力的约翰·梅纳德·凯恩斯将利用统计学手法的计量经济学称为“黑魔法一样奇怪的东西”，经济学中也将计量经济学褒贬不一地称为“没有理论的测量”。因为对经济学来说理论是非常重要的，由此可见计量经济学的特立独行。

正如统计学是“最强的学问”一样，计量经济学在数据整理和计算机的发展方面也发挥着举足轻重的作用。恐怕在今后的日子里，经济学的诸多理论都会被计量经济学证明，我们的社会也将会变得更加富强。

29 贝叶斯派与频率派之间的对立

在这一章中，我已经对统计学在社会调查、心理统计学、数据挖掘与计量经济学等各种各样的领域中的思考方法进行了介绍，最后让我们对“围绕概率本身的思考方法”出现的对立进行一下介绍。

这就是频率派与贝叶斯派之间的对立。如果将两者之间的区别用一句话来概括的话，那就是“是否在事前预测某种概率”。

为了理解两者之间的区别，让我们假设有两种硬币。一种是出现正面和出现背面的概率都是50%的“真正的硬币”，另一种是出现正面的概率是80%、出现背面的概率是20%的“老千硬币”。我们假设这两种硬币的外形和重量完全相同，然后各投掷一定的次数，对出现的结果进行统计和分析，判断究竟是哪一种硬币。

频率派的思考方式很简单

频率派就是基于费希尔那种思考方式的统计学家。如果投掷10次全都出现正面的话，那么这枚硬币究竟是真正的硬币还是“老千硬币”呢？频率派首先会假设“这枚硬币是真的”，然后根据这个假设计算投掷10次全部正面朝上的概率。“在正面朝上的概率达50%的条件下，偶然10次全部出现正面朝上的概率是2的10次方分之一，也就是只有0.10%。”这和前文中出现的那个妇人“猜对全部10杯奶茶的概率”是一样的，这个0.10%的概率也被称为p值。那么相比这个堪称奇迹的概率，否定“这枚硬币是真的”的假设才是比较理智的判断吧。

接下来，假设“这枚硬币是老千硬币”，进行与之前同样的计算。“正面朝上的概率达80%的条件下，偶然10次全部出现正面的概率是10.74%”。p值为10.74%的话，就算不上是奇迹了。所以，这个假设是可以成立的。

既然“这枚硬币是真的”的假设不成立，而“这枚硬币是老千硬币”的假设成立，那么就可以认为这枚硬币是“老千硬币”了吧。更简单地说，只要将这枚硬币投掷1 0000次，然后计算其出现了多少次正面朝上的情况即可。大概真正的硬币出现正面朝上的次数约为5 000次，而“老千硬币”出现正面的次数约为8 000次。所谓频率派，就是指在“无数次的试验”中出现结果的“频率”。而且，在这种情况下真正的硬币出现正面朝上次数为8 000次的p值和“老千硬币”出现正面朝上次数为5 000次的p值都非常低。

贝叶斯派的“事前概率”与“事后概率”

贝叶斯派在对这枚硬币进行判断的时候，首先会在没有任何信息的时候考虑这枚硬币有多大的概率是真硬币或“老千硬币”。这种概率被称为事前概率。事前概率的数值是多少都无所谓，暂时假设概率为50%。然后根据和之前相同的“10次投掷全部出现正面朝上”这一结果进行推测。

前半部分的计算过程和结果与频率派完全一样，最后都是0.10%和10.47%，但接下来的结算方法就有所不同了。

贝叶斯派会将附加结果计算出来的概率分别乘以事前概率。在这种情况下的计算结果如下：

①真正的硬币的事前概率×真正的硬币10次全部出现正面的附加结果概率

=50%×0.10%

=0.05%

②“老千硬币”的事前概率×“老千硬币”10次全部出现正面的附加结果概率

=50%×10.74%

=5.37%

另外，因为我们只有真正的硬币和“老千硬币”这两个选项，那么不管在什么情况下，选中真正硬币和“老千硬币”的概率之和必定是1。这一点，即便在“10次全部出现正面朝上”的情况下也不例外，也就是说①与②的合计值应该是“1”。

再详细一点说的话，就是①“真正的硬币连续投掷10次都出现正面朝上”的0.05%概率和②“‘老千硬币’连续投掷10次都出现正面朝上”的5.37%概率的合计值是5.42%。这就是在投掷硬币之前，“真正的硬币与‘老千硬币’的概率都为50%的情况下连续出现10次正面朝上的概率”这一假设的回答。

但是，“在硬币连续10次都出现正面朝上的情况下，硬币连续10次出现正面朝上的概率”必然为100%。这就好比提出“人类是人类的概率是多少”的问题一样，如果没有进行有哲学深度的思考直接做出回答的话，那结果一定是100%。

所以，“在硬币连续10次出现正面朝上的情况下，是真正硬币的概率”，在作为100%的5.42%之中只占0.05%，而“在硬币连续10次出现正面朝上的情况下，是‘老千硬币’的概率”则在5.43%之中占5.37%。

我们用①和②各自的值分别除以①与②的合计值5.42%。计算出“在硬币连续10次出现正面朝上的情况下，是真正硬币的概率”为

①÷（①＋②）=0.05÷5.42=0.90%

另一方面，“在硬币连续10次出现正面朝上的情况下，是‘老千硬币’的概率”为

②÷（①＋②）=5.37÷5.42=99.10%

由此可见，根据10次全部出现正面朝上的数据来进行计算的话，有99.1%的概率是“老千硬币”。这个根据事前概率和数据计算出来的概率被称为事后概率。

上述计算结果的统计图如表6–4所示。

表6–4 贝叶斯派的概率计算①

真正的硬币

老千硬币

合计

事前概率

50.00%

50.00%

100.00%

附加条件的概率

0.10%

10.74%

事前概率×附加条件的概率

0.05%

5.37%

5.42%

事后概率

0.90%

99.10%

100.00%

顺便说一句，之所以叫作贝叶斯派，是因为这种概率的计算方法最早出现于一个名叫贝叶斯的牧师所写的论文。在他死后，数学家们将他的这种思考方法发扬光大，并且以他的名字命名。

与计量经济学相得益彰的贝叶斯统计

根据到目前为止介绍过的领域，社会调查、流行病学、生物统计学、心理统计学等领域中频率派比较多，计量经济学家则大多数属于贝叶斯派，数据挖掘专家虽然没有特别的分类，但是比较倾向于贝叶斯派。

虽然同为统计学家，但频率派与贝叶斯派之间的对立却是根深蒂固的。在频率派看来，“设定事前概率”这种思考方法本身就非常愚蠢，因为如果假设了不同的事前概率，那么最后得到的事后概率也会不同。这种可以随时改变的概率，究竟有何意义呢？

但是，贝叶斯派却认为，就算最开始假设这枚硬币有90%的概率是真的，那么从“10次全部都是正面朝上”的数据所计算出的事后概率还有“92.43%的可能为‘老千硬币’”由此可见事前概率的数值对结果的影响很小（表6–5）。

表6–5 贝叶斯派的概率计算②

真正的硬币

“老千硬币”

合计

事前概率

90.00%

10.00%

100.00%

附加条件的概率

0.10%

10.74%

事前概率×附加条件的概率

0.09%

1.07%

1.16%

事后概率

7.57%

92.43%

100.00%

另外，如果只能对硬币进行3次投掷，那么频率派的方法就无法对硬币进行判断，而贝叶斯派则至少能够判断出硬币究竟属于哪一种的可能性更大。

因此，在进行“不允许出现错误”的保守判断时，基本上都会选择频率派的方法。比如说在医疗领域，“是否应该认可新药品的使用”就是绝对不允许出现错误的判断之一。没有任何效果的药品会导致医疗保险的浪费，而浪费医疗保险在某些情况下就等于扼杀病人的生命。

在这种情况下，回归模型和倾向指数都是不允许使用的，只有随机对照试验的结果能够得到承认，这也是国际上的一贯做法。在这种不允许出现错误的判断之中，假设“有50%的概率有效”的事前概率是非常不明智的，因为所有可能导致因果推论出现错误的假设，都应该极力避免。

对于长年致力于国家范围内的数据挖掘的社会调查统计学家们来说，“假设失业率为3%”这样的条件容易导致最后计算出错误的结果，而且在拥有大量抽样调查数据的社会调查领域之中，贝叶斯派的思考方法所带来的优点也是非常有限的。只有在人口十分稀少的地区或者以少数民族为对象的调查中，才可能用到一部分贝叶斯派的方法。

另外，要说频率派和贝叶斯派究竟哪一个更加适合演绎的推论，近年来的计量经济学家们或许会更加支持贝叶斯派。因为根据贝叶斯派的思考方法，在“事前概率”这个假设的前提下，就可以根据数据进行演绎。

经济学在100余年的演绎历史中诞生出许许多多的理论模型。对于经济学家们来说，虽然现实存在的数据本身非常重要，但拥有100余年历史的理论也同样值得信赖。所以，通过贝叶斯派的方法假设“确定回归系数在某种范围的值有多少概率”，可以更加有效地利用那些理论。

更进一步地说，经济学理论本身考虑的就是曲线模型，并且能够得到“理论上图表只能够得到这些数值”这样一个演绎的结论。在推测出这些模型的基础上，即便是在单纯的数理性质上，贝叶斯派的推测也能够发挥足够的威力。

在判断垃圾邮件时发挥威力的贝叶斯派统计方法

在数据挖掘领域中，也存在着贝叶斯派的方法，最著名的当属判断垃圾邮件的计算方法。

比如说，一般人收到的电子邮件中约有1成都是垃圾邮件。而对普通邮件和垃圾邮件的文件名进行对比后发现，垃圾邮件中约有1成都是以“Britney”也就是布兰妮的色情信息为主的内容。当然，普通邮件中可能也包括有布兰妮的信息，但日本人特意用英语发送邮件的数量还不及所有邮件数量的0.01%。

在这种情况下，针对“文件名中包含Britney这一单词的邮件”进行判断，如表6–6所示，得到结果是有99.991%的事后概率表明这封邮件是垃圾邮件。

表6–6 对垃圾邮件进行贝叶斯派的分析

真正的硬币

“老千硬币”

合计

①事前概率

90%

10%

100%

②文件名中包含Britney

0.01%

10%

①×②

0.009%

1%

1.009%

事后概率

0.009%

99.991%

100%

与医疗领域的例子不同，这种情况属于“就算稍微有差错也无所谓，只要能够迅速地进行判断就好”，因此使用贝叶斯派的方法更加合适。

如果用频率派的方法，需要将邮件积攒到一定程度之后，才能够判断出“文件名中带有Britney这一单词的邮件属于普通邮件的概率很低”，而贝叶斯派的方法则可以在接到邮件的1秒钟就完成了判断。随着在不断的应用中对事后概率逐渐进行修正，分类错误的情况也能够逐渐减少。

与之前所提到的那些不同领域间的思考方法一样，贝叶斯派与频率派之间也没有对错之分。通过对有限的信息与假设进行组合，追求“效率”的时候使用贝叶斯派的思考方法，追求“准确性”或者“拥有足够数据”的时候使用频率派的方法求p值更好。

要想将统计学应用在许许多多的领域之中，需要理解与自己不同领域的不同的思考方法和统计方法，这个过程是非常辛苦的。但是，仅仅因为与自己学过的统计学方法和思考方法不同就拒绝接受，甚至对其进行批判的话，则是非常错误的行为。能够理解本章内容中介绍的统计学家们不同的思考方式，站在不同的立场上增加自己的知识积累，才是正确的选择。

虽然统计学本身是最强的学问，但是要想使其变得更加无懈可击，就要尽可能地掌握所有统计学的思考方法，并且根据实际情况进行最适合的应用。

第七章

帮你站在巨人肩膀上的统计学

30 用统计学寻找“最佳答案”

如果你到目前为止能够将这本书中的内容全都掌握的话，那么你就可以很好地理解几乎所有涉及统计学的信息之中所包含的意义和极限。

开创了近代物理学的艾萨克·牛顿曾经说过：“如果说我比别人看得更远些，那是因为我站在了巨人的肩上。”这里所说的巨人，指的就是“前人们的智慧”。学习前人们总结出来的经验和智慧，并且以此为基础进行研究远比自己绞尽脑汁地去思考要看得更远。像牛顿这样伟大的天才尚且如此，我们又何不向他学习一下呢？

在这个世界上有许许多多由专家、学者们耗尽毕生精力所研究出来的智慧成果。在本书中我已经介绍过许多次，现在社会对于这些智慧大多都可以用回归系数和p值来表现。统计能力可以使你更加迅速而且准确地利用这些前人的智慧，从而站在巨人的肩膀之上。

在本书的最后一章中，让我们一起来看一看统计能力究竟是如何影响你的人生的。

实证的等级划分

在前文中我曾经提到过，实证指的就是科学的根据。现代医疗被称为EBM（循证医学），就是说必须要基于科学的根据进行治疗，之前还提到过在欧美国家进行教育和政策决定时都十分重视实证，并且有与之相关的法律规定。

说起科学的根据，很多人认为只要经过科学研究出来的结果就都可以称为实证，但实际上实证并不是完全相同的，而是从准确无误的根据到仅能作为参考的假设，分为许许多多个级别。

位于最下层的实证，就是“专家们的意见”和“基础实验的结果”。

专家意见属于信赖度最低的实证，这一点应该不用我多说了吧。而基础实验指的是通过试管进行的生物化学实验，以及使用老鼠和猴子进行的动物实验。

顺便说一句，在我听说过的实证之中感觉最有问题的当属“吃鸡蛋治抑郁症”。在与抑郁症相关的动物实验中，有一种被称为“老鼠溺水试验”的方法。似乎科学家们认为老鼠在溺水时挣扎一定时间之后因为无力感而一动不动的状态，和人类的抑郁症属于同样的情况。而连续喂食一个月鸡蛋的老鼠与没吃鸡蛋的老鼠相比，挣扎时间为后者的1.3倍。

虽然拿动物做试验不涉及伦理问题，但是拿溺死之前的老鼠的绝望感作为治疗人类抑郁症的推论，相信很多人都对此持怀疑态度吧。

除了上述的动物试验之外，还有以“脑内拥有某种成分”以及“体内产生某种成分”等为根据，就得出“吃这个营养素对身体有好处”的结论，在电视和杂志上类似的宣传数不胜数。但是，就好像吃头发不会治秃头一样，虽然身体中有这种成分但是直接吃下去也不见得对其有任何帮助，因为人类吃进去的食物需要经过胃肠的分解和肝脏与肾脏的代谢，吸收是一个非常复杂的过程。

正因为如此，制药公司为了将基础实验的结果商品化才需要投入高达几百亿日元的研究经费，为了使药效抵达目标器官而研究最合适的化学构造和用药方法，还要保证药品怎样能够在对人类没有危险的前提下发挥疗效。经过这样的研究之后，绝大多数基础实验的成果甚至都等不到进行最后的随机对照试验就销声匿迹了。

越过这一系列的过程，仅仅凭借基础实验的结果就声称“对身体有好处”、“对头脑有好处”，实在是对人体和医药科学甚至基础实验研究本身的一种侮辱。虽然基础实验是提供假设的重要依据，但将基础实验的结果直接应用于人类社会却是绝对不行的，毕竟科学并没有想象的那么简单。

最佳的实证是“系统评析”与“荟萃分析”

那么，什么样的实证才是准确的呢？

对于要应用于人类的实证来说，最重要的一点就是“在实际情况下，对一定数量的人类进行分析后得出的结果”。相信大家已经在流行病学等观察研究和随机对照试验中了解到这种研究方法了。随机对照试验得出的结果，除了一点之外，基本上可以看成准确无误的“妥当的因果推论”。

而在随机对照试验中唯一需要注意的问题就是，在绝大多数情况下，无法实现对整体人群的抽样调查。或许这个数据只在大学生、医生、70岁以上的老人等群体中准确无误，但是对于“其他人群”的准确性则有待商榷。

在这个时候我们需要系统评析和荟萃分析。

所谓评析，就是将多个研究综合起来最后得出结论的过程。比如说，研究电视游戏与少年犯罪之间关系的学者，一定对这个领域谁进行过怎样的研究，得出了怎样的结果等信息非常清楚。于是，他对这些信息进行整理、分析，并且在此基础上得出自己的观点，这几乎是学者在撰写文章的时候所必需的一个过程。

但是在这样的评析之中，作者很有可能只选择能够支持自己观点的结果。假如一个认为游戏容易导致少年犯罪的学者，很有可能完全不会介绍那些“游戏与少年犯罪之间没有必然联系”或者“游戏甚至可能降低少年犯罪率”之类的研究结果。

像这种“基于个人理论的评析”，被称为叙述评析，为的是强调其中所包含的主观性。而相对比较客观的系统评析，则更加为人们所重视。

系统评析会在决定“评析论文的条件”后，从过去相关领域发表过的所有文献中找出符合条件的内容。比如刚才的例子，就需要找出包含“未成年、犯罪、电视游戏”等单词，还有对少年犯罪与电视游戏的关联性进行统计分析的论文，然后收集所有这些论文并且对其进行分析，最终根据分析的结果得出自己的结论。这就是基本没有主观因素的“目前的最佳答案”。

图7–1 分为4个级别的实证

荟萃分析则是指在系统评析中，对多个随机对照试验和观察研究中报告的统计分析结果进行更进一步的分析。它属于“对分析进行的分析”，所以叫作荟萃分析。

以系统评析和荟萃分析为顶点，实证的等级划分如图7–1所示。比专家意见和基础实验更加可靠的是观察研究，在其之上是随机对照试验所得到的实证，而对多个随机对照试验和观察研究进行荟萃分析得到的结果，是目前为止的最佳答案。

公开的“最佳答案”

通过系统评析和荟萃分析之后得到的“最佳答案”，应该是属于全人类的财富，因此在诸多领域之中都有将其结果进行收集整理并且共享的做法。

最初进行这一尝试的是英国医生阿奇·科克兰在1992年在英国开展的科克兰共享计划（http://www.cochrane.org）。受科克兰共享计划的影响，社会政策科学领域也在2000年的时候开展了坎贝尔共享计划（http://www.campbellcollaboration.org），至于2002年教育学领域开展的What Works Clearinghouse工程（http://ies.ed.gov/ncee/wwc/），我已经在前文中介绍过了。

上述这些都在网站上公布了系统评析的结果，除此之外还可以在普通的论文数据库中输入包括“‘meta–analysis or’ ‘systematic review’”（“‘荟萃分析’或‘系统评析’”）在内的关键词进行检索。下面介绍几个比较具有代表性的英语文献数据库，希望能够给诸位提供一些参考（向大学或者大型图书馆的图书管理员询问，应该能够获得更加详细的信息）。

表7–1 比较具有代表性的论文数据库

名称

URL

领域

ERIC

http://www/eric/ed/gov/

教育学

PsycINFO

http://www.apa.org/psycinfo/

心理学

Econlit

http://www.aeaweb.org/econlit/

经济学

Pubmed

http://www.ncbi.nlm.nin.gov/pubmed

医学

JSTOR

http://www.jstor.org/

综合

另外，谷歌提供的谷歌学术搜索（http://scholar.google.co.jp/）也是不错的文献检索服务。可以同时对英语和日语文献进行检索，而且还有非常具有谷歌风格的“按照重要程度排序”功能。

虽然上述这些都是英文界面，但对于一点不懂英语的人来说也有其他的办法。日语文献的数据库中，国立情报学研究所提供的cinii网站（http://ci.nii.ac.jp），以及科学技术振兴机构运营的J–STAGE网站（http://www.jstage.jst.go.jp）就是其中的代表，通过这两个网站可以搜索到绝大多数的日语论文。或许你在搜索之后会发现英语方面的研究成果随处都有，可日语论文却少之又少，于是对日本研究者们的懒惰和不学无术会感到愤慨。

我在学生时代英语成绩并不是很好，但是仍然能够看懂很多文献，因为那些文献的结果大多都是用图表的形式表示的，而且最重要的部分都是数字。然后只要掌握regression coeffcient（回归系数）、confidence limit（置信区间）、p–value（p值）、significant（有效）等基本的统计学英语单词，其他像解释变量和结果变量等单词用词典查一查，就可以大概掌握文献的内容了。

31 寻找实证来结束争论

只要在文献数据库中输入适当的关键词，就能够找到实证。

让我们来随便选择一个题材，比如你现在对如何解决日本经济问题之一的雇用对策比较感兴趣。

关于失业与低收入人群的雇用问题，经常出现在政治家与电视媒体的话题之中，并且他们都提出“努力的人一定会得到回报的社会”这一抽象概念。那么对于这个问题，实证会给出怎样的回答呢？

寻找日语文献的方法

根据之前提到过的实证的分级，我们最希望得到的是系统评析的结果。

首先让我们在J–STAGE网站上寻找日语文献。输入检索关键词“雇用、政策”，再加上任意一个表示系统评析和荟萃分析的单词比如“系统评析”、“荟萃分析”然后进行检索。检索出来的所有文献标题如表7–2所示。

表7–2 日语文献的检索结果①

检索关键词

雇用 政策

“系统评析”、“荟萃分析”的其中之一

论文标题

基于实证的教育

糖尿病

考虑农村、山村与城市之间关系的生活环境（包括居住地与工作地），在此基础上选择行动模型

从EBM到EBL/EBLIP（上篇）

海外文献介绍

在电话急救医疗中导入通信规程及效果

书籍评论

出处：作者根据J–STAGE网站检索结果制作

通过标题我们就能够看出来，这里基本没有对雇用政策进行系统评析的研究。

那么，实证级别的随机对照试验又怎样呢？使用随机对照试验当作关键词的话，或许能够找到相关的研究。

但实际尝试后我们发现这里也没有针对雇用政策的研究。就算输入了“雇用、政策”这些关键词，搜索出来的也都是医学研究相关的内容。看样子日本只有在医学领域的生物统计学家使用随机对照试验（表7–3）。

表7–3 日语文献的检索结果②

检索关键词

雇用 政策

随机化

论文标题

临床试验的共同研究组合机构与临终研究体制的存在方式

日本临床研究的现状与课题

基于实证的教育

糖尿病

从临床研究到诊疗指导方针

禁烟对肺癌的预防

迎来变革期的医学数据管理

医学研究与医疗中伦理委员会的职责：以美国为例

从EBM到EBL/EBLIP（上篇）

出处：作者根据J–STAGE网站检索结果制作

接下来，我们再看一看观察研究。

输入“雇用、政策、赫克曼”等关键词之后，搜索到的只有“书评”相关的内容，以及一个叫作“农村女性问题与地区活性化”的文献。由此可见，这里也没有我们要找的东西。而将“赫克曼”换成“倾向指数”之后符合标准的结果一个都没有。看样子在观察研究中没有具备高级因果推论的文献。

继续使用“雇用、政策、回归分析”进行检索找到了240个结果，其中有一定数量的相关文献。只要对这些文献进行仔细的研究或许能够找到对失业的原因进行回归分析的结果。

寻找英语文献的方法

总体来说，日语文献中统计学的实证研究还是太少了。因为用日语书写的论文只有日本人才能看懂，而用英语书写的论文全世界的人都可以看懂，所以影响力会更大。于是、很多学者都会选择用英语书写论文。至于用日语书写的论文则基本都是针对日本特有的问题和概念进行解释说明的情况，或是日语论文杂志专门的约稿，还有就是研究者完全不懂英语写不出英语论文。

所以，我们所要找的日本研究者们的实证文献很有可能是用英文书写的。那么让我们通过谷歌学术搜索来再次进行一下检索吧。

我们只要将刚才所使用过的关键词直接翻译成英文后进行检索即可。雇用的英文是Employment，政策的英文是Policy。系统评析和荟萃分析英语分别是“Systematic review”和“meta–analysis”，随机对照试验是“Randomized”，观察研究是“Heckman”“propensity score”、“Regression”。

实际通过谷歌学术搜索对“Employment Policy meta–analysis”进行检索后，能够找到一篇名为“Active Labour Market Policy Evaluations: A Meta–Analysis”的写于2010年的论文。直译过来就是一篇关于“劳动市场政策评价”的荟萃分析论文，也就是属于最高级的实证。

懂英语的人可以通读一下这篇论文开头的概述，英语不好的人也可以通过谷歌翻译来大致对其进行了解。翻译结果大概如下。

本书对积极的劳动市场政策的计量进行了最近评价的荟萃分析，我们的样本是由对1995~2007年间实施的97项研究中导出的199个项目的预测所构成的。

对项目种类进行比较后，补助金、公共部门的雇用项目效果较好。就职支援项目与教室内容相比拥有更好的短期效果，而培训项目在中期具有更好的效果。

通过上述内容我们可以了解1995~2007年间施行的199个政策项目的评价。而且根据后面的结论，我们还能够推测出“什么是有效的政策”。当然，翻译工具的内容可能会有错误，所以还不能过早地得出结论。我们将补助金（subsidized）、公共部门（public sector）、就职支援（job search assistance）、教室（classroom）、培训项目（on–the–job training）等单词制作成一个与政策有效性有关的统计分析表。

将这篇论文以图表的形式归纳起来，就会显示出各个项目的效果程度。最终归纳的结果如表7–4所示。

表7–4 劳动政策效果的契合度

Percent of Estimates that are:

Significantly

Positive

Insignificant

Significantly

Negative

Short Term Impact Estimates

(~12 Months）

Overall Sample (N=183)

39.3

32.8

27.9

Medium Term Impact Estimates

(~24 Months)

Overall Sample (N=108)

50.0

39.8

10.2

Long Term Impact Estimates

(36+ Months)

Overall Sample (N=50)

54.0

40.0

6.0

出处：作者根据《Active Labour Market Policy Evaluations: A Meta-Analysis》Table5制作

Estimate的意思是“推测”，“N=”表示的是样本数，Significant意思是“有效的”，也就是“并非误差的结果”，只要掌握了这些统计学的专业术语，就算不懂英语，想要理解这个图表的意思也并非难事。

也就是说，在短期影响（12个月以内）中显示出积极结果的政策，在短期指标评价中全部183个项目中占39.3%，而在这个范围内32.8%属于“误差范围”，27.9%属于“有效的结果”。

中期（24个月以内）或者长期（36个月以上）的政策虽然比较少，但是属于“有意义的效果”的政策比率却相应增加，已经超过半数。由此可见，事实证明如果顺利的话雇用政策是具有积极效果的。

另外，还有以项目种类区分的中期政策效果，其结果以回归分析的图表显示。

在这个图表之中显示了6种回归模型，不过只需要关注不同项目种类效果区别的模型（2）和全变量调整的模型（6），就可以找出“哪种政策具有效果”。归纳结果重点的图表如表7–5所示。

表7–5 中期政策项目的效果

Dummies for Type of Program

Modle（2）

（项目区别）

Modle（6）

（全变量调整）

Classroom or On-the-Job Training

0.56

0.95

Job Search Assistance

0.66

0.53

Subsidized Private Sector Job

0.24

0.32

Subsidized Public Sector Job

–0.58

–0.80

摘自：作者根据《Active Labour Market Policy Evaluations: A Meta-Analysis》Table8制作

从这个表中可以看出，表内使用的是顺序概率回归的方法，表示各个项目分别属于“并非误差的负面效果”、“误差”、“并非误差的积极效果”的可能性。所谓顺序概率，是指对二值，即0和1表示的结果变量进行概率回归，出现0或1或2的结果变量扩张（还有具备同样扩张性的顺序逻辑回归）。

虽然概率回归的回归系数和逻辑回归一样并不容易解释，但是至少通过这个回归系数能够对雇用政策进行一目了然的解释和说明，而且还能够显示出负面效果对政策施行的影响。

结果显示，不管是教室培训还是工作现场内（OJT）形式的培训，职业训练之类的政策项目作为中期的雇用政策是比较有效的，就职支援也在中远期具有较好的效果。对普通企业提供雇用补助金的做法也不错。但是，针对公共部门也就是行政和公益法人之类的企业提供雇用补助金，则不是一个好选择。

只要能够利用字典查阅单词的意思，并且掌握相关的统计学知识，我们就可以从英语论文中找出这么多有用的信息。要想知道更多的内容，就只能去阅读论文原文了。

只要掌握了这些统计能力，通过稍微的调查就能够提出有建设性的意见。

日本也有类似的职业培训机构和就职支援项目，甚至还有向雇用企业提供补助金的政策。政治家和公务员都不是傻瓜，该做的事情他们是不会怠慢的。

不过，这篇论文之中也对不同国家的政策研究进行了报告，而日本的报告数量为0（表7–6）。

表7–6 分析对象国家明细

研究数

%

Australia

2

1.0

Austria

13

6.5

Belgium

6

3.0

Canada

1

0.5

Czech Republic

1

0.5

Denmark

25

12.6

Dominican Republic

1

0.5

Estonia

1

0.5

Finland

2

1.0

France

14

7.0

Germany

45

22.6

Hungary

1

0.5

Israel

2

1.0

Netherlands

4

2.0

New Zealand

3

1.5

Norway

7

3.5

Peru

2

1.0

Poland

5

2.5

Portugal

2

1.0

Romania

4

2.0

Slovakia

13

6.5

Spain

3

1.5

Sweden

19

9.5

Switzerland

9

4.5

United Kingdom

4

2.0

United States

10

5.0

出处：作者根据《Active Labour Market Policy Evaluations: A Meta-Analysis》Table2制作

现场的工作者和专家学者们对于这些成果没有进行实证，评论家和政治家们也没读过这篇论文，即便如此他们仍然不负责任地大肆发表意见。而真正应该对此做出评价的市民们，却往往认识不到这种情况。

这种情况大致可以概括为“整个日本都缺乏统计能力”。

没有统计能力，社会和政治领域也会和商业问题一样，永无止境地重复着仅凭经验与直觉的争论。

为了结束整个日本的“无休止的争论”，为了创建更加美好的日本，你从本书中学到的知识一定能够发挥出应有的作用。

本书由“行行”整理，如果你不知道读什么书或者想获得更多免费电子书请加小编微信或QQ：2338856113 小编也和结交一些喜欢读书的朋友 或者关注小编个人微信公众号名称：幸福的味道 id：d716-716 为了方便书友朋友找书和看书，小编自己做了一个电子书下载网站，网站的名称为：周读 网址：http://www.ireadweek.com

后记

在我父亲从外科医生的岗位上退休之前，他很少有时间能够和家人在一起，每天几乎不眠不休地工作。

如果因为他的工作失误导致有人失去生命的话，唯一能够安慰他的只有“我已经尽力了”这样的话。但是如果没有任何解释的余地，拼尽全力却仍然失败了的话，那或许是能力不足或者命运的安排。这就是作为医生的父亲唯一的释怀之道。

在我还是一个孩子的时候就对父亲的这种做事态度非常尊敬，但同时我也开始思考“竭尽全力”和“最佳”之间的区别。比如说，不眠不休地完成自己的工作，这是竭尽全力。但是如果因为长时间没有休息而注意力下降和损害自己的健康，结果导致工作失误的概率增加的话，那就不是“最佳”。

并非只有医生是绝对不能够失误的。

公司管理者的错误决定，会导致手下的员工和员工家属都陷入困境，员工的错误决定会给顾客和同事带来很大的麻烦，父母的错误决定会将子女的人生彻底摧毁。每当犯下这样巨大的错误时，我们都会产生非常沉重的罪恶感。

那么，我们应该怎样避免造成这样的错误呢？

对于我们来说，最一目了然的失误就是职业运动员的事例。比如说我们每天晚上看新闻，解说员总是会针对良好机会被三振出局或者射门没进的运动员的重心与动作进行分析，找出“失误的原因”。但就算是处于巅峰时期的铃木一郎也有超过半数的出局率，梅西和C罗整个赛季的射失率也高达70%。实际上从概率的角度来看失误是理所当然的事情，为每一次的失误寻找原因是非常愚蠢的行为。但我认为，他们之所以能够创造伟大的纪录，就是因为在每一次的成功和失败中总结经验，不断思考，从而逐渐使自己达到最佳的状态。

那么，我们应该怎样做才能做到最好呢？

美国医疗领域的一个事例大概可以为我们提供一些灵感，这个事例的名字叫作拯救10万人生命运动（100K Lives）。这个名为10万人生命的行动在2004~2006年间将全美国医院的住院死亡率降低了5%，每年的死亡人数减少了12万。

这项行动所采取的举措十分简单。为有心脏停止或呼吸停止危险的患者安排应急小组，进行针对急性心肌梗死的临床医疗，对用药内容进行确认，保证卫生防止医院内部传染……将这些“应该做到的目标”在全美国的医院内彻底实行。仅仅通过这一项举措就拯救了10万人以上的人的生命。

在100K Lives行动的10万人这个数字背后，是美国医学研究所（Institute of Medicine）出版的《人都会犯错》（To Err is Human）报告书。在这份报告书的开头部分就提出了“美国每年约有10万人死于医疗事故”这样一个非常具有冲击性的事实，所以100K Lives行动的目标就是“消除这些医疗事故”。

什么是最佳？如果让我们自己想的话，大概只有“不顾一切地努力”这个答案吧。但是在世界上许许多多的领域之中，都有人在不断地思索着“什么是最佳”这个问题的答案。很多不负责任的评论家们向世人宣扬的“最佳”往往都是虚伪的，而真相全都藏在文献数据库中，却很少被我们所发觉。

我们所寻找的答案，很多都已经存在于文献和数据之中。但是，这与我们将其应用在现实生活当中还有着很远的一段距离。

如果我们知道自己应该做什么，伴随着我们对真实的探索、理解和自我实践，那么这些知识早晚能够在我们的身边普及。统计学最强大的地方就在于能够最快而且最准确地找到这条通往“最佳”的道路。

利用这条通过统计学找到的“最佳”道路，不管是想要赚钱，还是想要丰富自己的知识，或者享受健康的生活，这些愿望都能够实现。但这些只不过是统计学所带来的副产品而已。统计能力给你带来的最大价值，在于能够完美控制自己的人生所带来的幸福感。

顺便说一句，日文版《人都会犯错》这个译名和原名相比稍微有些出入。To Err is Human是《圣经》中的话，一般被译为“犯错是人之常情”，但实际上这句话的后面还有一句话。

“犯错是人之常情，宽恕是上帝的礼物。”

我们今后或许还会不断地犯错。即便犯错是人之常情，只要这个世界上存在着能够得到最佳答案的方法，那么就是上帝给予人类的最好礼物。

如果你不知道读什么书，

就关注这个微信号。

公众号名称：幸福的味道

公众号ID：d716-716

小编：行行：微信号和QQ：2338856113

为了方便书友朋友找书和看书，小编自己做了一个电子书 下载网站，网站名称：周读 网址：www.ireadweek.com 小编也和结交一些喜欢读书的朋友

“幸福的味道”已提供120个不同类型的书单

1、 25岁前一定要读的25本书

2、 20世纪最优秀的100部中文小说

3、 10部豆瓣高评分的温情治愈系小说

4、 有生之年，你一定要看的25部外国纯文学名著

5、 有生之年，你一定要看的20部中国现当代名著

6、 美国亚马逊编辑推荐的一生必读书单100本

7、 30个领域30本不容错过的入门书

8、 这20本书，是各领域的巅峰之作

9、 这7本书，教你如何高效读书

10、 80万书虫力荐的“给五星都不够”的30本书

……

关注“幸福的味道”微信公众号，即可查看对应书单

如果你不知道读什么书，就关注这个微信号。

Table of Contents

第一章 为什么统计学是最牛的学问？

01 没有统计学思维的人将会吃大亏的时代

02 统计学是能够得出最好、最快答案的正确方法

03 所有的学问都从统计学开始

04 大数据时代，统计学火了

第二章 大幅减少信息成本的抽样调查

05 统计学家的大数据“狂想曲”

06 准确度令人震惊的抽样调查

07 为了1%的准确率值得花费几千万吗？

第三章 统计学的关键：误差与因果关系

08 抛弃传统的统计方法吧！

09 单纯收集数据会得出“禁食米饭”的荒谬结论

10 改变投放广告单的方式就能赚取60亿日元

11 真的增加了一亿销售额，还是只是误差？

12 值得分析的数据都是与利益明显相关的

13 统计学中的重大问题：“因果关系的方向”

第四章 最强的统计学武器：随机对照试验

14 先放牛奶还是先放红茶？

15 随机对照试验：商业竞争中的有力武器

16 “一次购买两台缝纫机可以打9折”能够增加销量吗？

17 随机化面对的现实、伦理和感情之壁

第五章 无法进行随机对照试验时该怎么办？

18 低成本、快速搜集数据的流行病学方法

19 “回归平凡”的回归分析

20 所有领域都可以应用的回归分析法

21 快速加深对统计学的理解的一张图表

22 现代统计学的主角：多元回归分析

23 统计学家最拿手的统计法

第六章 应对一切问题的统计学思考方法

24 统计学家们的残酷战争

25 发明“IQ”的心理统计学

26 诞生于市场调查现场的数据挖掘

27 分析语言的文本挖掘：莎士比亚真的存在吗？

28 “演绎”的计量经济学与“归纳”的统计学

29 贝叶斯派与频率派之间的对立

第七章 帮你站在巨人肩膀上的统计学

30 用统计学寻找“最佳答案”

31 寻找实证来结束争论

后记