服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

大数据时代,人人都需要懂点统计学

日期: 来源:复旦大学出版社收集编辑:复旦大学出版社

在大多数人心目中,“统计”两个字往往意味着诸如某市最近一次人口普查结果、制造业工人的平均收入等一堆枯燥乏味的数字和复杂的数学公式,令人望而生畏。

实际上,日常生活中人们已经在不知不觉中应用了统计。比如,你每天读书或者上班有多种线路可以选择,为了确定哪条线路更方便,你会沿着每一条线路反复走几次,然后根据你认为的某些重要条件,如时间长短、红灯数目甚至路边的景观等,选择其中最合适的一条线路。这个行为实际上就是一种统计,因为你对多条线路的情况做了采集和比较,从中获取了有用的信息并加以处理,最终帮助你做出决定。

当面临比以上情况更为复杂的信息时,如何更巧妙地改进收集和处理信息的方法、掌握面对不确定因素时的决策方法?在当下这个大数据时代,人人都需要懂点统计学~

01

如何应用统计来发现规律、验证关系

生活中某些明显的差别用眼睛就可以观察到,比如说:男性的平均身高要超过女性等。但是世界上还有许多现象和规律,单靠眼睛观察是不够的。

如果有人告诉你“蓝色牛仔裤在某几个月比其他几个月卖得更好”,“莫扎特的音乐可以提高智商测试中与空间辨别力相关的成绩”,你会相信吗?这些关系都不是凭肉眼可以观察到的,而需要采用适当的统计方法研究以后才能加以证实。

那么,怎样才能使人相信你所发现的规律?下面我们举一个简单例子,为了证明“在静止状态下,男性的平均脉搏数要小于女性”,读者可能会先测量自己每分钟的脉搏数,再找一个异性朋友测量一下,最后进行比较。问题是这样是否能足以说明上述结论的正确性?答案显然是否定的,因为一组数据根本无法代表所有的男性和女性。

上述例子告诉我们,对于未经训练的人,要求其用严格的方法来完成某项研究是不太容易做到的,但是经过简单的训练后,他们大多能够理解专家在研究中所采用的方法。

下面的内容将围绕定量分析研究中的统计方法展开,我们结合上述例子来说明其中的3个要点。

样本要有代表性

为了体现研究成果的重要性,大多数研究人员希望将基于部分参与者的研究结果推广到更大的群体,这样的话,研究对象在大群体中是否具有代表性就十分重要。为了便于叙述,以后我们将参与研究的对象或者人员称为样本,样本所属的大群体称为总体。

对于心跳比较问题,将某个班级同学的脉搏数作为样本可能是一种比较便利的方法,但是如果此班级中存在影响心跳与性别关系的因素(例如,学校男子田径队队员全部在此班上),或者研究者希望把结论推广到和此班级同学年龄分布相差较大的年龄组,那么上述样本的代表性是有问题的。尽管如此,还是有许多研究人员会因为这样或者那样的原因而被迫使用类似数据作为样本,这种样本通常称为“便利”样本。

样本要足够大

即使有经验的研究人员也经常会因为忽略样本个数的重要性而得出错误的结论。还是以心跳问题为例,我们知道,将自己的脉搏数和一位异性朋友的脉搏数比较一次就去验证上述结论肯定是不行的,那么,该比较多少人才算数?2个人还是4个人?100个人够吗?这取决于研究者采集的脉搏数的差异程度。

如果连续几次测量所测得的男性脉搏数都是每分钟65次,女性都是75次,那么很容易得出男女脉搏数存在差异的结论。但是,如果男性脉搏数为每分钟50次到80次之间,女性脉搏数为每分钟52次到82次之间,凭直觉我们知道需要测量更多的数据,但问题是我们究竟需要多大的样本?本书会告诉我们如何根据两组测量结果的差异确定所需的样本数。

研究方法要明确

验证某个关系,一般有观察法和实验法两种方法。如果研究人员只是对样本的某些事项感兴趣,一般采用观察研究就可以了。比如对于心跳速度差异问题,我们只需观察(记录)样本中每个人的性别、脉搏就足够了。

但是,对于“常服阿司匹林可能会防止心脏病突发”这样的问题,单纯依靠观察某个人是否常服阿司匹林以及他是否得了心脏病是不够的,因为那些关心自己健康的人在常服阿司匹林的同时得心脏病的可能会少一些,而那些不关心健康的人不常服阿司匹林同时也容易得心脏病。

为了证实因果关系,必须做实验,也就是先采用类似扔硬币的方法,把样本随机分成两组[这个过程称为随机指派],然后给其中一组服用药片,另一组则服用外观和真药一模一样的替代品。同时,为了避免实验对象受到我们期望结果的干扰,在实验结束之前所有的人员都不知道自己服用的是药还是替代品。

02

使用不当,错误难免

在生活中,由于对统计方法的理解和使用不当而造成的错误、笑话屡见不鲜,试举几例。

样本不当

在1986年美国总统大选期间,某杂志报道:调查表明美国克莱斯勒汽车公司总裁艾柯卡在共和党总统初选中将以54%比46%的得票率击败当时在任的美国副总统老布什。从新闻角度来讲这可算得上是一件大事情,但仔细阅读以后,我们就会发现这是一项基于该杂志2000位读者的问卷调查。

由这些读者组成的样本能否代表全体美国选民这本身就存在着问题,更何况上述结论只是根据前200份答卷整理而成的。一般情况下,最先收到的答卷往往来自对调查问题有强烈反映的,尤其是希望换总统的人。所以,这个“样本”无法代表所有参加共和党初选的投票人组成的“总体”。

指标不当

美国环保署的一项调查表明:1993年新泽西州的有毒化学物排放在全美各州名列第22位,新泽西州环保局因此受到好评。这项调查的权威性当然毋庸置疑,问题在于这项排名的依据是排放总量,而新泽西州是全美面积最小的州之一,如果将排放总量换算成单位面积排放量,该州将以第4名的成绩名列前茅。

方法不当

某报曾以“研究表明:吸烟可能会降低孩子智商”为题刊登美联社的一则消息,该消息的主要内容可以归纳如下:

研究人员发现:二手烟对小孩的智力测试成绩几乎没有影响,但怀孕期每天吸烟10支以上孕妇的孩子,在3~4岁时的智商测试成绩将比其他同龄孩子低9分。如果排除其他相关因素,例如二手烟、饮食习惯、受教育程度、年龄、药物作用、父母智商、父母抚养能力、母乳喂养时间等,差别将缩减为4分。吸烟对儿童智商的影响与中等强度铅照射相当。

为了吸引眼球,这篇报道赫然以“研究表明:吸烟可能会降低孩子智商”为题,给读者的印象是“吸烟”和“低智商”有因果关系。可是读完报道,读者会发现上述结果所基于的并不是实验方法,因为实验就必须规定孕妇去吸烟或者不吸烟,显然这是不人道的,所以这实际上是一种观察研究。

在这种研究中,人们无法排除其他因素对吸烟母亲和孩子智商关系的影响,最多就是将这些因素量化以后用统计方法得出适当的结果。我们注意到,在经过类似处理后,孩子智商差别从9分缩小为4分,即使这4分的差别我们也不能排除是由于其他未知原因造成的。因此,仅凭观察研究我们无法确定这是一种因果关系。

《让数据告诉你》

陆立强 编著

复旦大学出版社


相关阅读

  • 李永森:样本股调整有利于优化指数样本构成

  • 中新经纬12月12日电 题:样本股调整有利于优化指数样本构成  作者 李永森 中国社会科学院大学金融研究所所长  近日,中证指数公司、上交所,以及深交所、北交所先后发布公告,
  • 重要调整,就在今天!

  • 12月11日,中国股票市场的主要股票指数将调整部分样本股构成,涉及沪、深、北三家证券交易所。本次指数调整主要包括哪些内容?在追踪资本市场走势的指标中,股票指数是一类综合反映
  • 咳嗽不止?试试这些简单实用的泡水配方

  • 编者按:近期,身边很多人都在"咳咳咳"。对于持续较长时间的咳嗽症状,患者可以根据咳嗽的类型,使用食疗方法进行缓解。其中,泡水就成为日常生活中一个简单实用的方法。下面,就请中医
  • 中证A50指数2024年1月2日发布,每半年调整一次

  •   中新经纬12月8日电 据中证指数有限公司官网8日消息,中证A50指数将于2024年1月2日发布。  据介绍,中证A50指数以2014年12月31日为基日,以1000点为基点。指数简称中证 A50,
  • 中证红利ETF(515080)连续4日累计吸金7586万元!

  • 近期红利策略类ETF持续吸金状态,市场关注度颇高的中证红利ETF(515080)昨日再获560万元资金净买入,本周以来该ETF已连续4日净申购状态,区间累计净申购额7586万元。图片来源:Wind值
  • 全国前10!莱西再上两个榜单

  • 莱西融媒12月5日讯 今天,稷夏全国县域综合竞争力百强县市等榜单发布。其中,莱西市上榜全国县域综合竞争力100强第72名、全国县域投资潜力100强第10名。榜单由稷夏智库受权根
  • 绳索救援砺精兵 拉紧救援“生命绳”

  • 为进一步夯实绳索救援技术基础,提升队伍综合应急救援能力。连日来,新疆森林消防总队特勤大队持续开展绳索救援技术训练。大队高度重视绳索救援技术训练,安排参加绳索培训的骨干

热门文章

  • 解码“新IT”的5个特征和3大价值

  • 党的二十大报告提出,要加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。在数字经济与实体经济深度融合的产业浪潮中,以智能设备、边缘计算
  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 大数据时代,人人都需要懂点统计学

  • 在大多数人心目中,“统计”两个字往往意味着诸如某市最近一次人口普查结果、制造业工人的平均收入等一堆枯燥乏味的数字和复杂的数学公式,令人望而生畏。实际上,日常生活中人们
  • 省际小镇社渚的向“新”突围之路

  • 百亿工业强镇、中国青虾第一镇、溧西南开放合作重要门户,是位于苏皖两省三县市交界处的社渚镇最闪亮的三张名片。这里,江苏金峰水泥集团从一家濒临破产的水泥厂起步,华丽蜕变为
  • 英雄城市拔节“上新”书写奋进答卷

  • 极目新闻记者 吴汉 摄影记者 宋枕涛大江滔滔不尽,大城生生不息。极目远眺,滚滚长江,一路向东而去,超大城市的兴盛繁华,英雄城市的精神气质,都奔腾在这奋力向前的江水中。奋力往前
  • 以赛促学 以学促知

  • 近日,肃州区委政法委开展了主题为“文明树新风·反邪保平安”的反邪教知识竞赛。此次知识竞赛题型涵盖了邪教的种类及危害、辨别邪教的方法、反邪教法律法规、如何做好反邪教
  • 库存超150亿,五粮液该如何破局?

  • 作为行业“老二”的五粮液,终究还是顶不住压力了。12月14日,五粮液2024年合同签订已经完成,而据媒体报道,明年经销商被砍掉了20%的“普五”合同量。为什么会在此时选择“缩量”,