论文部分内容阅读
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”这是全球知名咨询公司麦肯锡对大数据时代的描述和预测
不论是以4比1战胜韩国著名围棋手李世石的围棋人工智能程序“阿尔法狗”AlphaGo，还是在大街上恣意奔行的谷歌无人驾驶汽车，这个时代，都因为数据的爆棚而变得不同。
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”这是最早提出“大数据”时代到来的全球知名咨询公司麦肯锡对大数据时代的描述和预测。
不论你是否愿意，大数据时代已经到来，潮水拍打激起的浪花，深深浸润进每一处罅隙。
由来已久的“大数据”
大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
美国统计学家赫尔曼·霍尔瑞斯为了统计1890年的人口普查数据发明了一台电动器来读取卡片上的洞数，该设备让美国用一年时间就完成了原本耗时8年的人口普查活动，由此在全球范围内引发了数据处理的新纪元。
2011年5月，全球知名咨询公司麦肯锡（McKinsey&Company）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面介绍和展望大数据。报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。
2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。数字主权将是继边防、海防、空防之后，另一个大国博弈的空间。
库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。从经济界到科学界，从政府部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。”
大数据在中国
阿里巴巴董事局主席马云说：“互联网还没搞清楚的时候，移动互联就来了，移动互联还没搞清楚的时候，大数据就来了。”
进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司写进投资推荐报告。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
2014年全国两会期间，全国人大代表雷军提交《关于加快实施大数据国家战略的建议》，里面有不少亮点，但有一个格外引人注意，即政府分享数据。对中国而言，发展大数据还缺什么？缺人、缺钱、缺技术还是缺设施？是的，这些基础条件都缺，这也是要发展大数据的难点所在。但更重要的是，缺数据。有人要问，怎么会缺数据呢？中国互联网、中国各部委及各大小公司企业，数据明明不少，但这些机构都是数据孤岛，彼此不流通不链接不共享。数据共享，是建设大数据的一个很重要的因素。
著名信息管理专家涂子沛则在所著《大数据》一书中提出更严峻的“大数据挑战”：“收集数据、使用数据、开放数据，都是大数据时代我们中国人需要一一面对的挑战。这三大挑战，没有一个不是任重道远。但这些挑战，也是我们在大数据时代彻底摘掉‘差不多先生’文化标签的重大历史机遇。如果在这个数据意义凸显的时代，我们还抓不住这些历史机遇，继续漠视数据、拒绝精准、故步自封，等待我们的，还将是一个落后的100年。”
吞噬与重构
2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。
“苹果”创始人乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延续了数年生命。
……
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。IBM公司为大数据总结“5V”特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性）。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”这个在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日的专业名词，却因互联网和信息行业的发展而引起人们关注。
“大数据”并不能生产出新的物质产品，也不能创造出新的市场需求，但能够让生产力大幅提升。正如，《大数据时代：生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔-舍恩伯格指出：数据的方式出现了3个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向僅仅需要弄清现象之间的联系以及利用这些信息来解决问题。
大数据代名词Hadoop，这个由Apa che基金会所在2006年开发的分布式系统基础架构，短短10年间已经从一项边缘技术成为大数据事实上的标准。然而同样值得令人关注的是，在喜新厌旧的技术初创企业界，已有几年历史“大数据”听起来似乎已经过气。
2016年，Hadoop也被指将处于十字路口，有人继续看好其发展，也有人说它不知未来何去何从。但不论怎样，置身于波澜壮阔的大数据时代的人类社会再回不到过去。在看得见的明天，融入地理信息、社会经济等多维度数据，能够让人们知道下一刻哪里可能会发生什么，比如这阵风是否会吹翻门口的广告牌，前面一个高速路口是不是在下雨堵车。而在看不见的未来，大数据时代的生存规则也将被每一个生产数据的你和我来书写。
责任编辑 王海珍
不论是以4比1战胜韩国著名围棋手李世石的围棋人工智能程序“阿尔法狗”AlphaGo，还是在大街上恣意奔行的谷歌无人驾驶汽车，这个时代，都因为数据的爆棚而变得不同。
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”这是最早提出“大数据”时代到来的全球知名咨询公司麦肯锡对大数据时代的描述和预测。
不论你是否愿意，大数据时代已经到来，潮水拍打激起的浪花，深深浸润进每一处罅隙。
由来已久的“大数据”
大数据（big data），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
美国统计学家赫尔曼·霍尔瑞斯为了统计1890年的人口普查数据发明了一台电动器来读取卡片上的洞数，该设备让美国用一年时间就完成了原本耗时8年的人口普查活动，由此在全球范围内引发了数据处理的新纪元。
2011年5月，全球知名咨询公司麦肯锡（McKinsey&Company）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面介绍和展望大数据。报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。
2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中，政府对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。数字主权将是继边防、海防、空防之后，另一个大国博弈的空间。
库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。从经济界到科学界，从政府部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。”
大数据在中国
阿里巴巴董事局主席马云说：“互联网还没搞清楚的时候，移动互联就来了，移动互联还没搞清楚的时候，大数据就来了。”
进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司写进投资推荐报告。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
2014年全国两会期间，全国人大代表雷军提交《关于加快实施大数据国家战略的建议》，里面有不少亮点，但有一个格外引人注意，即政府分享数据。对中国而言，发展大数据还缺什么？缺人、缺钱、缺技术还是缺设施？是的，这些基础条件都缺，这也是要发展大数据的难点所在。但更重要的是，缺数据。有人要问，怎么会缺数据呢？中国互联网、中国各部委及各大小公司企业，数据明明不少，但这些机构都是数据孤岛，彼此不流通不链接不共享。数据共享，是建设大数据的一个很重要的因素。
著名信息管理专家涂子沛则在所著《大数据》一书中提出更严峻的“大数据挑战”：“收集数据、使用数据、开放数据，都是大数据时代我们中国人需要一一面对的挑战。这三大挑战，没有一个不是任重道远。但这些挑战，也是我们在大数据时代彻底摘掉‘差不多先生’文化标签的重大历史机遇。如果在这个数据意义凸显的时代，我们还抓不住这些历史机遇，继续漠视数据、拒绝精准、故步自封，等待我们的，还将是一个落后的100年。”
吞噬与重构
2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。
“苹果”创始人乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延续了数年生命。
……
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。IBM公司为大数据总结“5V”特点，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性）。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”这个在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日的专业名词，却因互联网和信息行业的发展而引起人们关注。
“大数据”并不能生产出新的物质产品，也不能创造出新的市场需求，但能够让生产力大幅提升。正如，《大数据时代：生活、工作与思维的大变革》作者肯尼思·库克耶和维克托·迈尔-舍恩伯格指出：数据的方式出现了3个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向僅仅需要弄清现象之间的联系以及利用这些信息来解决问题。
大数据代名词Hadoop，这个由Apa che基金会所在2006年开发的分布式系统基础架构，短短10年间已经从一项边缘技术成为大数据事实上的标准。然而同样值得令人关注的是，在喜新厌旧的技术初创企业界，已有几年历史“大数据”听起来似乎已经过气。
2016年，Hadoop也被指将处于十字路口，有人继续看好其发展，也有人说它不知未来何去何从。但不论怎样，置身于波澜壮阔的大数据时代的人类社会再回不到过去。在看得见的明天，融入地理信息、社会经济等多维度数据，能够让人们知道下一刻哪里可能会发生什么，比如这阵风是否会吹翻门口的广告牌，前面一个高速路口是不是在下雨堵车。而在看不见的未来，大数据时代的生存规则也将被每一个生产数据的你和我来书写。
责任编辑 王海珍