书城政治中国大参考(2013-2014)
48867900000036

第36章 数据报告(2)

Google曾利用网页搜索词的记录,来预测流感爆发后随时间变化的新增病例数。显然,预测流感趋势这一需求并不包含在记录网页搜索词的初衷中。ZestFinance有一个口号,就是一切数据都是信用数据。实际上,他们大量采集用户在社会媒体上留下的数据,从这些数据中对用户的信用进行判断,预测用户拖延还贷的概率。Zest Finance通过这种分析,能够在低于行业平均拖延还贷率的条件下,进行更快更低成本的贷款发放。显然,用户在社交媒体上产生的数据,并不是Zest Finance自身业务产生的,但是一样可以服务于它的业务。

大数据3.0是一个尚在探索中的商业形态。它首先要求政府和行业,对数据质量、价值、权益、隐私、安全等产生充分认识,出台量化与保障措施。在此基础上,数据运营商出现,形成了以加工粗数据和已有数据产品,产生新的数据产品的“数据客”(Dacker)。个人、团队和企业通过数据API接口或其他方式付费使用数据产品,数据客、运营商和被加工原料所有者共同分享数据产品的利益。数据市场也可能应运而生,数据和数据产品有可能像今天淘宝集市上的商品被售卖交换。于是,一种新的以数据/数据产品为输入,数据/数据产品为输出的新商业模式诞生,这种模式不同于2B(to business)和2C(to customer)的模式——譬如一款精确位置告知实时空气质量的API接口,既可能被企业和政府使用,也可能被个人使用。为了区分,我们称这种模式为2D(todata)的商业模式。新商业模式的直接后果,就是促进学术团体、企业和政府通过大量异质数据和数据产品产生科学、社会、经济等方面的新价值。

艾瑞研究院院长曹军波认为,“从大数据未来发展趋势来看,围绕大数据服务的产业链会逐步形成与完善。未来,可能会形成一些产业的分工,比如哪些是做数据整合的,哪些是做数据服务的,哪些是做数据交换的,哪些是做产品运营和咨询的等部门都会逐步的清晰,这样就会形成一定的市场规模,在不同的行业领域和细分市场里都会出现比较专业的分工体系。互联网仅仅是对线下数据的一个传递、组织、运营和研究、分析。单纯的互联网数据不能完整的刻画和描述人类行为的全部数据,也有很多数据是基于传统意义的线下数据。进入大数据时代,越来越多的这种所谓的线下数据变成了可处理、可运营、比较低成本的进行处理和应用分析的事情。这时,互联网的数据也包含了很多传统意义上认为是线下的一些数据,比如说像消费数据,比如说行为类信息,这些数据在互联网运营服务时代变得可分析、可挖掘。未来线上线下数据融合模式是发展趋势。”

数据储备分析将成为未来新型国家核心战略能力

大数据将深远地改变政府的运作方式和政治的性质。在推动经济增长、提供公共服务或进行战争等方面,那些能够有效利用大数据的人将拥有胜过别人的巨大优势。越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而做出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”

牛津大学互联网研究所Mayer-Schonberger 教授指出,“大数据”所代表的是当今社会所独有的一种新型的能力——以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。这种“前所未有的”巨大价值和深刻洞见,并不仅仅来自于单一数据集量上的变化,而是不同领域数据集之间深度的交叉关联,姑且称之为“跨域关联”。譬如微博上的内容和社交关系,Flickr上的图片共享,手机通信关系,淘宝上的购物记录等数据通过同一个用户关联起来;又如移动手机定位的移动轨迹,车载GPS的移动数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃,是大数据巨大价值的基础。

大数据会给整个社会带来从生活到思维上革命性的变化:企业和政府的管理人员在进行决策的时候,会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变化;人们所接受的服务,将以数字化和个性化的方式呈现,借助3D打印技术和生物基因工程,零售业和医疗业亦将实现数字化和个性化的服务;以小规模实验、定性或半定量分析为主要手段的科学分支,如社会学、心理学、管理学等,将会向大规模定量化数据分析转型;将会出现数据运营商和数据市场,以数据和数据产品为对象,通过加工和交易数据获取商业价值;人类将在哲学层面上重新思考诸如“物质和信息谁更基础”“生命的本质是什么”“生命存在的最终形态是什么”等本体论问题,等等。总之,大数据不是数据量的简单刻画,也不是特定算法、技术或商业模式上的发展,而是从数据量、数据形态和数据分析处理方式,到理念和形态上重大变革的总和——大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。

大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。

云计算和大数据共同引领以数据为材料,计算为能源的又一次生产力的大解放,甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美。与提升国家竞争力及国民幸福程度密切相关的重大战略都与大数据的分析和利用息息相关,包括与国家安全、社会稳定相关的尖端武器制造与性能模拟实验,群体事件和谣言的预警和干预;与国家科技能力相关的等离子即高能粒子实验分析,纳米材料及生物基因工程;与国民经济繁荣相关的经济金融态势感知与失稳预测,精准营销与智能物流仓储;与环境问题相关的全球气候及生态系统的分析,局部天气及空气质量预测;与医疗卫生相关的个性化健康监护及医疗方案,大规模流行病趋势预测和防控策略;与人民幸福生活相关的个性化保险理财方案,智能交通系统,等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。

对于政府部门来讲,大数据所能带来的巨大能量已经显现,甚至已经超过了技术改进产生的效益。与互联网的发明一样,大数据分析绝不仅仅是信息技术领域的革命,更是建设数据政府,引领社会变革的利器。

英国牛津大学网络学院互联网研究所教授、《大数据时代》作者迈尔·舍恩伯格:大数据时代带来更理性、更可靠的决策。20多年来,维克托一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理的研究。还在“大数据”这一概念众说纷纭时,维克托就已进行了系统深入的研究,2010年他在英国《经济学人》杂志上和数据编辑肯尼思·库克耶一起,发表了长达14页的大数据专题文章。他被称为最早洞见大数据时代发展趋势的数据科学家之一。目前,维克托还是欧盟互联网官方政策背后的重要制定者与参与者,尤为重要的是,他还在新加坡商务部、文莱国防部、科威特商务部等部门任职过,特别熟悉亚洲信息产业的发展与战略布局。

迈尔·舍恩伯格指出,事实上,过去几个世纪以来,数据已经在科学家们制定决策的过程中扮演了一定的角色,而过去几十年间,这一做法又延伸到了一些公司的决策制定过程。但在大数据时代之前,数据是非常匮乏的,我们拥有的数据非常少。因此,我们的决策、我们构建的制度都是建立在这样一种数据匮乏的基础上。

迈尔·舍恩伯格强调,大数据时代将推动我们从根本上改变企业的运作方式,以及我们在社会中的生活方式。大数据可以提高人类制定决策的能力,这种提高将是大幅度的。有了大数据,我们不是简单地提高经济效率,而是将挽救人类生命,延长我们自己的寿命。我们还将改善教育,促进发展。同样的道理,我们必须要小心。大数据同样也有“阴暗面”,正如我们在书中讨论的那样。如果应用错误,大数据也可能会化为一个强有力的武器。大数据是一个强大的工具,如果我们使用了错误的方式,它就可能会加深数字鸿沟。因此,我们必须确保正确使用大数据。

大数据这一新趋势必将从理念到实践带来更多创新价值和挑战。大数据是一种资源和一种工具。推动大数据发展,关键在于政府理念的转变。

联合国2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。

大数据时代数据科学家抢手

数据科学家们开始变得炙手可热,《哈佛商业评论》将数据科学家称之为21世纪最性感的工作。埃森哲、麦肯锡(二者都属于咨询公司)先后发布报告称,对于数据科学家的需求缺口愈加扩大,并将持续相当长的时间。埃森哲2013年发布的《数据分析在行动:

通向高投资回报率之路的突破与壁垒》预计,到2018年,光美国和英国,需要具备高深科学、技术、工程和数学(STEM)知识的职位的增长速度将是其他职业的五倍,是金融服务等信息密集型行业职位的四倍。麦肯锡甚至在2011年就发布报告称,预计美国需要额外的150万名专业人才,可以给出准确的问题,并有效利用分析结构,而这些就是所谓的数据科学家。

具有哪些技能的人才是数据科学家?《哈佛商业评论》将这群人定义为,集“数据黑客、分析师、沟通大师和受信任的顾问”于一身。《哈佛商业评论》指出,目前没有任何一个大学有数据科学的学位,同时对于数据科学家到底是何企业中的何种职位,如何能让他们发挥最大价值,以及如何衡量其表现,都没有形成共识。

网址缩短服务商Bit.ly 的首席科学家希拉里·梅森认为,一个数据科学家必须拥有三大技能,“他们能获得数据流,并用数学方式建模,同时拥有这些数学建模技能……最后他们能从这些数据中获得一些见解,并能讲出一个故事。”

大数据公司Context Relavant首席执行官兼首席技术官斯蒂芬·普普拉在接受ZDnet 采访时则表示,业界对于数据科学家的定位是有形象化项目的能力,通过研究数据为公司赚钱,并将这些数据转换成统计过程,推测是否应该投资等,这些人还应该具有统计学技能、商业头脑以及高超的编程技巧,知道如何处理普通编程者无解的问题,这让这群人变得很稀少。

数据是整个社会经济活动的数字化记录,是可以无限次重复利用的特殊非物质财富,是不可或缺的管理和决策的依据。政府部门越来越注重运用技术手段对数据资源进行深度的价值挖掘,满足日益增长的精细化、科学化管理需要。与此同时,随着社会经济文化的发展和进步,公众对政府和职能部门的要求也越来越高,集中表现为要求提高行政效率和透明度、创新工作方式、提高对社会的服务能力等。开展政府大数据研究,能够推动政府信息公开、透明和社会公正,促发行政管理创新,并创造无限价值。

大数据分析技术已为世界多个国家所重视和运用,成为政府施政的主要工具。

大数据时代为政府管理带来了美好的前景,但大规模的数据增长也带来了各种各样的问题。大数据将成为全球政府管理下一个创新的前沿。数据的爆炸性增长日益挑战政府部门的存储架构、数据中心基础设施,以及数据仓库、统计分析、数据挖掘、价值应用等各个环节。如何收集、保存、维护和管理正在呈指数级增长的数据是政府部门必须面对的一个重要问题。

然而,大数据真正的挑战不是在如何存储和计算上,而是如何有效在大数据中挖掘价值。人力资源是开展大数据挖掘的战略性资源,也是有效挖掘数据价值的关键性因素,大数据时代需要拥有分析大数据所需的数学、统计学和计算机编程等知识背景的数据科学家。

对于政府部门来讲,大数据所能带来的巨大能量已经显现,甚至已经超过了技术改进产生的效益。与互联网的发明一样,大数据分析绝不仅仅是信息技术领域的革命,更是建设数据政府、引领社会变革的利器。