大数据为什么预测不了股市
《美国队长2》这部今年佳作虽然是由经典漫画改编，可是也不忘记在传统的内容里装些新鲜的东西，这当然不止是新的时尚，新的建筑或者新的音乐，最令人吃惊的，是这里面竟然还有对大数据的运用和描述。
虽然我们都看过这部电影，但让我在这里再简单描述一下。新时代中，九头蛇的余孽征服世界的妄想仍然不死，但手法却更加创新。这种新的手法具体是，通过一切社会公开资料，包括你的邮件，银行记录，消费记录，投票记录以及其他种种可以免费获得的东西，这个邪恶组织就能够对你的个人政治倾向与能力进行判断，如果通过数据分析发现你这个人以后是个对社会有影响力的能人，或者是个正义的人，那么，该组织就会在你成长为这样的人之前把你消灭掉。也就是说，他们通过数据分析，可以把一切“危害”都消灭在萌芽期。
当然，电影本身的结尾是坏人又一次失败好人又一次胜利。但是这样的一个故事情节安排的确让人对大数据这个东西的作用倒吸一口凉气：这玩意太牛逼了，以后若真的落到坏人手上该咋办呢？
我把这种情绪称之为“大数据恐慌症”。当一个新生事物到来时，我们经常会出现手足无措的状态，甚至产生厌恶和反对的情绪。对于大数据这个东西，当我们讨论的越多，在生活中出现的越多的时候，我们自然也就会对它产生一些抵触。
对新事物的恐慌有时候是有道理的，有时候却只是纯粹的心理反应，但更多地时候是两者兼而有之。举个20世纪最著名的事物为证据：核能。原子弹扔在日本之后，全世界都看到了核能的威力，而整个20世纪后半期，全人类都被笼罩在核威胁之下。即便到了21世纪的今天，日本海啸地震引发的东京电力公司核泄漏，让全世界的反核浪潮再度高涨。而目前台湾也陷入了这种反核的困境之中。
对核威慑力的恐慌自然有道理，但是如果因此认为它一无是处似乎也不合理。比如核能如果和平利用之，则可以提供清洁而稳定的能源。而尽管20世纪全人类被核威胁笼罩，但地球还是出现了有史以来从未显现过的繁荣。
作为一个意识形态很浓厚的电影，《美国队长2》把大数据放在人类的反面，自然也是突出文艺圈人士在面对新事物时的矛盾态度。一方面他们也肯定知道大数据的优势，但另外一方面，隐私和个人自由也可能因为这些东西而进一步遭到侵蚀。
再具体回过头来说说大数据。大数据概念是这几年最火爆的概念之一。关于大数据我们也没有一个确切的定义，但是正如《美国队长2》这样的电影却能够清晰显示大数据的形态。在现实之中，大数据也是无所不在。比如大家最清晰的例子就是交通控制。通过对数据的实时掌握，交通部门可以更加合理的调配交通资源，并将相关的情况实时告知出门人，这样，相对而言，出门的人就可以更加有效率的选择出行工具或者时间。比如以前你要等一辆公交车，就必须站在那里傻等。但是如果通过实时数据监控，你就可以知道这辆车现在走到哪里了，这样在车辆到来之前，你说不定还有时间去喝一杯咖啡或者去趟便利店。
大数据之所以如此火爆，还并非是公共部门的推动。实际上虽然公共部门掌握大众的数据最多，然而却并无推进的动力。最热衷推动大数据概念的是商业企业部门。为什么？因为对于大量的商业企业部门而言，他们相信掌握了更好更多大众的信息，就可以做到资源的更好调配，也能降低自身的运营成本，而这样一切的结果就是——让自己的利润最大化。
因此我们也就明白为什么所有的企业或者管理者都在热衷大数据这个概念。很多人已经把大数据变成了宗教信仰（不管是真的还是装出来的），甚至认为只要掌握大数据，就能控制一切，就能预测一切。为此他们在商业中的表现就是不惜一切代价要求你开设账户，设法获得一切信息，有的企业甚至不惜非法手段（买卖个人信息）。
大数据在商业中的运用当然不是新鲜事。比如银行或者保险公司就对你的信息了如指掌。万一你出了什么事，他们马上就会知道并且赶紧要采取应对措施。当然，传统的企业对大数据信息的掌控还是相对滞后，而数据之所以被称为大，是因为互联网的出现。互联网出现并大规模应用之后，数据出现了数量级增长并且变得更加实时，而且更加方便统计与分析。
我们知道余额宝就是大数据的一个经典应用。余额宝是第一款支持当日赎回的货币基金，在此之前所有货币基金都是要等两天甚至更长时间。为什么需要等待，说句最简单的话就是基金公司需要资金周转。给他两天时间，它才能安稳的想办法把钱还给你，而自己的基金却不会受影响。但余额宝就是利用了互联网数据的实时性，增加了对资金流动的监控，加上本身阿里又有比较充足的资金可以垫付，所以才可能实现当日赎回。当然，随着余额宝规模增大，阿里本身的垫付能力也受到考验，流动性的问题也就开始凸显了，这就是为什么现在大额赎回也要受到限制的原因了。
从余额宝的例子我们就可以看出，大数据确实可以让我们的生活更方便。在现实的世界中，大数据的确大有可为。但是也是从余额宝的问题上我们也发现，虽然生活因为大数据变得更方便了，但是他毕竟还是有个极限，当出现了一定的规模极限时，大数据也不是万能的。
这就是我们要谈的大数据问题上的负面因素。《美国队长2》告诉我们的是大数据对我们自由与隐私的影响。你可以想想，如今你有多少行为是在网上实现？你有多少个网络账号？如果你的网络账号同时被一个人发现，那你所有的秘密是不是就都被别人掌握了？如果这个掌握了你信息的人有作恶的动机，那你是不是处在了危险之中？新时代的《1984》岂不是以大数据为根本？
而余额宝在大规模增长之后出现的赎回限制则暴露了大数据问题的另一个问题：它不是有些人想象的是万能的。这里有几个原因决定了这个结果。
第一，你永远无法掌握足够的数据。数据永远是越来越多，越来越复杂，你所掌握的数据永远是有限的，而你根据有限数据做出的判断，也永远只对过去有效，而用它来预测未来，则不见得会成功。
第二，你对数据分析的方法可能是错误的。普通的人对数据分析缺乏基本的认知，但即便是科学家或者专业人士对数据处理的方式也未必不会犯错误。对于同样的数据，我们根据不同的方法却得出相反的结论，这样的情况屡见不鲜。这一点，新书《反脆弱》也有提及。
第三，你所掌握的数据也可能是错的。没错，随着人们对数据问题的敏感，大家极有可能在互联网上提供虚假的数据，而这一点在很多时候是无法得到控制的。另外，基于错误的统计方式，也可能得到错误的统计数据。如果连数据都错了，那么分析结果怎能可信？
第四，也是最重要的是，大数据的理论基础在于认为人的行为是理性的，可预测的。在大多数时候的确如此，但是在很多情况下，人又是极为不理性的，疯狂的。而大数据是无法分析人们什么时候理性，什么时候疯狂的。
当然，对大数据的探索是人类妄图征服世界的一个表现，也是了解自我的一种表现。在不断的研究探索中，进步是永远存在的。所以不能因为其负面作用就否定它。但是也必须注意，对大数据的迷信是很恐怖的。如果大数据真的这么神奇，那么是不是意味着未来一切都可以通过计划来控制？整个市场经济都可以用大数据来操控？如果这是这样的话，那么这不就是意味着经济是可以被管理被计划的么？这就打破了所有的经济学理论了。
关于大数据的终极思考，看看股市就明白了。当技术分析和历史回顾等等的发展，让投资者以为从此可以当上股神预知未来的时候，一场突然降临的暴跌就可以毁掉所有的预测基础和财富。是的，基于数学公式的经济学从来无法预测什么时候泡沫破灭，因此大数据也无法预测。之所以如此，原因无他，在利益面前，人心难测。你永远不知道人们会做出什么反应。（当然，利用数据分析做一些短期博弈是有成功性存在的，这两点一定要分开来看。但是做短期博弈的数据分析，如何正确分析数据利用数据则是一个见水平的问题）。
所以，我只是想说，大数据不是万能的，千万不能迷信。对数据的有效分析的确可以帮助我们做一些短期预测。但是在面对长期时，我觉得任何数据都是不靠谱的。你想，《美国队长2》的九头蛇单凭借你的历史就决定你的生死，这是不是太过儿戏了。
虽然历史总是押韵，但从不重复。我们从历史中获得非常多，但最多的应该是谨慎与谦卑，而非可以控制世界。