Bamboo Blinds
如今一谈及大数据，人们就不会误解到数百TB以上且规模大大快速增长的Hadoop集群系统，人们为过去两年我们生产了多达人类历史总和的数据量而深感发抖，但实质上大数据可以较小，甚至在智能手机和笔记本上就能展开分析处置，而聪慧的机器学习算法能将大型强子对撞机数据分析工作量增加上万倍;后大数据时代，人们将更为关心如何让大数据大事化小。 但在粒度更加小，数据规模却更大的智能传感器时代，在一场官方色彩更加美浓的去IOE运动中，如何利用本土低成本技术资源，在Hadoop之外找寻一条新的开源大数据处理技术方案？如何在大力开展智慧城市等物联网大数据项目的同时避免对个人隐私的侵害？ 在计算机科学中，一个非常简单的真理可以应验一部分未来:正在CERN（欧洲粒子物理研究所）首演的将迅速再次发生在世界上每个地方。我们还可以再行再加第二个应验:一切正在挤满的将最后以集中结尾。
这与大数据应用于有何关系？ 大数据一般来说都较小 许多所谓的大数据问题只不过并不是那么大。一个中央银行五年的交易数据量大约有100GB大小。
所以，中央银行一年的交易数据是几乎需要被存储在一部智能手机中的。一所保险公司关于一个国家的所有交易数据量会多达4TB。一个硬盘就可以储存这些保险数据。 那些由企业巨额投资的被标记为时尚大数据用来解决问题数据分析问题的基础结构，实质上几乎可以通过一台笔记本甚至是一部智能手机和开源软件来替代。
研究者们和全球金融机构都用像Scikit-Learn,Pandas或NLTK这样的开源软件来处置交易数据和客户关系数据。如MariaDB这样传统的数据库现如今需要处置差不多每秒1百万的载入。MariaDB10.0甚至还有来自淘宝的开发人员研发的一些可以被伸延的复制技术。
我建议在展开便宜的投资前：再行出售一个小型的含最少32GB记忆卡的GNU/Linux服务器，一个大容量的SSD盘（例如1TB）并自学Scikit-Learn机器学习工具包（基于AndrewNg吴恩达,最近重新加入百度的机器学习之父的课程）。在大多数情况下，这些早已充足解决问题您的问题。如果还过于，您还可以设计一个几天后需要伸延成一个大型基础架构的模型。
Scikit-Learn被许多谷歌工程师用于大数据问题建模解决方案的工具包。 大于的微粒生产出有仅次于的数据 极端的挑战由核物理及小微粒研究明确提出来，大大引领了新的信息技术的建构。HTML是由在欧洲核子研究的组织也被称作CERN的TimBernersLee于1991为解决问题大规模文档管理的问题而建构。
CERN的大型强子对撞机（theLargeHadronCollider,全称LHC）被设计用于处置每秒1PB的数据。它在2013年获取了第一个证希格斯玻色子不存在的证据,这是一个在过去的50年里都没被解决问题的问题。 让我们来解读一下每秒1PB的数据意味著什么。
1PB和1,000TB，1,000,000GB或者是13.。
本文关键词：传感器,引爆,大,数据,去,“,IOE,”,给,开源,开元94kycom官网
本文来源：开元94kycom官网-www.themeparkcapitol.com