Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel -
- ITeye技术网站
博客分类：
摘要：Google在2003年到2004年公布了关于GFS、 MapReduce和BigTable三篇技术论文，这也成为后来云计算发展的重要基石，如今Google在后Hadoop时代的新“三驾马车”—— Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。
Mike Olson是Hadoop运动背后的主要推动者，但这还远远不够，目前Google内部使用的大数据软件Dremel使大数据处理起来更加智能。
Mike Olson目前任职于世界上最热的软件专业公司——Cloudera（硅谷的创业企业），并担任Cloudera的首席执行官。Cloudera围绕开源 软件平台Hadoop发展自身的业务，开源软件平台Hadoop已经使得Google变身网络上最主导的力量。
预计到2016年Hadoop将会推动软件市场，并创造8.13亿美元的价值。不过Mike Olson表示这已经是老新闻了。
Hadoop的火爆要得益于Google在2003年底和2004年公布的两篇研究论文，其中一份描述了，GFS是一个可扩展的大型数据密集型应用的分布式文件系统，该文件系统可在廉价的硬件上运行，并具有可靠的容错能力，该文件系统可为用户提供极高的计算性能，而同时具备最小的硬件投资和运营成本。
另外一篇则描述了，MapReduce 是一种处理大型及超大型数据集并生成相关执行的编程模型。其主要思想是从函数式编程语言里借来的，同时也包含了从矢量编程语言里借来的特性。基于 MapReduce编写的程序是在成千上万的普通PC机上被并行分布式自动执行的。8年后，Hadoop已经被广泛使用在网络上，并涉及数据分析和各类数 学运算任务。但Google却提出更好的技术。
在2009年，网络巨头开始使用新的技术取代GFS和MapReduce。Mike Olson表示“这些技术代表未来的趋势。如果你想知道大规模、高性能的数据处理基础设施的未来趋势如何，我建议你看看Google即将推出的研究论文”。
自Hadoop兴起以来，Google已经发布了三篇研究论文，主要阐述了基础设施如何支持庞大网络操作。其中一份详细描述了Caffeine，Caffeine主要为Google网络搜索引擎提供支持。
在Google采用Caffeine之前，Google使用MapReduce和分布式文件系统（如GFS）来构建搜索索引（从已知的Web页面索引 中）。在2010年，Google搜索引擎发生了重大变革。Google将其搜索迁移到新的软件平台，他们称之为“Caffeine”。Caffeine 是Google出自自身的设计，Caffeine使Google能够更迅速的添加新的链接（包括新闻报道以及博客文章等）到自身大规模的网站索引系统中， 相比于以往的系统，新系统可提供“50%新生”的搜索结果。
在本质上Caffeine丢弃MapReduce转而将索引放置在由Google开发的分布式数据库BigTable上。作为Google继GFS和 MapReduce两项创新后的又一项创新，其在设计用来针对海量数据处理情形下的管理结构型数据方面具有巨大的优势。这种海量数据可以定义为在云计算平 台中数千台普通服务器上PB级的数据。
另一篇介绍了Pregel，Pregel主要绘制大量网上信息之间关系的“图形数据库”。而最吸引人的一篇论文要属被称之为Dremel的工具。
点击查看大图
专注于大型数据中心规模软件平台的加利福尼亚伯克利分校计算机科学教授Armando Fox表示“如果你事先告诉我Dremel可以做什么，那么我不会相信你可以把它开发出来”。
Dremel是一种分析信息的方式，Dremel可跨越数千台服务器运行，允许“查询”大量的数据，如Web文档集合或数字图书馆，甚至是数以百万计的垃圾信息的数据描述。这类似于使用结构化查询语言分析传统关系数据库，这种方式在过去几十年被广泛使用在世界各地。
Google基础设施负责人Urs H?lzle表示“使用Dremel就好比你拥有类似SQL的语言，并可以无需任何编程的情况下只需将请求输入命令行中就可以很容易的制定即席查询和重复查询”。
区别在于Dremel可以在极快的速度处理网络规模的海量数据。据Google提交的文件显示你可以在几秒的时间处理PB级的数据查询。
目前Hadoop已经提供了在庞大数据集上运行类似SQL的查询工具（如Hadoop生态圈中的项目Pig和Hive）。但其会有一些延迟，例如当部署任 务时，可能需要几分钟的时间或者几小时的时间来执行任务，虽然可以得到查询结果，但相比于Pig和Hive，Dremel几乎是瞬时的。
Holzle表示Dremel可移执行多种查询，而同样的任务如果使用MapReduce来执行通差需要一个工作序列，但执行时间确实前者的一小部分。Dremel可在大约3秒钟时间里处理1PB的数据查询请求。
Armando Fox表示Dremel是史无前例的，Hadoop作为大数据运动的核心一直致力构建分析海量数据工具的生态圈。但就目前的大数据工具往往存在一个缺陷， 与传统的数据分析或商业智能工具相比，Hadoop在数据分析的速度和精度上还无法相比。但目前Dremel做到了鱼和熊掌兼得。
Dremel做到了“不可能完成的任务”，Dremel设法将海量的数据分析于对数据的深入挖掘进行有机的结合。Dremel所处理的数据规模的速度实在令人印象深刻，你可以舒适的探索数据。在Dremel出现之前还没有类似的系统可以做的像Dremel这样出色。
据Google提交的文件来看，Google从2006年就在内部使用这个平 台，有“数千名”的Google员工使用Dremel来分析一切，从Google各种服务的软件崩溃报告到Google数据中心内的磁盘行为。这种工具有 时会在数十台服务器上使用，有时则会在数以千计的服务器上使用。
Mike Olson表示尽管Hadoop取得的成功不容置疑，但构建Hadoop生态圈的公司和企业显然慢了，而同样的情况也出现在Dremel上，Google 在2010年公布了Dremel的相关文档，但这个平台还没有被第三方企业充分利用起来，目前以色列的工程团队正在建设被称为OpenDremel的克隆 平台。David Gruzman表示OpenDremel目前仅仅还在开始阶段，还需要很长时间进行完善。
换句话说即使你不是Google的工程师你同样可以使用Dremel。Google现在提供的的服务就是基于Dremel。用户可通过在线API来使用这个平台。用户可以把数据上传到Google，并在Google基础设施中运行用户的查询服务。而这只是Google越来越多云服务的一部分。
早期用户通过Google App Engine构建、运行、并将应用托管在Google基础设施平台之上。而现今Google提供了包括BigQuery和Google Compute Engine等服务和基础设施，这些服务和基础设施可使用户瞬时接入虚拟服务器。
全球很多技术都落后于Google，而Google自身的技术也正在影响全球。（李智/编辑）
浏览: 581461 次
来自: 吉林
Selenium自动化测试从入门到精通(Java版)百度网盘地 ...
我喜欢代码简洁易读，服务稳定的推送服务，前段时间研究了一下go ...
楼主,请教一点问题.现在我们需要在excel 的页脚里面加上图 ...
使用Timer会有各种各样的问题好嘛？！书上推荐使用Sched ...央广财评：中国经济“新三驾马车”已经上路
　　央广网财经4月1日消息 （记者 马继鹏）今天是愚人节，但中国经济增长的强劲动力已经形成绝非虚言，不过需要澄清的是，今天要讨论的经济增长并非单纯指增长速度。
　　“新常态”是对目前中国经济增长的最好诠释，主要体现在三个方面：其一、中国经济的增长速度将从以往年均9%下降至7%左右；其二、中国经济的增长方式将从数量型向质量型转变；其三、中国经济在增长的过程中将继续伴随着产业结构的调整和优化。
　　经济增速的下降、方式的转变和结构的调整意味着我们不能依靠旧的“三驾马车”来拉动。过去几年，中国经济很长一段时间都是单边增长，比如2008年经济危机前，出口贡献了大部分的GDP增长，经济危机后，中央出台4万亿经济刺激计划，投资成为经济增长的主要推手，而近两年中央又在大力刺激消费。
　　但不可否认的是，目前投资、消费和出口增速都有放缓的迹象，这是导致中国经济增长速度放缓的主要原因，去年中国经济增速创下24年以来新低，增长率只有7.4%，但这并不意味这中国经济出了问题，正好相反，中国经济已经孕育出了“新三驾马车”，这“三驾马车”正在成为中国经济厚积薄发的重要原动力。
　　区域经济合作是“新三驾马车”之一，这可以有效弥补出口增速下滑对经济增速的影响。以往，中国经济增长更多的依赖于对欧美等发达国家的出口，但目前这些经济体增长速度普遍下降，对外需求减少，已经不能成为中国经济增长的外部动力。
　　不过，可喜的是国家主席习近平在两年前提出“一带一路”的发展战略，而近日亚投行的成立让这个战略更加丰满，中国将以“一带一路”为纽带加强与周边国家的经济联系，这将极大的促进周边国家的基础设施建设，中国在促进地区经济增长的同时也能从中受益。
　　创新则是另外一驾“马车”。 过去几年，中国工业经济的增长主要依靠廉价的劳动力和大量资本的投入，这造成的后果是低端制造业、钢铁、水泥等产业严重过剩，一旦外部经济环境出现风吹草动，中国经济就跟着遭殃，同时，人力成本的提高已经使低端制造业的成本优势不在。
　　当前，由互联网引领的新一轮科技革命和产业变革正在与我国经济新常态交汇，这为我国经济增长质量的提高提供了难得的机会。提高经济增长质量的核心是提高生产效率，包括提高劳动生产率、投资回报率、全要素生产率。
　　创新是提高生产率的最有效手段，目前“大众创新、万众创业”的新局面正在形成，这有效的激发了市场的活力、提高了产业发展的层次，已经为中国经济的持续发展奠定了基础。
　　如果以上“两架马车”是我国经济发展中孕育的新生力量的话，那么房地产市场的重启就可以被称为“旧力量的焕发”。
　　房地产市场一直以来都是中国经济增长的重要推动因素，但2007年开始出现的房地产市场价格过快上涨和2009年出现的投资炒作过度让房地产背负骂名。
　　2012年后，中央和地方政府连续发布“控房令”，房地产价格过快上涨的势头被遏制，直至今年年初，国内绝大部分城市的房地产价格都出现了不同程度的下降，但房价下降的同时也导致房地产市场持续萧条。
　　3月30日，央行联合住建部、银监会出台房贷新政，财政部宣布将个人二手房转让营业税免征期限由5年改成2年。这是中央重启房地产市场的重要信号。但与以往的所谓“救市”不同，此次政策的出台意在刺激自住型和改善型住房需求，和投资客相比，这部分需求才是房地产消费的主力，同时也是最真实的需求者。
　　至此，中国经济的“新三驾马车”已经启动，高质量、高效率、持续健康的中国经济发展新模式也已经上道。
编辑：马继鹏
关键词：经济增长;三驾马车;区域经济;创新;房地产
央广网官方微信
手机央广网供给侧改革：从“三架马车”走向“四大要素”|国企改革|制造业_新浪财经_新浪网
　　编者按：今年以来，受我国外贸形势严峻、房地产调整以及基建投资增长乏力影响，物价持续较弱，工业生产继续回落，经济下行压力明显。虽然宽松政策仍然继续，但因实体经济投资意愿有限，过去几个月持续加码的宽松政策并未带动经济出现企稳。在此背景下，国家高层近期多次在不同场合下提出了“供给侧改革”，高层的频繁表态显示出官方的经济体制改革的思路已经从重需求管理转向了供给管理，特别是从当前需求端所暴露出来的问题也暗示着进行“供给侧改革”的必要性和紧迫性。预期，随着国家政策重心由“需求侧”转向“供给侧”后，供给体系的改革将成为未来一段时期经济发展的重点。
　　“供给侧改革”横空出世，近一月以来，政府高层在讲话中多次提及，其已成为近期中国经济领域最火热的词汇。业内人士指出，“供给侧改革”的提法，显示出政府高层的经济判断和治理思路出现调整，出口、投资、消费“三驾马车”的提法正逐渐从官方话语体系中淡化。十三五期间，“供给侧改革”有望成为未来很长一段时期的重点。
　　从“三架马车”走向“四大要素”
　　2007年以来，我国经济增速逐年下滑，但需求刺激效果甚微。今年11月初，民生证券管清友和朱振鑫在一篇流传甚广的文章《应对当前经济形势的八条对策》中，明确提出解决当下经济的问题，要“平衡需求侧扩张与供给侧改革之间的关系”。此后，从民间到官方，“供给侧改革”出现的频率迅速增加，甚至成为最高经济决策机构的新思路。
　　我们知道，“供给侧”与“需求侧”是相对应的。需求侧有投资、消费、出口“三驾马车”，“三驾马车”决定短期经济增长率。而供给侧则有劳动力、土地、资本、创新“四大要素”，“四大要素”在充分配置条件下所实现的增长率即中长期潜在经济增长率。结构性改革旨在调整经济结构，使要素实现最优配置，提升经济增长的质量和数量。从附图可以看出，供给侧管理强调通过提高生产能力来促进经济增长，而需求侧管理则强调可以通过提高社会需求来促进经济增长，两者对于如何拉动经济增长有着截然不同的理念。
　　需求侧管理认为需求不足导致产出下降，所以拉动经济增长需要“刺激政策”(货币和财政政策)来提高总需求，使实际产出达到潜在产出。供给侧管理则认为市场可以自动调节使实际产出回归潜在产出，所以根本不需要所谓的“刺激政策”来调节总需求，拉动经济增长需要提高生产能力即提高潜在产出水平，其核心在于提高全要素生产率。政策手段上，包括简政放权、放松管制、金融改革、国企改革、土地改革、提高创新能力等，从供给侧管理角度看，本质上都属于提高全要素生产率的方式。
　　由于供给侧管理和需求侧管理在各国的经济政策应用中通常都是交织在一起的，从海外的历史经验看，能够较为明确地被贴上“供给侧管理”标签的主要是美国里根政府时期和英国撒切尔夫人时期的经济政策。这两个时期经济政策的大背景都是上世纪70年代中后期提高需求的“刺激政策”，使得两国出现了明显的“滞涨”现象，凯恩斯主义对此无能为力，而正是“里根经济学”和“撒切尔主义”分别采用减税和国企改革等措施，帮助两国经济走出了衰退的泥淖。
　　如今，在我国经济出现明显下滑的大背景下，中央高层提出了“供给侧改革”，就是要注重经济结构的优化，避免潜在增速的大幅下滑。就中国当前经济状况而言，供给侧改革首先强调了从供给侧入手，解决国人生活和收入水平提高之后对中高端产品和高品质服务的迫切需求与现有的中国传统制造业中低端产品不相匹配的矛盾。换言之，就是中国消费的升级换代需求与中国制造未能与时俱进的不相匹配。在互联网思维已经深入民心的今天，如何借助互联网平台，将需求与生产厂商的柔性生产能力一一对应起来，也就是某些媒体所说的“新计划经济”，是“供给侧改革”成败的关键。
　　“供给侧改革”带来新机遇
　　本次中央财经领导小组会议明确提出，要着力加强供给侧结构性改革，这意味着未来的经济政策将把主要精力放在通过改革提高全要素生产率，而需求侧的刺激政策可能更多只是托底性质的而非未来政策的重心所在。
　　对于从事制造业的上市公司而言，“供给侧改革”对其传统的产供销模式提出了新的挑战，产品销售平台的互联网化，原材料采购的比价平台，客户网络下单的瞬间响应，24小时不间断售后服务平台，诸如此类的种种创新，令上市公司应接不暇。当然，最为要紧的是产品的研发创新，利用互联网征集全球潜在客户对新产品开发的想象性描述，在新产品开发初期便将研发与市场需求相匹配，将成为制造业上市公司应对“供给侧改革”的制胜法宝。
　　对于从事服务业的上市公司而言，“供给侧改革”可谓是为服务业大发展提供了崭新空间。尽管国内服务业总产值已经占到国内经济产值的半壁江山，但与国际先进水平相比差距甚大。无论是文化影视产业，还是体育产业、养老产业、休闲旅游产业，与国际水平的差距就是我们改革的方向所指。下一个五年，中国经济的稳增长，更大的希望寄托在了服务业全面赶超国际水平，上市公司在这方面，绝对是大有用武之地。
　　从近年来A股市场发展演绎路径看，主流资金喜欢从政策导向中寻找潜力股，而目前“供给侧改革”已迅速成为主流资金关注的焦点，有可能成为新的选股逻辑。随着供给侧结构改革思路的明朗化，我国传统制造业产业周期预期有望积极改善。而这无疑有利于传统产业优质企业产能使用率提升，进而缓解传统产业周期对相关上市公司在二级市场估值坐标的束缚。可以预计，“十三五”期间，中央很可能会出台重磅措施解决“产能过剩”的问题，而涉及民生领域的纺织等行业有望成为重点。
　　供给侧如何管理？
　　既然供给侧改革带来新机遇，那么又该如何进行供给侧管理呢？综合各机构的观点，可以看到，供给侧管理的手段主要包括以下三点：
　　第一，改革提高效率(核心问题)。通过改革促进要素生产率的提升，包括简政放权、放松管制、金融改革、国企改革、土地改革、提高创新能力等等，本质上都属于这类。
　　作为长期的投资主题，国企改革概念股反复走强，国企改革顶层文件为未来很长一段时间国企改革概念股的炒作提供了动力，由于各地将陆续进入国企改革细则公布阶段，或将带来旗下国有上市企业的投资机会。业内普遍表示，国企改革涉及的国有资本和运营公司企业活力将得到进一步增强，不仅自身的业绩和估值有望得到双升，也为整个A股市场注入新鲜血液。
　　第二，调结构。调整产品价格和要素价格在不同部门间的相对价格，引导资本和劳动在不同部门间的重新配置。本质上说，调结构不属于经济增长问题，但从政策手段上看这也属于供给侧管理的一种方式。
　　经济金融专家余丰慧分析：“电信、互联网等新兴服务业持续活跃。“双十一”催生邮政快递业活动明显上升，网络消费仍保持较快发展趋势，成为引领消费增长的亮点。临近年底，节日消费预期将继续拉动居民消费热情，以消费为主导的服务行业具有继续拉升的基础。特别是消费在严格执行八项规定、公款消费大大压缩情况下出现持续增长，着实不容易。这些经济增长的新亮点将会随着供给侧改革的推进而强化”。
　　服务业是未来中国经济和社会的双重稳定器，淘汰落后产能意味着制造业部门就业承压，而服务业则可吸纳就业，因而创造条件、促成劳动力的跨部门流动，也将是未来劳动力要素改革的重要方向。根据统计局数据测算，第三产业每增长1个百分点能创造约100万个就业岗位，比工业多50万左右。
　　第三，改善人口结构和劳动力质量。劳动人口占比上升可以提高人均产出，人力资本提高劳动力的生产能力。“十三五”规划建议提出，全面实施一对夫妇可生育两个孩子政策，这将成为未来劳动力要素改革的基础，在进一步释放生育潜力的同时，减缓人口老龄化压力，增加劳动力供给，补充人口红利。
新浪声明：此消息系转载自新浪合作媒体，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。文章内容仅供参考，不构成投资建议。投资者据此操作，风险自担。