在大数据时代 每家公司都要有大数据部门吗？_网易科技
在大数据时代 每家公司都要有大数据部门吗？
用微信扫码二维码
分享至好友和朋友圈
（原标题：在大数据时代，每家公司都要有大数据部门吗？）
很多大数据创业公司提供的服务，似乎企业自己也能实现，那何不干脆自己做？结论也不能下得太武断。文|神策数据创始人 桑文锋如果这个问题换做是：在电气时代，每家公司都要有个发电厂吗？是不是会更好回答一些？事实上每一种重大技术的出现，都会对产业产生大的变化。在蒸汽时代，采矿机采用蒸汽机后，会带来生产效率的极大提升，而轮船加上蒸汽机，再也不需要靠风才能航海了。在电气时代，电灯代替了蜡烛，电报代替了快马送信，而报纸也被广播和电视所侵蚀。可以说是现有产业加上新技术，形成了新产业。我们回过头来看这两次工业革命，生产蒸汽机的企业只有少量几家，而发电的企业在美国也只有通用电气和西屋电气。并不是每家企业都要从事这些基础设施的研发和生产，更多的是对新技术加以应用，发挥新技术带来的价值。在IT领域，软件刚出来时，可以说是计算和存储完全混杂在一起。有人尝试将计算硬件进行分离，歪打正着成就了 Intel。有人尝试将存储系统分离，因而有了 Oracle。Intel 和 Oracle 固然伟大，但它们的价值更多的还在于有广大的企业采用了这些新的技术，在具体的行业中，产生了更大的价值。同样，云计算这种理念固然是好，但如果每家企业都建立自己的云计算中心，从资金和人力投入上，一定是不划算的，更严重的问题是做不到最优。相反，有了 AWS 和阿里云这样的云计算提供商，让中小企业更便捷的进行创新应用。回到题目中的问题，在大数据时代，每家公司都要有自己的大数据部门吗？结论也不能下的太武断。早在2008年，云计算的概念刚刚兴起，百度内部出现了两拨势力。一拨要从零开始打造自己的大数据底层技术，把 MapReduce、GFS、BigTable 这些组件都要实现一遍，结果花了两三年时间，也没能稳定运行。而另外一拨势力，直接采纳开源的 Hadoop 生态，很快在公司内应用起来。而我当时做的日志统计平台，也是采用了 Hadoop。但百度的数据规模毕竟太大了，所需的集群规模，开源版本根本撑不住，于是不得不改写 Hadoop，这样就和开源的版本渐行渐远，等到后来再也合不到一起了。曾经有一年多的时间，我们部门新设计和实现和底层的存储及计算系统，结果发现开源的版本也差不多实现到了同样效果。虽然许多内部的人觉得我们怎么总重复造轮子，但我明白还是需求使然，你面临的需求相对领先，但也没有领先到像 Google 那样提早 5 年。但对于小公司来说，则完全没必要从零开始做，还是要尽量用开源的产品。整个 Hadoop 生态，要比我 2008 年刚用的时候，要成熟很多。那个时候我们去拿开源的版本，编译部署，一个新手可能两周都不一定能正常的运转起来。而现在下载一个 Cloudera 发行版，两个小时就可以正常跑任务了。与此同时，又面临了新的问题，因为大数据平台牵涉到数据的采集、传输、建模存储、查询分析、可视化等多个环节，而开源领域只是一些组件，于是各家公司都在纷纷打造自己的大数据平台，这就像 Oracle 之前，各家都在打造自己的存储系统。这显然不是一件性价比高的事情。有市场需求，就会有满足相应需求的公司诞生，于是就诞生了一堆提供大数据服务的公司。由于这一新领域还处于早期，这些创业公司所能提供的服务并不会特别的完善，要么是以项目制的方式运转，要么是提供专门应用场景的服务。这样，对于一些企业来说，这些创业公司提供的服务，似乎自己也能实现，那何不干脆自己做？这创业一年多以来，我看到了太多的公司在打造自己的数据平台，但做的还不够完善。不管是技术实力还是人力投入上，都有点力不从心。如果选用了这些第三方数据服务，那岂不饭碗被抢了？可我要说的是，饭碗早晚都会被抢，只是时间早晚的问题。这里只需要问一个问题：我所做的数据平台，是不是其他公司也是类似的需求？如果是的话，那肯定也有其他公司做着类似的事情，做的东西会大同小异。那么，就会出现专门的公司，来解决这种通用的需求。因为这些公司专注于解决这一块问题，所以会更加专业，并且舍得投入。而对于需求公司来说，除非自己转型去专门做大数据平台，不然在投入上，肯定不是一件性价比很高的事情。与其如此，不如及早侧重于自己的核心业务，关注应用需求本身。那对于企业来说，在大数据时代，应该怎么做呢？我的建议是三点：首先，要拥抱大数据技术。新的重大技术出现，都带有颠覆性。一不小心，就会被革命。但也不是说企业已有的业务不用搞了，都来搞大数据吧。在大数据这件事上，还是要从需求出发，而不是从大数据出发。有人会问我，我有了一些数据，给我讲讲怎么能发挥更大的价值。坦率来说，许多时候不了解业务场景，很难提出建设性的意见的。相反，我们要先看在企业满足客户需求的时候，还有哪些重大问题没有解决好，如果采用了大数据技术，是不是可以更好的解决？如果有这样的点，那非常好，就勇于去尝试。如果没有，那就继续学习大数据的知识，再等待这样的场景出现。其次，企业要有懂大数据的人。这种人不一定是全职的，但至少是可以将企业的业务和大数据技术结合起来的人。这种人不一定对大数据技术本身很懂，但善于使用新技术。
如果企业现在还没有，并且还没招到。可以去培养一个头脑灵活，乐于学习新技术的人。如果抛开大数据系统的实现挑战，理解大数据的应用场景，那难度会降低不少。最后，要善于利用第三方服务。能用第三方服务解决的，就尽快去尝试。在竞争激烈的情况下，通过采用新技术，获得技术红利，跑的更快。就像爱迪生当年发明白炽灯后，那些更早将白炽灯用于工厂的企业家，更有可能提升工人的工作效率。这篇文章的内容，主要参考了吴军的新书《智能时代》。对大数据和机器智能感兴趣的读者，强烈推荐这本书。
本文来源：i黑马
责任编辑：彭丽慧_NT5727
用微信扫码二维码
分享至好友和朋友圈
加载更多新闻
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：
阅读下一篇
用微信扫描二维码
分享至好友和朋友圈关于服务大数据企业的情况及建议--调研文章发布日期： 浏览:来源：经开区字体：[
视力保护色：
经开区人力资源局根据自身的职责，积极为经开区大数据进行人力资源服务，现就开展情况及建议如下：一、扶持大数据产业工作开展情况1、多种形式为大数据企业进行技能人才培训。2015年为经开区大数据企业贵阳华唐大数据及服务外包产业发展投资有限公司企业在岗职工开展了呼叫员技能培训128人；并为其开展了106人顶岗实训的学生进行了岗前技能培训。2、委托鉴定机构对大数据技能人才进行技能鉴定。委托贵州省邮电学校对贵阳华唐大数据及服务外包产业发展投资有限公司培训的企业在岗职工进行了技能等级鉴定。3、帮扶企业申报贵阳市定点培训机构。华唐大数据及服务外包产业发展投资有限公司具有强大的师资力量、多媒体理论培训教室、一万多平方米实操培训场地以及食堂、宿舍等培训后勤保障服务设施，我局帮扶其申请成为贵阳市定点培训机构。该企业进行呼叫员的技能培训资质，并可享受到政策补贴。4、草拟《贵阳经济技术开发区关于促进大数据及相关产业企业发展的就业扶持办法》文件，此办法将为经开区大数据企业带来更为优惠的扶持政策，包括吸纳就业奖励、参加职业技能大赛奖励以及招聘交通补助等。5、强化政策引领导，营造良好环境。修改完善了《贵阳经济技术开发区引进高层次和紧缺急需人才办法（试行）》、《贵阳经济技术开发区人才公寓管理细则（试行）》、《贵阳经济技术开发区人才发展专项资金使用管理实施细则》、《贵阳经济技术开发区领导干部联系专家和优秀人才工作制度》等一系列人才政策，为大数据企业人才发展提供强大的政策保障，确保为引进人才营造良好的发展环境。同时，依据贵阳市人力资源和社会保障局《关于支持服务外包及呼叫中心产业发展的意见》，经开区人力资源局正在制定关于促进大数据及相关产业企业发展扶持办法。及时兑现相关人才政策，2015年，为勤邦公司罗贵昆、汪善良、谢体波、扶胜等4人申报贵阳市第四批人才服务绿卡，推荐该公司董事长、贵州省2013年度“百人领军人才”何方洋参加全国百千万人才评选。仅今年上半年，就为8家企业兑现劳务输入补贴46300元。对企业引进和自行培养高技能人才进行奖励。按照《贵阳市培养和引进高技能人才补贴奖励暂行办法》（筑人社通[号）文件，2014年，对勤邦公司引进高技能人才杨万英、蒋丽秋和玉蝶电线厂自行培养高技能人才先后分别进行了奖励。6、通过报媒、网络对企业用工信息进行宣传。人力资源局积极对接联系省市相关部门，在《贵阳晚报》、《贵州都市报》、贵阳市人力资源和社会保障网、贵州省人才信息网、58同城网、中华英才网、智联招聘等媒体平台，对企业形象进行大张旗鼓的宣传，广泛发布招聘信息，费用由人力资源部门承担。华唐公司、货车帮公司先后在58同城、智联招聘等网站刊登用工信息，费用49588元全部由经开区人力资源局承担。网络招聘以来，先后有200余人前来面试，企业录取员工50余名。7、借助省内优质教育资源搞好培训基地建设。协调联系贵州大学，在贵阳华唐大数据及服务外包产业发展投资公司挂牌设立了高校毕业生就业实训基地。同时，经双方友好磋商达成相关合作意向：贵州大学针对数据学院大三以上学生加入企业需要课程并采取学分制，达到毕业要求的可优先录用，或采用学校3+1模式，大四学生可直接进入华唐大数据公司进行实习，经开区人力资源局根据相关政策给予扶持。8、全力解决企业用工需求。一方面通过招聘会解决企业用人需要，先后组织10场招聘会，共245家（次）企业参加招聘活动，提供综合管理、市场营销、设计开发、生产运营、行政客服、财务会计等6300余岗位，1300余人达成就业意向。另一方面，与贵阳职业技术学院创造性开展“预约就业”工作，11月组织20余家企业参加了贵阳职业技术学院2014年校园双选会，6家企业与600余名学生达成了“预约就业”初步协议。协调遵义市务川、正安、道真三县71名求职者到公司上班。贵阳职业技术学院装备分院负责人也表示，将于近期安排150名储备班学生到企业实习。9、拓展政校企业合作空间，建立人才储备机制。经开区人力资源局组织辖区大数据企业赴遵义等8个地（州、市）洽谈人力资源合作相关事宜。经开区人力资源局与遵义县人力资源和社会保障局等16家县级人社部门签订人力资源合作协议。贵阳华唐大数据及服务外包产业发展投资有限公司从遵义职校等中职院校引进定岗实习人员372人，与正安职校等中职院校共建实训基地2000座席，与正安职校共建大数据专业1个。贵阳海信公司通过异地校企合作解决用工缺口1000余人。另外，联系了贵州交通职业技术学院60名学生到货车帮科技有限公司实习，贵阳铁路司机学校60余名学生到贵州同济堂制药有限公司、贵州贵航汽车零部件公司永红散热器公司、勤邦食品安全科技有限公司实习。10、帮扶贵阳华唐大数据及服务外包产业发展投资有限公司成功申报成为贵阳市定点培训机构。华唐大数据及服务外包产业发展投资有限公司拥有强大的师资力量、多媒体理论培训教室、一万多平方米实操培训场地以及食堂、宿舍等培训后勤保障服务设施，帮扶其申请贵阳市定点培训机构，将为贵阳市大数据呼叫产业人员培养更多的技能人才。二、存在的问题及建议经过多方共同努力，经开区大数据产业发展取得一定的成绩，但是也存在一些不足。1、人才缺口大。为满足呼叫产业对人力资源的巨大需求，经开区积极对接，做了多方努力，但仅能解决部分人力需求，目前人力缺口依然比较巨大。经我区了解，现贵阳市已出台相关文件要求教育部门和有关院校需优先满足呼叫产业的建设需求，但因各种因素进展较为缓慢，为拓宽人员招聘渠道，建议上级部门给予更多的支持。2、虽然上级部门批准了一批就业见习单位，但由于见习补贴主要针对大专及以上毕业生，而大数据产业呼叫坐席人员多数是中专见习人员，使得大数据企业难以享受见习单位的扶持政策，希望上级部门同意把大数据产业企业呼叫座席人员见习补贴的范围扩展到中专及以上毕业生。&
（编辑：姚雪清）“大数据”误区：不是所有公司都要大数据
　　2012年“大数据”的发展如火如荼，然而本文的作者，数据分析公司SiSense副总裁Bruno Aziza却认为并不是每个人都需要大数据。
　　“大数据”无处不在。从社交媒体初创公司到纽约的中央公园，每个公司似乎都在部署大数据分析。
　　着名数据分析公司Gartner的数据似乎也在证明这一点：最近的一份报告显示，大数据将带动2012年全球280亿美元的IT支出，到2016年这个数字将超过2300亿美元。2300亿美元几乎是葡萄牙全年的国内生产总值。
　　但是，你需要花大价钱来部署大数据技术解决方案。大多数公司都没有这么多IT预算，也请不起数据科学家或者数据分析团队。
　　如果那些提供大数据服务的公司想为各种规模的企业提供服务，那么有几个问题必须认识到并加以解决。
　　大数据太贵了！
　　您可能听说过那些使用大数据的辉煌案例：Facebook每天要存储大约100TB的用户数据；NASA每天要处理约24TB的数据。这些数字确实令人印象深刻。
　　那么处理这些数据所需的成本是多少呢？按照亚马逊Redshift的定价，NASA需要为45天数据存储服务支付超过100万美元。
　　根据最近的一项调查，大多数企业的CIO称他们的预算支付不起大数据部署的成本。数据存储和处理的成本实在太高，我们需要寻求其他的解决方案，让规模较小的公司不被“大数据”拒之门外。
　　大数据的关键不是“大”
　　目前全球最大的科技公司都需要和PB级规模的数据打交道。然而，SAP的研究表明，95%的企业通常只需要使用0.5TB到40TB的数据。
　　Facebook和NASA的例子是个例外，而不是常态。事实是，处理数据并不是大公司的专利。如果你研究一下美国公司的规模，你会发现有超过50000家公司只有20至500名员工，其中大部分都有解决数据问题的需求。所以大数据市场最大的需求并不是来自那些《财富》50强的大企业，而是来自《财富》500000强。为什么我们只关注那些少数的例外，而忽视了那些大多数有数据处理需求，但既不是《财富》50强也没有PB级规模数据的公司？
　　有时候我在想，如果我们改变了大数据的定义会发生什么？通常人们用3V(velocity，volume，variety)来描述大数据，我们不妨换一个说法：“大数据是一种主观状态，它描述的是一个公司的基础架构无法满足其数据处理需求时的情形。”
　　这个定义可能没有那么光鲜，但它肯定会更接近今天的现实。
还能输入140字
Copyright & 1998 - 2017 Tencent. All Rights Reserved