阿里云大数据生态圈再进一步：推出人才认证计划
2015年哪种技术最热门?毫无悬念是大数据。这股浪潮正在席卷全球所有的行业，包括金融、传媒、零售、能源、制药等。以阿里云ODPS为代表的大数据计算服务，已被广泛应用在淘宝、支付宝、海关总署、中国气象局、墨迹天气等众多产业与公司中。
如何更好的掌握这门技术，并获得社会认可，成为IT人士关注的焦点。12月23日，阿里云在广东省云计算大数据开发者大会暨2015云栖大会广东峰会上宣布启动全球数据人才认证计划，并向天池大数据竞赛的前20名选手颁出首批阿里云大数据应用人才认证（ACP）。
DT时代，传统的IT技能已经无法满足企业的要求。&企业需要利用大数据了解客户、开发新产品、削减运营成本等，这些都依赖于大数据人才的专业技能。&阿里云大数据研究员常亮表示，现有的人才供给方式根本无法满足市场旺盛的需求。阿里云正在采取多种措施积极营造大数据生态圈，其中很重要的一方面就是为市场培养出新一代的数据科学家。
据悉，早在2014年，国外著名职业人士社交网站LinkedIn公布的当年最受雇主喜欢、最炙手可热的25项技能，统计分析和数据挖掘技能位列榜首。在国内，目前大数据人才缺口已达到百万级，众多企业开出巨额高薪四处挖人。一般来说，毕业生在具备5年以上经验后，便可晋升为高级数据挖掘工程师，薪水约为30K-50K。
大数据行业专家指出，此前获得cloudera等认证的IT人士薪资普遍会上浮20%以上。而以目前阿里云在国内的普及程度，获得阿里云大数据人才认证或将带来更高的收入涨幅。
阿里云的这一大数据人才认证计划包含了完善的金字塔认证体系，覆盖专业认证、高级认证、大师认证全阶段。每一种认证类型，均有对应的课程培训以及统一的认证考试。考题全部由阿里云顶级工程师精心设计，对考生的实际项目经验提出了很高的要求。
值得注意的是，阿里云大数据人才认证为参加天池大数据竞赛的选手提供了绿色通道。在天池大数据竞赛中排名前20的选手，可直接获得阿里云大数据应用人才认证（ACP），优秀选手的成绩可折算为认证考试分数。但想走这个&绿色通道&并不容易，每年的数场天池大数据竞赛都会吸引全球上万支队伍参与，题目均基于真实数据设定。
对企业而言这将是一个好消息。他们可以通过招收获阿里云认证的人才，更为高效、稳妥、熟练的在阿里云上构建创新的大数据应用。众所周知，阿里云是目前国内最大的云计算服务商，其大数据计算能力在全球首屈一指。基于阿里云开展大数据业务成为众多企业的首选。
官方微博/微信
每日头条、业界资讯、热点资讯、八卦爆料，全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与，TechWeb官方微博期待您的关注。
↑扫描二维码
想在手机上看科技资讯和科技八卦吗？想第一时间看独家爆料和深度报道吗？请关注TechWeb官方微信公众帐号：1.用手机扫左侧二维码；2.在添加朋友里，搜索关注TechWeb。
相关的资讯有：
相关的博文有：
vivo X20是本月21日发布的一款全面屏新机， 它采用了主流的18：9设计，屏占比为85.3%...
9月30日消息，今年下半年 “全面屏”成为了各大手机厂商的主导方向，广视角能更好的加...
早有传言，三星Galaxy S9将于明年初发布，按照这个节奏的话，Galaxy S9的硬件部分应该...
据SK海力士(SK Hynix)今日发布的一份声明显示，收购东芝芯片业务部门后，贝恩资本(Bai...
监管文件显示，科斯罗萨西周四通知纽约时报公司董事会，他将因为出任Uber的新职位而卸...
苹果的iOS系统一直以流畅著称，安卓系统经过几代更新，流畅度有了大幅提升，但是和iOS...
昨天苹果为我们带来了 iOS 11.1 首个 Beta 系统，而今天，苹果也发布了 iOS 11.1 首个...
作为当今最流行的Linux发行版，Ubuntu做出了一个并不怎么艰难地决定：定于10月19日正...
期待已久的新一期克隆大作战现已正式打响啦~全新主题赛将带你体验不一样的竞技玩法，......
炉石传说十月传说卡组推荐，国庆上传说卡组，一起来看看吧。......
《绝地求生大逃杀》中的四排是需要有一些战术策略的，这样团队合作才能发挥出较好的效......
奇迹暖暖虚空歌者已经开启，第一关是奇怪的邀请函，下面为大家带来奇迹暖暖虚空歌者第......
Copyright (C)
All rights reserved.
请选择一张图片分享
要转发到新浪微博，请
要转发到QQ空间，请看上去很美, 谈谈阿里云的大数据平台「数加」
我的图书馆
看上去很美, 谈谈阿里云的大数据平台「数加」
首先来看看阿里是如何宣传其数加平台的，爆点还是蛮多的，以下引自网上新闻：2016年1月阿里云全球首发了可以提供一站式大数据处理能力的平台——“数加”，并全新亮相了20款新产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条，据说“这些技术至少领先业界三年”。大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎，速度更快，成本更低。经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。具体说来包括：大数据计算服务可6小时处理100PB数据，相当于1亿部高清电影。单集群规模过万台，并支持多集群联合计算。做到了速度更快，成本更低。经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布，大数据计算服务再降价50%。分析型数据库可实现对数据的实时多维分析，百亿量级多维查询只需100毫秒。流计算擅长对实时流式数据进行分析，具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。计算引擎之上，数加提供了最丰富的云端数据开发套件，开发者可一站式完成数据加工。这些产品包含：数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。在数据分析方面，数加提供了3款产品供开发者使用，移动数据分析产品、数加BI报表产品、数据可视化产品DataV。其它还包括图形化机器学习工具（包括特征工程、大规模机器学习、深度学习），同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。看到数加这个开放产品，在惊讶的同时也很佩服，阿里的确做了了不起的事情，无论实际效果如何，推出数加这样的大数据服务产品，无疑让国内很多相关企业有了更明确的思考方向和技术参考，因为近些年太多的大数据PaaS平台的忽悠导致已经审美疲劳了，但能落地的数家算是第一个吧。但冷静下来，在数加平台还没有足够的客户和运营数据之前，还是要谈谈我的一些看法，这里共有8个疑惑：01数加的封闭性数加自成一派，在阿里内部自己玩可以玩的很好，但对于外部客户来讲，不开放意味着什么都要受制，有新的东西和想法也很难加载上去，当然阿里也可以与时俱进，但这么大的平台数据类的工具能有多快的响应周期，如果大家有过开发经验，就知道数据类组件总是在迭代中逐步去完善直至可用，不知道阿里关于这点后续如何考虑。另笔者感觉封闭性系统在起步阶段如果没有达到一个较高的KEY点很难引爆市场，阿里的很多数据能力的确领先，但还没到遥遥领先程度，当前可替代的开放性组件也不少，数加的大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)，开发生态中有对应的Hadoop、Impala，stream等开放组件与之对应，为什么要采用封闭的系统，同时这类核武器级别的打蚊子似乎也重了点。02目标市场问题对于大中型的企业，往往是有能力自主进行大数据平台建设的，由于数家太重，因此基本不会全盘考虑，数加有些组件应该是有特点的，很多企业也需要，但由于其封闭性，大型企业很难只采用其中一个组件，比如分析型数据库(Analytic DB)，开发套件能否用自己的或第三方的，第三方展现组件能否接入，因为阿里的部分组件有优势，但如元数据，数据质量，数据调度，数据展现等方面的的配套组件，其实很难说有优势，更别提体验了，这个是阿里特别需要考虑解决的。对于小型企业或者创业公司，一开始估计数据量不会很大，同时市场会变化非常快，这种PaaS级的核武器能否有市场，是否适应小快灵也值得怀疑。03成本是问题吗阿里称，经测算自建Hadoop集群的成本是数加的1.5倍，是不是阿里测算错了，加上运维等好歹要有量级上的差距啊，姑且不说这是个并不大的差距，但自建Hadoop集群带来的安全性、自主性、灵活性、快速性等优势，并不是能忽略的因素。况且大数据还是个蓝海，远未到红海的地步，这点差距算啥呢。另国内租用文化感觉还有很长的路走，我们习惯买房子，不习惯租房子，因为感觉没归属感，即使知道也许租用更为经济，1.5倍还远远达不到那个爆发的KEY点，个人认为起码5倍以上吧。04存量接入问题任何企业建数据仓库或大数据平台，其与业务源系统有千丝万缕的联系，而且由于大数据平台往往是后台系统，会为了业务源系统做大量的定制化改造，比如我所在的公司，大数据平台的采集组件，虽然选用的是产品化的东西，但为了适应本地源系统做了大量的改造，才能真正使用，同时在网络等各类配套设施方面也做了很多优化，假如要采用数家组件，感觉是很难完成的，因此数加的适用场景是否会大幅受限？其开放性到底如何？比如其采集组件有多强的接入能力？05数据分析巨坑大量的咨询公司在画大数据平台架构的时候，总喜欢搞个服务封装，然后上面罗列了一堆如客户洞察的标准化数据分析功能，但这个也只是内部用用，实际很难实现通用的开放数据分析服务。当前的SOA等系列概念，基本都是从OLTP系统的基础上演化而来的，本质上就是能力内部封装实现，对外提供标准化服务，从而降低开发成本，迅速扩大规模，这个概念用在OLTP系统上，的确比较适用，即我们一般所说的“功能”能够封装，因为这个功能是可枚举的，就好比C语言它搞了很多标准化函数，方便大家调用编程，提升效率。大数据分析的特点是数据量大，类型丰富，速度快，更关键的是通过大数据的组合使得呈现出来的新数据形式无穷无尽，也就是说所谓的数据分析功能是很难穷尽的，因此打造数据分析组件，通过配置方式统一对外提供标准数据服务实际非常困难。比如搞数据可视化服务，肯定是百花齐放，没有一种可视化工具可以独打天下，甚至是出现几个寡头也越来越难，为什么，满足不了特定的数据分析展现要求，数据体现方式太多了，这次阿里发布的数加BI报表产品、数据可视化产品DataV，我完全不看好，基本是废材的节奏。不知道数加的图形化机器学习工具是基于什么计算引擎，而且机器学习图形化，这个坑有点大，一笑了之。06使用是个问题我申请了账户，登录进去，好少的功能，只有3-4个，本来期待有很丰富的介绍文档及大量的系统演示，但实际是很少，太少的文档，DEMO演示也没有，感觉无法理解这个系统的使用，这种体验如何才能让客户产生信任感并决定掏钱包呢。我觉得数加虽然推出了，但大量的准备工作还没做好，可能过于仓促吧。比如笔者研究了老半天规则引擎，硬是没看懂，可能愚笨吧，感觉产品说明书是技术人员写得？07全链条太困难数加有万丈雄心，号称支撑数据全链条，但这句话过于狂妄，任何PaaS平台都是基于业务需求的驱动积累到一定程度后抽象出来的公共基础组件，也就是说，业务需求是第一驱动力，相信阿里的这些数据组件都是基于阿里的业务场景抽象出来的，但阿里的业务场景能多大程度代表整个行业，它能代表互联网行业吗，不能，很多业务场景它都没碰到过，即使在电商行业，它对于业务的覆盖也不能说完整，更不用说面向全社会了，可能阿里的客户会非常局限在特定的电商行业领域，因为其他领域它业务不清楚，很难支持。当然有些数据组件非常底层，因此它可以支持，比如数据抽取，因为这个业界已经有一定标准，数据仓库玩这个已经太多了，通用性可以提炼，但即使这样，估计阿里的数据抽取工具，也很难适应比如我公司OGG的一些特定要求，一些跟业务相关性非常高的组件，比如元数据，数据质量管理，可视化，数据分析、机器学习、数据应用，里面的细分场景太多了。08缺失一些信息作为客户，我不仅仅担心能力方面的问题，我更担心数据安全问题，高可用等问题，但这些方面数加似乎对外未予以澄清，数加如何确保企业的数据接入后获得足够的保护，如何确保工具本身的透明性，如何防止非企业客户对于数据的非法接触，是否提供了足够的数据安全和加密手段，确保数据不被泄露和偷窥。关于高可用性，数加的SLA有没有，能达到什么程度，因为一旦企业将其作为生产系统，这些能力往往比计算等能力要求更高。谈了这么多，很多属于有感而发，由于没有完整的机会接触数加各个组件，因此很多理解肯定不到位，心存很多疑惑，据说数加平台仅用了1年就完成了对内到对外支撑的转身，这是火箭的速度，因为从专业到通用，从通用到有商业价值，这个很难，不仅仅要考虑功能，更要考虑开放性，安全性，可用性等更多的问题，同时希望数加更多从客户的角度去考虑问题，而不是炫耀其能力，核弹打蚊子虽然夸张了点，但也有一定的道理，据说EMR卖的不好。最后希望阿里的数加能克服这些困难，继续进步，用运营的数据来证明其成功吧。来源：与数据同行 作者：傅一平 博士 毕业于浙江大学 从事电信行业工作，专注于大数据采集、处理、建模、管理、变现及产业等研究关于我们数据分析网（），国内大数据门户，旨在帮助大数据从业人士、爱好者提供大数据新闻资讯、前沿技术、业界观点的信息平台，为企业管理决策者与大数据专业技术人士进行大数据软件工具采购、商业智能系统搭建、数据产品建设等提供所需的最新国内外趋势、技术信息与资源。
馆藏&55680
TA的最新馆藏
喜欢该文的人也喜欢深度分析--阿里云的大数据平台“数加”厉害在哪里？
先说说几个数字:
Maxcompute（就是原名ODPS）是数加底层的计算引擎。有两个维度可以看这个计算引擎的性能，A、6小时处理100PB数据，相当于1亿部高清电影。B、单集群规模过万台，并支持多集群联合计算。
2. Analytic
DB是实时多维分析引擎，可以实现百亿量级多维查询只需100毫秒。阿里内部很多面向海量互联网用户的产品的在线大数据查询，很大程度上依赖于Analytic
流计算StreamCompute具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。
做平台就是搭台子，串，从客户视角来看要达到的目的如下：
1、体验上：是一站式的。
2、功能上：产品之间打通。
对数据从业者的帮助主要体现在：
1、工具提供的功能，极大降低数据相关工作如建仓、ETL、BI、建模、应用开发等的工作量。
2、工具与引擎的结合，以及数据工作端到端产品线配置上的完备性。总而言之就是方便。
数据可视化DataV：
作为大屏可视化业务，要点有三：
1、如何讲出故事（设计，最最最重要的一点）
2、前端、大屏、交互控制（实现）
3、数据设计（数据）
产品与业务狗自己想用哪些图标，怎么布局，吹出什么故事，厘清脉络，画手稿、画原型，设计交互的逻辑，选配客户的数据，需要做到能在简单的一页之内让人读懂数据之间的层次与关联，这就关系到色彩、布局、图表的综合运用。
开发人员不但会前端，还得懂审美进行特效开发，还得对非传统图标的组件进行分析展现开发对应的新组件，比如海量数据的地理轨迹、地理飞线、热力分布、地域区块、3D地图、3D地球，地理数据的多层叠加，还得学习大屏技术，对接中控，拼接渲染集群。
再好的设计，没后面的数据引擎也跑不动，需要进行数据管理，做数据同步，对接不同的数据源，还得支持动态请求，实时计算、流计算等。
1、设计直接用DataV提供的模板，或者从获取灵感。比如：2、实现多种图表支持，常规图表以及地理、地球、热力分布、多层叠加的支持。大屏技术支持多分辨率适配与发布方式。
3、数据多种数据源计接入：支持API、CSV、RDS、阿里云分析型数据库，支持动态请求。此外，图形化的搭建工具，用户只需要配配就行。再看一款产品叫规则引擎：规则引擎的核心是将复杂易变的业务逻辑从应用代码中剥离出来，使业务规则的定义和运行隔离开来，这样当业务需求改变时，只需要更改规则定义，而不需要修改代码，以及重新编译、部署整个项目，提高了应用的扩展性和可维护性。
我们的规则引擎特点：
1、场景化一站式服务：轻量，降低接入成本如：移动场景下，APP可快速集成SDK实现数据采集、上报、预定义用户profile，配备图形化用户分层工具实现定向营销，精准运营流量、提升用户粘性。
2、实时a) 支持实时数据（实时事件、行为、LBS等）计算（整型、字符串、枚举、多值、范围、时间）b)
规则配置实时生效c) 实时规则计算、规则匹配。
3、特征支持a) 规则描述语言支持SQL、UDF、ODPS表b) 支持规则匹配自定义排序c)
数据类型支持整型、字符串、枚举、多值列、范围、时间。
4、大规模、高并发、低延迟a) 支持十万以上规则量、亿级别数据量b) QPS高达10万c)
毫秒级延迟。
5、系统及业务安全：多副本容灾、业务数据及规则隔离架构如下：
适用场景：
大数据问题本身是个系统性问题，不是靠某一单点的技术突破就能带来业务价值的转化，这里面必然存在一个GAP，即对业务本质的把握、以及问题的上下游、前后链路等方面的深入理解。
工欲善其事必先利其器，一切才刚刚开始。而如何用好工具、配好数据，为业务进行定制设计的解决方案，才是大数据的核心。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。