用大数据思维做运维监控是怎样一种体验?
【数据猿导读】
如果你拥有复杂的产品线，那么日志格式会是一个很痛苦的事情。以为这中间 Storm的处理环节你需要做大量的兼容适配。我个人的意见是，第一，没有其他更好的办理，去兼容适配吧，第二，推动大家统一日志格式。两件事情一起做。我一个月做不完，那我用两年时间行么?总有一天大家都会有统一...
从三个层面论述对运维的意义：
1、工程数据，譬如工单数量，SLA 可用性，基础资源，故障率，报警统计
2、业务数据，譬如业务 DashBoard,Trace 调用链，业务拓扑切换，业务指标，业务基准数据，业务日志挖掘
3、数据可视化
当然，这篇文章谈的是运维都有哪些数据，哪些指标，以及数据呈现。并没有谈及如何和大数据相关的架构做整合，从而能让这些数据真的变得活起来。
上面的文字算引子，在步入正式的探讨前，有一点我觉得值得强调：
虽然这里讲的是如何将大数据思维/架构应用于运维，平台化运维工作，但是和大数据本质上没有关系，我们只是将大数据处理的方式和思想应用在运维工作上。所以，即使你现在所在的公司没有数据团队支撑，也是完全可以通过现有团队完成这件事情的。
1 运维监控现状
很多公司的运维的监控具有如下特质：
只能监控基础运维层次，通过 zabbit 等工具提供服务器,CPU,内存等相关的监控。这部分重要，但确实不是运维的核心。
对业务的监控是最复杂的，而现在很多公司的要么还处于 Shell 脚本的刀耕火种阶段，要么开发能力较强，但是还是东一榔头西一棒子，不同的业务需要不同的监控系统，人人都可以根据的自己的想法开发一个监控的工具也好，系统也好，平台也好。总之是比较凌乱的。
使用第三方的监控平台。这个似乎在 Rails/NodeJS/Pythone 相关语系开发的产品中比较常见。我不做过多评价，使用后冷暖自知。
当然也有抽象得很好的，比如点评网的运维监控据说就做得相当好，运维很闲，天天没事就根据自己的监控找开发的茬，让开发持续改进。不过他们的指导思想主要有两个：
运维自动化。怎么能够实现这个目标就怎么搞，这严重依赖于搞的人的规划能力和经验。
抽象化，根据实际面临的问题做出抽象，得到对应的系统，比如需要发布，于是又发布系统，需要管理配置文件，所以有配管系统，需要日志分析所以有了有日志分析系统。然而这样是比较零散的。
有点扯远，我们还是 focus 在监控上。
如果以大数据的思维去思考，我们应该如何做好监控这件事情?
2 罗列出你的数据源
所有的数据源都有一个共性，就是日志。无论文本的也好，二进制的也好。所以日志是整个信息的源头。日志包含的信息足以让我们追查到下面几件事情：
系统健康状况监控
查找故障根源
系统瓶颈诊断和调优
追踪安全相关问题
从日志我们可以挖掘出什么?
我觉得抽象起来就一个：指标。
指标可以再进行分类：
业务层面，如团购业务每秒访问数，团购券每秒验券数，每分钟支付、创建订单等
应用层面，每个应用的错误数，调用过程，访问的平均耗时，最大耗时，95线等
系统资源层面，如 cpu、内存、swap、磁盘、load、主进程存活等
网络层面，如丢包、ping 存活、流量、tcp 连接数等
每个分类里的每个小点其实都是一个指标。
3 如何统一实现
千万不要针对具体问题进行解决，大数据架构上的一个思维就是：我能够提供一个平台让大家方便解决这些问题么? 而不是，这个问题我能解决么?
先来看看架构图：
因为目前我负责应用层的研发，业务还比较少，主要就需要监控三个系统：
3、统一查询引擎
所以监控的架构设计略简单些。如果你希望进行日志存储以及事后批量分析，则可以采用淘宝的这套架构方式：
稍微说明下，日志收集 Agent 可以使用 Flume,鹰眼 Storm 集群，其实就是 Storm 集群，当然有可能是淘宝内部 Java 版的，Storm(或第一幅图的 SparkStreaming)做两件事情。
将日志过滤，格式化，或存储起来
进行实时计算，将指标数据存储到 HBase 里去
到目前为止，我们没有做任何的开发，全部使用大数据里通用的一些组件。至于这些组件需要多少服务器，就看对应的日志量规模了，三五台到几百台都是可以的。
需要开发的地方只有两个点，有一个是一次性的，有一个则是长期。
先说说一次性的，其实就是大盘展示系统。这个就是从 HBase 里取出数据做展示。这个貌似也有开源的一套，ELK。不过底层不是用的 HBase 存储，而是 ES。这里就不详细讨论。
长期的则是 SparkStreaming(淘宝是使用 Storm，我建议用 SparkStreaming,因为 SparkStreaming 可以按时间窗口，也可以按量统一做计算)，这里你需要定义日志的处理逻辑，生成我上面提到的各项指标。
这里有一个什么好处呢，就是平台化了，对新的监控需求响应更快了，开发到上线可能只要几个小时的功夫。如果某个系统某天需要一个新的监控指标，我们只要开发个 SparkStreaming 程序，丢到平台里去，这事就算完了。
第一幅图的平台我是已经实现了的。我目前在 SparkStreaming 上只做了三个方面比较基础的监控，不过应该够用了。
状态码大盘。HTTP 响应码的 URL(去掉 query 参数)排行榜。比如你打开页面就可以看到发生500错误的 top 100 的 URL，以及该 URL 所归属的系统。
响应耗时大盘。URL 请求耗时排行榜。比如你打开页面就可以看到5分钟内平均响应耗时 top 100 的 URL(去掉 query 参数)。
还有就是 Trace 系统。类似 Google 的 Dapper,淘宝的 EagleEye。给出一个唯一的 UUID,可以追踪到特定一个 Request 的请求链路。每个依赖服务的响应情况，比如响应时间。对于一个由几个甚至几百个服务组成的大系统，意义非常大，可以方便的定位出到底是那个系统的哪个 API 的问题。这个最大的难点是需要统一底层的 RPC/HTTP 调用框架，进行埋点。因为我使用的是自研的 ServiceFramework 框架，通讯埋点就比较简单。如果是在一个业务线复杂，各个系统使用不同技术开发，想要做这块就要做好心理准备了。
现在，如果你想要监控一个系统是不是存活，你不在需要取写脚本去找他的 pid 看进程是不是存在，系统发现在一定的周期内没有日志，就可以认为它死了。而系统如果有异常，比如有大量的慢查询，大盘一定能展示出来。
描述到这，我们可以看到，这套架构的优势在哪：
基本上没有需要自己开发的系统。从日志收集，到日志存储，到结果存储等，统统都是现成的组件。
可扩展性好。每个组件都是集群模式的，没有单点故障。每个组件都是可水平扩展的，日志量大了，加机器就好。
开发更集中了。你只要关注日志实际的分析处理，提炼指标即可。
4 大数据思维
对于运维的监控，利用大数据思维，需要分三步走：
1、找到数据
2、分析定义从数据里中我能得到什么
3、从大数据平台中挑选你要的组件完成搭积木式开发
所有系统最可靠的就是日志输出，系统是不是正常，发生了什么情况，我们以前是出了问题去查日志，或者自己写个脚本定时去分析。现在这些事情都可以整合到一个已有的平台上，我们唯一要做的就是 定义处理日志的的逻辑 。
这里有几点注意的：
如果你拥有复杂的产品线，那么日志格式会是一个很痛苦的事情。以为这中间 Storm(或者 SparkStreaming)的处理环节你需要做大量的兼容适配。我个人的意见是，第一，没有其他更好的办理，去兼容适配吧，第二，推动大家统一日志格式。两件事情一起做。我一个月做不完，那我用两年时间行么?总有一天大家都会有统一的日志格式的。
如果你的研发能力有富余,或者有大数据团队支撑，那么可以将进入到 SparkStreaming 中的数据存储起来，然后通过 SparkSQL 等做即席查询。这样，有的时候原先没有考虑的指标，你可以直接基于日志做多维度分析。分析完了，你觉得好了，需要固化下来，那再去更新你的 SparkStreaming 程序。
我做上面第一幅图架构实现时，从搭建到完成 SparkStreaming 程序开发，到数据最后进入 HBase 存储，大概只花了一天多的时间。当然为了完成那个 Trace 的指标分析，我修改 ServiceFramework 框架大约改了两三天。因为Trace分析确实比较复杂。当然还有一个比较消耗工作量的，是页面可视化，我这块自己还没有能力做，等招个 Web 开发工程师再说了。
来源：芝诺数据分析
声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。
不容错过的资讯
大数据学堂
大数据企业推荐
大家都在搜八戒十年发布会|互联网大咖圆桌对话：大数据下·中国服务经济产业平台价值
摘要：日，猪八戒网十周年平台战略新闻发布会在北京国家会议中心成功召开。
会上，猪八戒网创始人-朱明跃、创业邦合伙人-王玥、稻田科技联合创始人-马胜禹、场景实验室创始人-吴声、依文企业集团董事长夏华现场进行了主题为《大数据下·中国服务经济产业平台价值》的圆桌对话，其中创业邦合伙人王玥还担任了此环节的主持。
日，新闻在北京国家会议中心成功召开。会上，创始人-朱明跃、创业邦合伙人-王玥、稻田科技联合创始人-马胜禹、场景实验室创始人-吴声、依文企业集团董事长夏华现场进行了主题为《大数据下·中国服务经济产业平台价值》的，其中创业邦合伙人王玥还担任了此环节的主持。从左到右：创业邦合伙人-王玥、稻田科技联合创始人-马胜禹、依文企业集团董事长-夏华、创始人、CEO-朱明跃、场景实验室创始人-吴声以下根据对话内容整理：二师兄：下一个十年最大的挑战来自哪里？创始人、CEO朱明跃：前面如履薄冰走过来，今天好不容易走到这个门坎的时候，即将开十年会的时候，始终觉得还没有准备好。但是到今天，开启新十年的时候，我们发现：实际上真的在创业路上的九九八十一难，我们还在第三四十关的阶段。接下来这四十几关怎么闯？在我生命当中，我认为最大的挑战，还是在于我们开启了这样一个平台，把各种专业人士和机构先整合在一起，当我们真的要利用共享、利用数据的力量、利用众包的互联网方法去和产业、企业对接的时候，我们才发现，在过去十年，在互联网平台我们还是门外汉；面对我们未来职业、企业的时候，我们更是门外汉。我们要想把服务能力和产业需求对接起来，我认为还需要继续秉持着我们取经文化，进一步的向传统产业、传统企业去学习去取经，然后去融合，一步一步，一关一关地过，还有40多关等在我们所有猪八戒人面前，也等在我们这个平台上所有的拥有专业技能的人才和机构面前，希望我们大家一起加油。夏华：和产业大数据做对接，颠覆自己依文企业集团董事长夏华：首先一进来我挺惊讶的，因为用产品计划22年做了很多事，今天王楠讲的时候，我感到这十年尤其是这两年真的干了很多事。就像吴声刚才讲的，吴声的每个词，都值得好好回味一下，就是“颠覆意义”真的给所有产业的企业家很大的一个颠覆感。但是我是觉得，我一直要秉承什么心态。我跟朱明跃第一次见面聊天，我说猪八戒网下一轮要跟产业之间发生多深多透彻的关系，点到为止还是深刻透彻？所以在我们这个产业，服装产业，我到今天也认为，包括吴声本身都低估了这个产业，16年13万的销售额还只是中国消费者的消费，全球消费者消费中国人制造的服装还不算。这个产业真的好想用平台心态玩一把。但这个平台做不大，因为大家都关起门来，设计师也关起门来，品牌商也关起门来，如何做一次横向颠覆？平台思考里面，我们其中有一个项目，很有幸跟朱明跃合作了，我们俩只谈了大概一个多小时就拍板了。在服装行业做依服宝项目，依靠猪八戒网的团队获得了非常好的收益，包括王总，多次跟他们开会，才把场景服装能够放在一个平台上。我们在这个行业干了22年，最不愿意做职业装。原来的职业装，无论国企、大企都有一个麻烦的链条，这个链条除了招投标，核心就是跟底下勾兑，非常麻烦，中间没有阳光化和透明化。所以我在寻找合作伙伴的时候，大家也谈到各种各样的平台，但是我认为在非标里面做得好的猪八戒网是我们唯一的选择。所以这个平台从去年开始，能解决所有的场景化服装，你可以在这个平台上两个小时完成你的服装，连设计、生产、价格碰撞、原料碰撞都可以实现。所以这个点上我感受特别深刻，未来长板碰长板的时期来了，产业老大也不用灰心，还有平台的老大。后面的十年，是产业化延伸最重要的十年。每一个产业，把产业跟你之间产生价值的携带者，连到一起，深度连接，就会产生下一轮猪八戒网千亿万亿的化学反应。马胜禹：从自己的角度看待稻田科技联合创始人马胜禹：主持人好，朱总、吴总好、夏总好，各位来宾好。大家看到像整个互联网的企业，创业之初都在平台化、专业化，现在可以看到整个平台价值所在。其实我们认为一个平台价值从最初开始看，已经解决了信息不对称的问题，可以把服务两端更好地展示出来。下一步到了价值的问题，再就是到了深度快速地撮合，形成在平台上行业上的闭环，最后基于这个行业进行拓展延伸，打造这个行业生态的过程。我们现在看到的猪八戒网已经做到了这一点，所以猪八戒网在我所在的开发行业平台上已经是遥遥领先了。具体以我们为例，像我们开发行业，如何看待与猪八戒网的合作和价值。大家不是很了解，稻田科技是为合作伙伴提供卓越研发的公司，我们在这么多年发展过程当中，积累了很多像苹果等世界顶级企业的研发案例，我们有一些方案，但缺少渠道能把我们好的产品和我们的客户分享交流，这样就限制我们的发展。自从现在跟猪八戒网进行全面战略合作，解放了在研发上的产能和能力。这是平台的最大价值，解决了像我们服务提供商和寻找优质服务客户之间的不对称的问题，这种模式打破了信息不对称，解放了双方的生产力，这样对社会的价值更大。今天通过这次会议，我们也看到了整个猪八戒人的思路、战略眼光。上周在一个服务商的会议上，跟猪八戒网的郭总聊天，我们了解到猪八戒网的胸怀。我们有信心和愿望，能和猪八戒网携手在互联网+的大浪潮下共同发展壮大。跟刚才讲的一样，我们也希望能够跟猪八戒网一起，现在是立足中国，最后真正能够放眼世界，谢谢主持人。&吴声：猪八戒网的下一场大戏才刚刚开始场景实验室创始人吴声：其实刚才稍微提到一点，我个人感觉到的：如果你是品牌还是独角兽，就代表了企业发展，你是平台就是百亿级别的平台，你是生态就是千亿级别的公司。我们圆桌对话，大数据下·中国服务经济产业平台价值，我觉得是对猪八戒网的低估。我们讲不是双边、多边的，是已经形成价值，具备生态能力的。表面上我们看起来猪八戒网今天的估值体系或者商业模型，还处于非常典型的平台的价值里面，但是按照我们的逻辑，它正在完成一轮又一轮的覆盖。第一刚才说了，猪八戒网会成为相当长一段时间里边，企业的一种生活方式的场景。这个定义我们在说淘宝DAU是其他的12倍，是以物为中心，购买能力上淘宝是有优势的，而且自带流量、自带话题。猪八戒网作为唯一性，这个价值还没有完成乘法效应。第二刚才说效率层面，孵化和加速更多的子平台、新平台，像夏华总提到服装领域里面，何止是千亿万亿的平台，让我们看到蓝海的机会，这种定义可能在猪八戒网这样一个平台生态的变化中有太多A，这个A多少是乘法的定律。第三猪八戒网一旦形成水、电、煤气这些基础设施的平台，它的乘法是多少？信用设施和关系也刚刚开始，我刚才讲的每一个层次，愿意给到假如乘以2到5的系数，我们认为这十年是不可忽略的。刚才在台下朱总讲，我们刚刚到，你叫来得早不如来得巧，从0到1，从1到100，是新企业生存新的众创生态，所形成共享经济2.0才刚刚开始，是这样一个大的趋势。二师兄别走，等等我。&&&猪八戒网为什么能够站在风口上？猪八戒网这种模式能不能复制？场景实验室创始人吴声：我抛砖引玉，如果把猪八戒网定义为基础设施，去复制基础设施是没有必要的。我们讲猪八戒网本身就是去成就新的达人、新的平台，完成自身更好的积累和生态价值的呈现，并不是我们可不可以复制，而是在于我们能不能善用这个基础设施，完成我们自身的禀赋的长板，或者叫长板理论。第二层在于，新的平台成熟，跑的是宝马还是宝来，是奥拓或者奥迪，会有新赛道的机会。如果服务领域，完成平台化的领跑，还有那么多嗷嗷待哺的，需要去形成更多芯片和连接。我觉得这种芯片、连接可以理解为是系统复制，更可以理解为是创新。但是模式复制有意义吗？没有什么意义。因为今天让朱明跃自己再来做一个猪八戒网，他都不一定能做得出来。他原来的苦和累，是在当下产品痛点解决过程中不断积累经验、数据锻炼团队而练就模式，在不断迭代当中，才具备了今天的可能性。我们复制一个不确定性，我觉得没意义。稻田科技联合创始人马胜禹：我作为一个开发企业，刚才其实我也说我认为这个行业或者可塑性不一定是复制一个猪八戒网，猪八戒网的商业模式或者理念，我觉得可以是个很好借鉴。我们自己有一个深刻的例子。我们开发服务企业，很难找到一个给我们提供像猪八戒网一样的优质服务平台。传统企业在网络上投入精力，百度是比拼谁更有钱的平台。所以猪八戒网是让我们找到行业细分的方向，找到我们的行业痛点，找到一个市场规模和风口足够大的地方，这很有可能复制猪八戒网模式出来，或者猪八戒网下面需要做一些提供细分服务领域的方向。谢谢！&&&&依文企业集团董事长夏华：我觉得王总可以把创业邦看到的那些，说我是某一个领域的猪八戒，理解为一种学习。我觉得认识一个模型，今天可能不单单是猪八戒网，传统产业也有成功的模型难以复制。很难复制的就像吴声定义上的场景化的产物。你今天这个场景是复制的，但是我觉得是学习了，到底学什么？说一说感受。猪八戒网的逻辑是值得学习的。刚才他说风口，其实猪八戒网是真正的在不管我们称之为生态系统也好，或者称之为平台也好，是真正从逻辑上完成了从风口到价值的这么一个模型思考。因为很重要是这些年所有的创业者，都在简单的思考哪些是风口，哪儿有机会成功。但是事实上真正需要思考的是你要找到价值点。我一直反对风口理论，就该随风漂。但是价值则是完全清晰找得到的，你一旦发现了，大的延伸系统就会出来，这是互联网本身最有价值的，是最本质的东西，你让自己对这个系统内的任何一个小微的分子产生了价值。我觉得第二个是逻辑。我今天跟明跃讲过，其实很多时候百思不得其解，我觉得创业者花千百亿，大家都在赚钱，大家从赚钱到更高的估值，这是正常逻辑。猪八戒网最值得所有互联网人思考是真的赚钱了，而且是从传统产业切入的服务模型，净利润还很高，这是种思考。下一个十年从哪里开始，当猪八戒网可以赚钱，而且甚至有高净利润的时候，我觉得这个下一个十年无法想象。任何一个产业的连接，就是一笔真正赚钱的能力，所以我觉得这个就是所有人要思考的，这种模型给我们带来的思考。无论风口到价值，还是从估值到真正赚钱，这可能是我们真正创业者要思考猪八戒网的两个不可复制，但是能学习的逻辑。二师兄：猪八戒网的今天是无数个偶然集合形成的必然猪八戒网创始人、CEO朱明跃：我还是接着这个话题来说，实际上作为一个创业者，我们猪八戒网的创业团队，我觉得要懂得感恩。过去十年走到今天，实际上是无数个偶然集合起来，成为今天这样一个必然的结果。那么我们在付出一种必然结果的时候，我们不能够忘记过去的无数个偶然，所以探讨复制无数个偶然结合起来，形成一个必然结果的时候，是没有意义的。对于未来，猪八戒网也像我今天在开始演讲的时候讲的一样，我们充满太多不确定性，我们身上的标签非常多，但是这些标签可能都不是我们未来的定义。猪八戒网也在不断地发展成长，未来的猪八戒网是三头六臂，还是三十二变，还是没有变，对我们来说仍是前路漫漫。取经道路漫长，我们充满无数不确定性，我不知道未来猪八戒网会是一个什么样猪八戒网的时候，你去复制一个不确定性的，在不断成长进化的新物种，我觉得可能步步复制最后步步落后。不如面对自己的产品，自己的服务，问一问我们到底为这个行业创造什么样的产品和服务，去提供价值给用户，我觉得这个是最关键的。对于一个创业者来说，坦白讲不担心复制这个问题，我无法想象未来。对于未来第二个十年，今天大幕已经拉开。对于我们创业公司来说，的确我们过去十年完成了从0到1，而目前也可能完成从1到100，对我们来说挑战更大。在这个过程当中，我特别幸运，特别应该说感恩的是，这十年里面，除了我们自身的努力以外，我们得到了我们的资本、媒体，包括我们在座各位朋友、台下各位嘉宾的这种支持和关照，如果没有无数这样的目光在背后注视着，也许一个创业者不可能走得这样坚定。但是因为有大家关心、关怀、重视，用目光在聚焦在你背影上，所以我感觉我们责任重大。我在这里讲一个小故事，在大概5年前，我们刚刚完成A轮的时候，有一位政府官员到我们猪八戒网去视察，他听我说了5分钟后，就把我打断了，说：“你不要讲了。我有两个判断。第一个判断，中国人均GDP在2011年的时候，只有3、5千美金，大家都在满足物质需求，所以猪八戒网交易规模应该不大。但是你要等到中国人均GDP超过8、9千美金的时候，服务交易的春天就来了。但是你要活到那一天。应该说我们中国人均GDP超过8、9千美金，行业的创业者的风口，就会各种风起云涌。”我觉得这是我第一次知道一个创业者的命运，一个创业公司的命运，实际上是和时代，和宏观经济是息息相关的。“我的第二个论断，就是你们猪八戒网不仅仅是交易市场，你们是一个超级孵化器。如果只是你的商业价值，就把这个事情价值说低了，你们实际上是一个超级孵化器，不断的把第三产业里面的商家拿去进行孵化成长，从这个角度来说你们是有社会价值的，一个真正有情怀、有梦想的创业者，一定要把商业价值和社会价值完美的融合在一起。”后来，这就成了我们整个猪八戒网的价值观，我们作为一个创业者，首先谈商业价值，但仅仅有商业价值而没有社会价值，所谓的平台或者生态就是不可能的。我们实际上最终也是为了社会能够在互联网的新时代更加美好一点，从这个角度来说，我们猪八戒人，包括我们整个猪八戒网平台上的服务商，我们都在为商业价值和社会价值的融合路上继续取经，继续前进。更多精彩请关注猪八戒网微信公众号！
声明：本文由猪八戒网企业号发布，依据企业号用户协议，该企业号为文章的真实性和准确性负责。创头条作为品牌传播平台，只为传播效果负责，在文章不存在违反法律规定的情况下，不继续承担甄别文章内容和观点的义务。
发表文章295
订阅人数19
扫码打赏作者
登录发表评论
感谢您的分享！
下载创头条app，查看更多资讯
您可以通过以下方式直接登录社会化媒体
了解更多>>
桂ICP备 号
桂公网安备 36号
阅读下一篇
Hi，在你登录以后，就可以永久免费的收藏任何您感兴趣的内容，关注感兴趣的作者！
请输入正确的邮箱
已有帐号请点击
帐号创建成功！
我们刚刚给你发送了一封验证邮件
请在48小时内查收邮件,并按照提示验证邮箱
感谢你对微口网的信任与支持
如果你没有收到邮件，请留意垃圾箱 或 重新发送
你输入的邮箱还未注册
还没有帐号请点击
你输入的邮箱还未注册
又想起来了？
邮件发送成功！
我们刚刚给你发送了一封邮件
请在5分钟内查收邮件,并按照提示重置密码
感谢你对微口网的信任与支持
如果你没有收到邮件，请留意垃圾箱 或 重新发送
对不起，你的帐号尚未验证
如果你没有收到邮件，请留意垃圾箱 或
意见与建议
请留下您的联系方式
* 留下您正确的联系方式，以便工作人员尽快与你取得联系下一个时代是氧气的时代。在不久的将来，我们通过无线网络来传输的信息总量就会超过通过有线网络来传输的信息总量。
未来，数据会更多地在每个人的智能设备之间传输，不会回到发射塔、交换机或者“云”里面。到2020年，超过2/3的信息传送距离不会超过1公里。
很多人说：我不会去跟别人分享我的医疗数据，财务数据，性生活。但这只是你现在的观点。今后人们会去分享这些数据，我们现在还处于分享时代的早期。
无人驾驶汽车今后将变成你的新办公室，你用汽车接收的数据将比你坐在写字楼里接收的数据更多。
比特币真正带来的颠覆是一种交流的感觉，而这种交流产生了钱一样的价值。
到2050年，数据量将达到非常恐怖的100万Zetabit。一个Zetabit是1万亿G。接下来这个时代就叫Zeta时代，而在Zeta时代之后，更大量级的信息用什么来描述？英语已经词穷了。我与很多语言学家聊过这个问题，他们都没有答案。面对如此大的信息量，我们甚至没有一个好的数学算法去实时处理数据。怎样利用这些数据，把数据变为有价值的东西？这里面就有很多商机。
不同的商业时代使用不同介质传递信息。早期是铜，因为人们用电缆传输；然后进入硅的时代，硅制造成芯片。我认为下一个时代是氧气的时代。在不久的将来，我们通过无线网络来传输的信息总量就会超过通过有线网络来传输的信息总量。
个人数据才是大未来
未来数据还有一个趋势：如今很多数据都在洲际间通过海底光缆来传输，是地理位置之间的传输。但今后很多数据会留在本地进行处理，甚至以每个家庭为单位处理的信息总量可能会比留在本地的数据总量还要大。再扩大一个层面来说，我们每个人每天都会产生很多数据。在广播时代，观众人数是一个很大的量级，由广播台去触及；到了互联网时代，出现博客和社会化媒体，你成为了一个广播台，可以拥有很多受众，但你传递的信息量比较少，远远不如广播台；后来出现了微信朋友圈，传递给相对少的受众，但信息的总量非常大。我认为未来就是每一个人传递自己信息的时代。
亚马逊那样的大网站有一个节点去控制很多观众，我们称之为“云”；低一层次的就是一些本地的发送站，我们称之为“雾”；而最底层的称为网格，就是我们每一个人作为接收端。我预言，接下来数据会更多地在每个人的智能设备之间传输，不会回到发射塔、交换机或者“云”里面。我们自己就形成了一个小的局域网。到2020年，超过2/3的信息传送距离不会超过1公里。那么像WiFi、蓝牙技术等目前虽然不是电信级别的技术，不是很严肃，利润很低，市场很小，问题很多，但是不是有可能颠覆未来呢？
介入网络的能力重于所有权
另一个颠覆性的技术就是云技术。在一个500人的团体里，信息量是500平方等级的；另一个500人团体的信息量也是500平方等级的。如果这两个团体联网，则能产生1000的平方量级的数据量，远远大于两个500的平方。传统扩大网络很简单，就是把这些小的网络连起来，变成一个更大的网络。扩大网络规模带来的增长是几何倍数的。所以，有一个很大的云，要比你把它分散成很多小的网络的价值更多。从这个互联网角度看，人数越多，你提供每个客户的成本就向零无限靠近，你基本上可以提供一个免费的服务。随着云技术的不断发展，介入网络的能力要比实际拥有的所有权要更重要。由于物权是资本主义的基础，现在我们在颠覆所有权，对资本主义就是一个很重要的事情。
所有生意都是数据生意
不管你现在做什么行业，你做的生意都是数据生意。你关于客户的这些数据，其实跟你的客户对于你来说是同样重要的。数据可以通过网络流转，从一个格式变成另一个格式。数据不应该以它的存储而定义，应该由它的流转来定义。
过去的数据时代，我们使用文件、文件夹、桌面这些东西。进入网络时代之后，数据就出现在网页上、链接里。今天我们用云，用标签、流来比喻数据。对现在来说，文件夹、网页什么的就不是最重要的数据。所有的东西都在我们的数据流里，有信息、有新闻。过去的关键词是我，现在的关健词是我们；过去的关键词是项目，现在的关健词是数据。我们处于整个互联网新时代的第一天，此时此刻最重要的。接下来我们就需要了解如何量化自己，我也一直在参与这样的项目，把我们自身的一些信息去数据化。
我们使用很多设备去进行自我量化。我认识的一些人，会在身上装40多个传感器，不停地检测自己的数据。我曾经跟一个人打赌说，任何一个只要是人类用工具可以测量的数据，都一定在被测量。我们为什么要跟踪这些数据？有健康的原因，社交的原因，提高工作效率的原因。还有很多非常前沿的数据测量工具，比如说有一种工具可以去分析我们呼吸气体里面的化合物，通过分析呼吸来判断你的血液情况。苹果推出的手表也是不停采集你的数据，通过APP进行处理。通过数据分析，我们可以看到哪天的工作效率最高，在那天我们吃了什么，做了哪些事情来提高效率。我们就可以通过这样的方式更好地了解自己，提高生产效率。
现在只是分享时代的早期
现在讨论很热的一个话题就是无处不在的摄像头监控。然而互联网总是希望去监控和采集数据，我们是很难去停止这个趋势的。我们每一台手机上都有一个摄像机，这意味着全球一共有60亿台摄像机。社会化媒体的兴盛，让我们总是不停在报告我们的位置。
我和斯皮尔伯格一起做了部电影叫《少数派报告》，男主角想从一直被跟踪的环境里逃出去，但他发现，他每到一个地方，屏幕上的广告都变成针对他的广告。我们现在谈论艳照门、国家安全局的棱镜，我们都知道自己的数据一直被采集不安全。这些数据我们是无法停止被采集的，我们应该想的是，如何怎么样把采集数据的模式从由某一个机构来掌控，变成你我之间去互相观察。比如，美国的警察带了一个传感器摄像头对市民进行实时监控，那么反过来，市民也可以带这个东西去监控警察对我们做了什么。
个性化与透明度是正相关的。如果你完全把自己藏起来，不对别人分享任何数据，你的个性化也为零。如果你想成为一个有个性的人，就必须向外面展现你自己的数据，把你的信息传达出去。
我们现在还处于传统和前沿交替的年代，很多人说：我不会去跟别人分享我的医疗数据，财务数据，不会去跟别人分享我的性生活。但这些只是你现在的观点。我认为，今后人们会去分享这些数据，我们现在还处于分享时代的早期。
增强现实、新交互界面与视觉跟踪
大家都知道谷歌眼镜，而现在的可穿戴智能隐性眼镜可以直接贴在你的角膜上。可穿戴设备不止是眼镜，它可能变成衣服。我们用它来接收数据，同时也在传递数据，通过各种摩擦跟它互动。我们还给盲人做了一个可穿戴式的背心，上面有摄像头，可以看到前方，通过振动去告诉这个盲人怎么走。
这些就是增强现实，我在大学里学的就是这个专业。增强现实把虚拟的物体跟你看到的真实世界通过某种方式结合在一起，这是很酷的。
新的交互界面，我在《少数派报告》中演示过。汤姆克鲁斯在操作一台电脑的时候，并不是像我们这样敲键盘，而是浑身都用起来去跟一台机器互动。我们身体的每一个部分都应该可以操作一台电脑。如果我要再做一个科幻电影，我绝对不会让电影主角用键盘来操作电脑的，我会让他做一些手势，看上去就是在工作。
此外还有视觉跟踪。它会跟踪你的眼睛看的地方，知道你在看什么。通过视觉跟踪，我们还可以捕捉他的情绪，利用这些技术去跟踪他的眼球，去看他在看哪些内容的时候情绪变化如何，据此去更改我们的内容。结果就是，我们在看屏幕的时候，实际上它也在看我们。我们就可以去根据这样反馈来修改我们的作品。
语音技术也远不止是苹果的SIRI技术，比如说翻译。有一种实时的翻译工具，画面拍的是西班牙语，显示出来就变成了英语。这个是一个我们最后的一个人际交互的一个设想，就是除了前面说的这些，他是一个头盔，你带在头上它会去捕捉你的想法，你可以通过你的想法去操纵电脑。
注意力在哪儿，钱就在哪儿
注意力经济是一个颠覆性的领域，注意力在哪儿，钱就在哪儿。很多人每天都在看邮件，花很多时间在邮件上，它占用我们的时间。于是有人说，你读邮件是应该能拿到钱的，因为你在花时间。如果读邮件都要给钱的话，那读广告是不是更要给钱呢？现在的广告投放模式是花钱投给广告公司，为什么不去直接把钱花在你的用户上，让他看广告就能拿到钱呢？这样我们就可以看这人的关注度在哪儿，然后用钱去买他的注意力，让他看我们的广告。这个人会影响其他的人，有影响力人的就应该给更多钱。
一种新的商业模式是，我们应该有权利去让自己成为媒体，在自己上面放广告去赚钱。比如一些博客的下面会放一个广告，看上去挺酷的，不像是一个广告，而博主能拿到钱。另外人们应该有能力去通过自己去制作广告赚钱。有消费者直接参与的广告制作、直接进行广告宣传，然后通过自己的社会化媒体变成社会化的一个广告。这彻底颠覆了广告行业。
远距离图像与视频技术
远距离图像也是一个颠覆性的领域，比如电话会议、远程医疗。Oculus是Facebook刚刚收购的一家虚拟现实公司，我试过他们的产品，感觉特别好，是一种全浸入式的体验，非常真实。Facebook花了10亿美元去收购这家公司。
除此之外还有各种屏幕，包括可折叠的屏幕。未来的屏，不仅仅是硬硬的一块，我们甚至可以把屏变得跟书一样，可以翻，可以折，里面的内容可变。还有一些没有屏的展示，比如说全息图。全息技术现在不完美，但以后可能也会对我们产生颠覆。我们现在已经不是读书的人，而是读屏的人。屏里面有各种各样的逻辑。
3D打印给我们带来的一个巨大颠覆就是，你以前认为硬件的那些东西，在未来都会变成软件了。3D打印出来的东西其实就是一个图纸，是能够更改的能够传输、修改的，是数据形成的。那么这就是一个跟我们现在谈到的这个各种各样的互联网设备一样，它里面是也芯片的，美国人有一种期望，利用3D打印技术重新让制造业回归美国，但也有一种说法，中国现在是3D打印的领袖。
人工智能是可购买的智慧
苹果的SIRI就是人工智能，你可以跟它对话。但我们看到的大多数人工智能没那么酷，都在后台运行。它可以处理X光片、处理法律证据、飞行问题等等。现在图形处理芯片的进步提升了机器学习能力，有一些机器可以看懂你的照片，告诉你这些照片是关于什么的，还可以跟你进行人际交互对话，目前还处在实验室阶段。
人工智能是你可以花钱购买的一种服务。通过人工智能去创业的公司，需要将人工智能运用到某一个特定领域去增加智慧。比如无人驾驶汽车，其实就是把人工智能的智慧放到车里。它的出现将影响交通状态、影响快递这样的行业和司机行业的人。而真正的革命是：这些汽车今后将变成你的新办公室，今后你用汽车接收的数据将比你坐在写字楼里接收的数据更多。
电子货币是一种交流
钱很重要，但钱现在是一种交流。所有跟沟通性质相同的领域，比如说分享、合作、跟踪、广播、阐述或者是识别，都带有交流的性质。有一种加密的货币叫比特币，意味着这种沟通交流也是加密的。比特币是一种加密的货币，但并不是隐形的货币。电子货币产生的交易都跟沟通一样，是可以跟踪的，其实是一种交流。所以比特币真正带来的颠覆是一种交流的感觉，而这种交流产生了钱一样的价值。
股权众筹的革命
美国现在有450个众筹平台，产生了一些非常成功的项目，它现在变成一个很大的生意，很多钱涌到这个领域。很多人用这个众筹网站并不是为了融资，而是用这个东西去做市场调查，去看看自己的商业计划书会不会受欢迎。最近众筹股权被承认了，这是一个非常大的革命。
如果我们穿越到1980年代，告诉那时的人，30年以后你们会有维基百科，会有今天各种各样很酷的技术，没有人会相信。展望今后20年，也是今天的我们难以想象的。我唯一知道的是，20年以后最伟大的产品，现在还没被发明出来，而你们作为创业者，就要去发明这些东西！虽然现在谷歌这样的高科技公司如此强大而成功，但我只想说，你们现在开始一点也不晚，而现在已经发生的事情根本就什么都不算。
摘自：中欧商业评论
转载请注明来自36大数据（)： &
除非特别注明，本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性，宽容，换位思考的原则。