淘宝Buy+负责人胡晓航：从技术和产品维度看Buy+ VR购物 | 硬创公开课 - 知乎专栏
你正在使用一个过时的浏览器。请以查看此页面。
{"debug":false,"apiRoot":"","paySDK":"/api/js","wechatConfigAPI":"/api/wechat/jssdkconfig","name":"production","instance":"column","tokens":{"X-XSRF-TOKEN":null,"X-UDID":null,"Authorization":"oauth c3cef7c66aa9e6a1e3160e20"}}
{"database":{"Post":{"":{"title":"淘宝Buy+负责人胡晓航：从技术和产品维度看Buy+ VR购物 | 硬创公开课","author":"ycgkk","content":"一年一度的网购狂欢节“双十一”刚刚过去，这不仅仅是购物者的盛宴，也是各种新技术登场的时刻，其中就包括Buy+ 购物。有很多人喜欢网购体验，端着手机、电脑、Pad一页页浏览商品，但也有许多人怀念线下购物，那种和姐妹一起逛街、聊天，拿起一件商品查看标签和价格的感觉。VR购物或许就可以在这两种体验中找到一个中间值，让你同时拥有网购和实体店的体验。Buy+于11月1日在手机淘宝上线，一个可以用VR手机盒子体验的购物应用，带你穿越到世界各地的商场购物，遇到喜欢的还可以直接线上下单。除了这个手机版，此前阿里还公布过通过3D建模打造的HTC Vive VR购物体验。那么，阿里巴巴是怎么做VR购物的？VR购物会成为电商的未来吗？此次公开课我们邀请到了Buy+负责人胡晓航，为你解答所有这些疑问。胡晓航简介胡晓航简介胡晓航，Buy+负责人，负责VR业务的探索。手淘无线技术专家，虚拟互动的负责人，给双十一提供各种好玩的虚拟互动。以下内容整理自胡晓航在硬创公开课上的分享：大家好！我是来至阿里巴巴的宋五，目前负责Buy+和造物神计划。今天从三个维度看BUY+，一是数据、二是愿景、三是技术和产品。Buy+的数据首先简单过一下可以公开的数据。这次的Buy+其实是在11月11日上线的，已经完成了整个购物链路，而不是停留在修demo的阶段了。我们还是想去尝试一下用户对VR购物持有怎样的态度。这次的Buy+其实是在11月11日上线的，已经完成了整个购物链路，而不是停留在修demo的阶段了。我们还是想去尝试一下用户对VR购物持有怎样的态度。从以上数据看出，大家对新鲜事物还是有兴趣去体验一下的。特别值得一提的是Buy+用户的年龄分布，还是以25-29岁的年轻人居多。以后VR的产品可能瞄准的也是这群人。这次整个Buy+完成了三个国家七个场景的购物，商品数的话不多就百级别。想分享的故事就是在家就可以随时随地买遍全球。Buy+的愿景我们对Buy+的定义是探索极致的购物体验，一方面，通过重建购物的环境和商品，利用合理的交互给大家提供比较真实的购物体验；另一方面，通过每次发布的产品去促进整个VR市场的发展，在用户端对VR有更多的认知。所以这方面投入了很多的心血。目前已经尝试了PC的Buy+，在造物节的时候用HTC的VIVE做了两个场景，一个是买包的一个是买内衣的，体验的效果还不错，不过那时候只是一个demo，没有完成全链路。这次的Buy+我们已经把全链路做通了，用户可以在手机淘宝的APP上完成整个购物链路。我们希望用简单的方式，让普通用户有机会体验到VR的东西。当然我们未来还会尝试通过其他的手段，比如Detail AR把东西投影到现实的场景中看他的大小、形状、颜色。还有 Detail 3D去展现全方位的商品详情。我们还在尝试用VR构建线下的店铺，让线上用户对商家更有信任感。Buy+的技术和产品下面聊一聊大家比较关心的技术层面和产品层面的东西。我会通过以下四点展开来说：下面聊一聊大家比较关心的技术层面和产品层面的东西。我会通过以下四点展开来说：一、为什么是全景视频+手机淘宝+Cardboard 首先，为什么用全景视频和Cardboard，并且在手机淘宝上来呈现。因为现在Vive的方案是比较重的，除了VR设备还要买一台PC机，做出来的方案很难有大量的用户能够体验到。这样受众面非常窄，而且我们在造物节上做过一版Vive的体验。这次我们的考虑是让更多的消费者体验到VR，所以我们选择在移动端来实现这次的Buy+。另外，考虑到客户端普及度的问题，我们没有用独立的App去做，而是在手淘上。这样可以让最大的用户群体验到VR购物，不需要下载用户不认识的新App。由于我们希望更广泛的用户体验到VR购物，这也给我们的技术实现带来了很大困难。比如我们选择在手机淘宝App上实现，那么如果用了一个非常大游戏引擎，承载这些内容和交互，那会把手机淘宝App变得非常大。为什么是全景视频？因为如果全用3D方案，建模起来需要时间成本；采用Cardboard而没有用一体机也是从成本的角度考虑。另外，我们送出了20万Cardboard。二、场景建模在全景视频+手淘+Cardboard 的情况下，场景建模我们选择了全景视频，因为成本和时间的考虑。但也出现了一些困难，因为选择了全景视频后，环境的清晰度下降了，空间移动也变得困难。这两块在接下来的商品建模和交互方式方面我也会讲到。三、商品建模商品建模方面，之所以有没用3D模型，是因为受到了交互方式的局限。Cardboard搭配手机，即使是完完整整的3D模型，交互方式也无法发挥3D模型应有的作用。比如，把3D模型拿过来，近距离地看，走动，都不行。所以这些用的是360度环拍的照片，每隔一定角度我们取一张照片。有一个事情工作量非常大，就是在场景中旋转的照片需要把背景变成透明的，起初的时候觉得比较简单，通过绿幕拍完直接抠掉就好了，但实际情况并没有这么理想。所以这部分投入了非常大的工作量。四、交互方式交互方式上，主要只有一个交互方式，就是盯住触发按钮。很多人发现的是其实Cardboard上点击的按键也是可以用的，但我们没有宣传。对于新事物，教用户更多的新交互方式也是有教育成本和风险的，一次教太多，用户反而可能不知所措。因为已经是基于手机+全景视频了，所以交互上没有特别好的方式让你体验到PC上Vive的体验，没法拿着商品，也没法走动。Buy+里标注的商品Buy+里标注的商品不知道大家注意到一个细节没有，采用了全景视频以后，停下来商品总是能标定得非常准确。如果在纯3D的模型里这是非常简单的，但现在是一个视频，要每时每刻都知道物品在哪里，是非常有难度的。假设一个视频每秒有60帧，是60张图片，如果用手工一张一张去标商品在哪里，这个工作量肯定是接受不了的。最后我们尝试了一些方案，碰到过的“坑”这里分享一下：1、图片识别作为技术人员，我们首先想到的是做图片识别。有一个标定的图片，然后跑算法，一帧一帧去算，看每张图片里是不是有你想要的物品。但是这个方案经过讨论以后很快就被否定，也没有去尝试，因为走到每个位置时看到的物品的面都不一样，这给图像识别带来很大难度。而且很多商品在场景中看上去并不是那么大，对图像识别的要求实在太高，按照目前的技术无法实现。2、颜色识别于是我们想到了一个办法，把整个全景视频拍两遍，第一遍正常拍，第二遍在有商品的位置用一个有特殊颜色的物品代替。然后用颜色的识别来取出商品相应的位置；这里有两个难点，首先两次拍摄的速度必须是一样的，另外需要把场景中特殊颜色的位置全部用图像算法抠出来。我们真实尝试时发现了两个问题，一是如果代替物很小，在整个图片中的像素表现是不够的；二是很容易被其它颜色干扰，比如灯光，每个商店的灯光不一样，而且环境中可能会有与物体颜色一样的东西。经过多次尝试后发现，这个方案也是不可行的。因为我们对现场的灯光跟环境基本没有控制力。3、转换坐标系这时我们又尝试了另外一个方案，我们开始拍的时候把视频的第一帧拿出来，所有物体离摄像头的距离都测出来。然后根据摄像头的匀速运动判断商品下一帧会在什么位置。这个方案理论上蛮通的，但实现的时候也遇到很大技术困难，首先是匀速运动的问题，这个用轨道车可以解决。第二点，整个坐标系转化的问题，测量时一个很小的误差会导致坐标系转化（平面坐标转化为三维坐标）产生很大的误差。还有，每个摄像头的参数不一样，这导致每次坐标系转化的参数都要重新通过数据去训练。我们尝试去训练Insta 360的一个设备，最后训练完拿到坐标系的参数，误差还可以。但是后来尝试其它摄像头，发现这个参数是完全不可用的。到此我们的第三种方案也基本可以认为是不可行的。空间移动方案这次我们完成了两个方向的全自由移动，原理也是蛮简单的，我们把一个视频拍完以后，转成一个倒播的视频。只需要在正向走动的时候播正向的视频。3D商品的展示和交互体系3D商品的展现，我们选择了一个蛮实用的方案，就是每个物品环拍一圈，然后每隔一定度数取一张照片，把它形成一个连播的文件。用户进来的时候，就默认先播一圈，但这里也有蛮坑的事情。如果商品和背景需要融合得很好的话，需要把背景抠成透明的。我们做了几百个商品，每个商品都有很多张图片，基本上属于不能完成的工作量。我们通过绿幕的手段，结合一些图片提取的方法让效率变得很高，最终把这件事情完成。刚才提到功能上线在手淘，像这种超级app对包的大小非常敏感，导致我们没法用一些现成的游戏引擎。里面所有UI和交互都是我们自己用Open GL研发的。我们构建了自己的坐标体验，事件的调度体系，UI复用还有粒子系统，动画系统和事件检测机制。Buy+项目的开发投入和内容制作整个项目做了3个月左右，我们做了所有的开发、尝试，在3个国家取了7个场景。最后把场景和Buy+的产品融合起来。各方都是并行开始的，在还没有开发完产品的时候通过讨论和技术的实现就已经定了内容的方案，内容组的同事就已经出发去拍摄了，开发组的同事还在开发，需求偶尔还会有一些变更。可以想像，在这种情况下做出的内容要和系统完全匹配的难度是非常高的。这里不得不提一些拍摄内容的注意点，现在市面上拍摄有两个设备用得比较多，一个是GoPro一个是360，使用场景也不一样。GoPro的货柜间距要求会大一点，大概1点多米，360的话间距小一点，每边是0.6-0.8米的样子。比如拍日本药妆店，货柜放的非常近，因为安全距离的问题很难拍，所以用了360的摄像头，当然360的摄像头肯定没有GoPro那么好。还有拍摄VR视频时建议能用静止就静止，如果一定要移动，就稳稳匀速移动，不然有转弯或不是匀速的话，戴上去一分钟大家就会晕得要死。这就是选择手机上做VR购物引起的问题，现在手机上没有好技术来实现空间移动。由于安全距离的问题，对小商品的细节描述会遇到问题，比如货柜上的手表会看不清楚。最后我们用子场景来解决，也就是走到一个区域时，我们让你进入另外一个场景，这个场景是全景图片，这个时候商品细节表现会好一些。刚才一些注意点好多刚开始定方案时是没想到的，到实际拍时，技术的同学跟过去才发现这些问题，也导致了产品上非常多的一些反复。最后我们大概投入了7、8个市场运营和技术人员完成内容拍摄和后期制作，投入了大概20个开发人员把底层产品开发完毕，可以想像过程有多少紧张。本地开发的适配问题除了工作量跟没有经验可以借鉴外，其实还有一个蛮重要的问题，这次所有开发用的是原生Native，而不是H5的方案。由于双十一所有的产品都要做一程度的保密，所以没办法做大规模灰度验证。因为按以往的开发惯例和经验，Native的东西上线需要做一些线上的灰度，让线上一些真实的用户来发现一些隐藏的问题。Buy+在手淘里的入口Buy+在手淘里的入口既然不能去做线上灰度，如何保障线上技术稳定呢？我们做了几个方面的事情，首先，我们适配了目前70几款主流的设备，保证其在这些设备上的运行是没有问题的。并且每一次改版都需要重新去适配，因为也不知道改版对兼容性会造成什么样的问题，特别是Android，它有4.X、5.X、6.X，甚至7.X的系统，在每个版上的表现是不一样的，适配问题上真的是投入了巨大的人力物力。另外，我们做了很多的降级预案，比如我们把性能比较差的机器直接列入了降级名单，让它看全景的图片，而不是像现在看有标定又有移动的全景视频方案。当然，所有的机型都可以加白名单和黑名单，也准备了很多降级开关，比如万一崩溃比较多，而且是针对某些机型的话，也可以顺手将这些机型降成全景图片，甚至屏蔽其玩Buy+。听起来加白名单黑名单这件事很简单，其实并不是这样。特别针对Android来说，不可能将市面上所有机器都做一轮适配，行的加白名单，不行的黑名单，这个事情是几乎做不到的。白名单的事每年都在提，但根本没多少用处，因为不可能将所有机器都列出来。唯一可能采用的方案就是黑名单，但也有问题，就是只能发现一款加入一款，这样很难确保线上不会出现大面积崩溃。这次我们基本上把Android 4.X以下的机器都降级了。Android上还有部分机器陀螺仪不行，这部分也全部降级了。iOS也不是完全没有问题，如果操作系统升上10.0时也会遇到陀螺仪调不同接口返回的情况不一样。总之，如果采用Native的方案，要保证线上尽量少的崩溃，需要考虑的问题是非常多的。其实到上线的最后一刻，我们还是没有信心说这个东西上去完全没有问题，不会出现大面积崩溃，当然最后的结果验证我们的努力是没有白费的。全链路购物最后一点技术的问题，提一下全链路购物的事情，大部分的VR从业者开发的同学不是特别了解交易链路和支付链路的事情，它其实是一个蛮庞大和复杂的系统。举个简单的例子，做一个商品详情，看上去展现的东西并不多，测试的同学会告诉你这里面有几千个Test Case，大家可以感受一下它的复杂度。当然商品详情这种还算比较简单，如果涉及到优惠价格体系和支付宝链路的话，里面的复杂度不是几个人或者某几个团队可以搞清楚。所以这次开发都有核心的业务团队参与了，比如支付有支付专业的团队帮助开发，支付宝的同学也过来跟我们一起做VR适配。Buy+里的支付环节Buy+里的支付环节即使是这样，其实在完成整个交易链路的时候还是遇到了蛮多问题，比如优惠方案是怎么样的，在Buy+渠道只能有Buy+的优惠，但是你会发现，一旦给了他优惠，在其它地方搜索了Buy+的商品也会有优惠价格。这样种种交易链路上的问题都要一个个去趟开。造物神计划整个造神计划，我们的宗旨是，让新的内容产生得更加容易。目前还是聚焦在3D模型的建模上，只有更好的3D场景和商品，我们才能在VR领域走得更远。所以这次双十一上，我们也借助buy＋重启了造神计划。希望和大家一起把3D建模这件事情做到极致。目前我们推出了3种不同级别的解决方案，第一种是DIVA（Digital Interactive Visual Augmentation数字化交互视觉增强）。目前我们推出了3种不同级别的解决方案，第一种是DIVA（Digital Interactive Visual Augmentation数字化交互视觉增强）。它在手机淘宝上已经开始应用了。核心的技术其实也是通过180轴的转动，拍照片、视频，再提取里面的关键帧，根据陀螺仪的信息显示里面的关键帧，可以大幅度提升商品和用户的交互过程。第二种方案，我们采用的方案是视频扫描方案。这种方案相对于上一种方案的成本可能会高一些。扫出一个商品，价格可能在200-300元左右，为这个扫描我们还是做了很多平台化的事情。比如我们所有的的扫描、贴图、计算、模型计算都把它放在了云端，不需要你去买一个特别好的PC机去承载这些东西。光场方案光场方案最后一种方案，是还在“寓言”中的方案——光场扫描。这个方案对建模难度非常高的商品是有比较好的效果。举个例子说，如果你用3D扫描仪去扫出来的手机可能只能做出iPhone的亚黑色，但用光场的技术去做，可以做出iPhone的亮黑色。这是一个造神计划的邀约链接：，大家有兴趣的话可以一起参与到3d建模中来。问答环节网易游戏工程师：为什么Buy+现在采用的移动方式没有选用VR应用中常见的那种瞬移的方式——就是看向哪个点，就瞬间传送到那个点？胡：如果用瞬移的方式，无论从场景采集的复杂度和眩晕度来讲，我觉得可能都比这种直线移动会好一点，毕竟我在体验的时候觉得，移动过程中加载的那些视频资源挺浪费的，因为我只会盯着地面移动，而且停下来的位置有时离商品很远，不如预设几个点来的好。网易游戏工程师提的方案我们考虑过。我们现在没有用3D场景，但是我们考虑过用全景图片。一个场景一个场景的跳跃移动，这个在我们的降级方案里面用了，我们觉得这个的自由度没有视频的好。视频的移动是去模拟正常的逛店铺的感觉。怎么平衡瞬移和模拟正常移动两种方案的优劣，和如何进一步优化，我们现在也已经有了新的方案会去尝试。云治（Buy+产品负责人）：瞬间移送最好要有模型，纯全景图或视频是没有空间定位的。场景最大的问题在于你要真实感，现阶段比较低成本靠谱的就是全景图和全景视频，缺陷是没有空间定位。如果用场景模型，有了空间定位，缺点是很难建模到照片级别的真实感，或者手工优化成本太大。不过目前我们已经找到同时具备照片质量+空间定位的低成本方案了。三星研究院研究员：1、 “光场扫描“具体什么设备？2 、全景视频拍摄用什么设备移动的？胡：商店里面是轨道车，不能用轨道车的地方就是人的头盔上安装拍摄设备，用电动车。三星研究院研究员：商品的照片级渲染如何能够降低后期人工修正成本，是否可以让广大商家自行增加？云治：在商品方面，商家没有这方面的技术能力的，一般都是找ISV。你们就理解一个最简单的逻辑，商家的商品拍摄通常都是寄给ISV来拍摄的，然后ISV回传素材，商家把素材发布到线上。这样成本、效率、质量都是要考虑的部分。在场景方面，现在的全景店铺还没有到说成本有多少的时候，基本上属于探索阶段，商业的价值还没有说清楚。附：Buy+目前正在招聘VR相关人才，有意向请投递简历至songwu.hxh@。雷锋网原创文章，未经授权禁止转载。详情见。 (二维码自动识别)","updated":"T03:35:14.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"collapsedCount":0,"likeCount":2,"state":"published","isLiked":false,"slug":"","lastestTipjarors":[],"isTitleImageFullScreen":false,"rating":"none","titleImage":"/v2-cf1b4ecb7bf_r.jpg","links":{"comments":"/api/posts//comments"},"reviewers":[],"topics":[{"url":"/topic/","id":"","name":"虚拟现实（VR）"},{"url":"/topic/","id":"","name":"淘宝网"}],"adminClosedComment":false,"titleImageSize":{"width":480,"height":290},"href":"/api/posts/","excerptTitle":"","column":{"slug":"ycgkk","name":"硬创公开课"},"tipjarState":"activated","tipjarTagLine":"真诚赞赏，手留余香","sourceUrl":"","pageCommentsCount":1,"tipjarorCount":0,"snapshotUrl":"","publishedTime":"T11:35:14+08:00","url":"/p/","lastestLikers":[{"profileUrl":"/people/meng-tian-57","bio":"","hash":"b8d4e020af9bc6cd80dc81a7c5aecae1","uid":24,"isOrg":false,"description":"","isOrgWhiteList":false,"slug":"meng-tian-57","avatar":{"id":"da8e974dc","template":"/{id}_{size}.jpg"},"name":"曾经蔚蓝"},{"profileUrl":"/people/lan-lan","bio":"图像处理算法程序媛","hash":"6e3e67ab7a7cfd0b0867","uid":24,"isOrg":false,"description":"这个人很懒","isOrgWhiteList":false,"slug":"lan-lan","avatar":{"id":"e78e622e9","template":"/{id}_{size}.jpg"},"name":"蓝兰"}],"summary":"一年一度的网购狂欢节“双十一”刚刚过去，这不仅仅是购物者的盛宴，也是各种新技术登场的时刻，其中就包括Buy+ 购物。有很多人喜欢网购体验，端着手机、电脑、Pad一页页浏览商品，但也有许多人怀念线下购物，那种和姐妹一起逛街、聊天，拿起一件商品查看…","reviewingCommentsCount":0,"meta":{"previous":{"isTitleImageFullScreen":false,"rating":"none","titleImage":"/v2-dc6aa_r.jpg","links":{"comments":"/api/posts//comments"},"topics":[{"url":"/topic/","id":"","name":"人工智能"},{"url":"/topic/","id":"","name":"算法"},{"url":"/topic/","id":"","name":"深度学习（Deep Learning）"}],"adminClosedComment":false,"href":"/api/posts/","excerptTitle":"","author":{"profileUrl":"/people/ycgkk","bio":"硬创公开课，用技术洞见未来。公众号：硬创公开课","hash":"ba9af5fdb6f04a6a177a674c75731c37","uid":681800,"isOrg":false,"description":"","isOrgWhiteList":false,"slug":"ycgkk","avatar":{"id":"ddfd3aa3f143c","template":"/{id}_{size}.jpg"},"name":"机智的大群主"},"column":{"slug":"ycgkk","name":"硬创公开课"},"content":"编者按：本文内容来自地平线创始人兼 CEO 余凯博士在雷锋网第 100 期硬创公开课的分享。2016 年，在美好理想和残酷现实的夹缝中野蛮生长。当从业者们认为，人工时代是“技术为王”的时代，但面对价格战、商务战、公关战时，技术似乎不再是唯一的信仰。当从业者们认为，手握学术大牛、刷爆各种榜单就能所向披靡时，“AI 产品经理比科学家重要”、“刷榜是没意义的”等反驳性观点也越来越被业内认可。当从业者们认为，招一大批名校博士就可与巨头比划时，虚高的薪水和拿不出手的产品让企业不得不开始考虑性价比的问题。雷锋网第 100 期硬创公开课特邀余凯博士为大家做了一期以《人工智能的冰与火之歌：回顾 2016，展望 2017》为主题的公开课，分享了他对今年 AI 现象的看法以及对未来的展望。嘉宾介绍：余凯，地平线机器人创始人兼 CEO，前百度研究院执行院长，曾领导百度深度学习研究院( IDL )、多媒体技术部（语音，图像）、图片搜索产品部等团队。2012年以来，余凯创建百度IDL，发起和领导了百度大脑、百度自动驾驶等一系列项目，并连续三次荣获公司最高荣誉——“百度最高奖”。余凯发表的论文被引用超过 11000 次，获 2013 年国际机器人学习大会( ICML )最佳论文奖银奖，曾任 ICML 和 NIPS 领域主席。他于 2011 年在斯坦福大学计算机系客座主讲人工智能课程，还曾率队于 2010 年获得首届 ImageNet 评测世界第一名。公开课内容1. 雷锋网：2016 年 AI 圈最让你记忆深刻的几件大事 ？AI 计算硬件：英伟达的股票在一年时间内从 100 亿美金 500 亿美金，震惊业界。背后的原因是处理器架构因为人工智能的需求正在被重新定义，Google 也推出 TPU 来做 Inference，除此之外，包括地平线机器人在内的不少公司正朝着这个方向去探索。算法层面：如生成式对抗网络等算法的突破性进展，使我们看到除了CNN、RNN、LSTM，技术还在不断推陈出新，让这个行业变得越来越有意思。开源平台：今年开源平台体系在不断成熟，如 TensorFlow、Caffe 等，特别是由中国学生发起的MXNet成为亚马逊 AWS 官方训练平台这件事，很了不起。AlphaGo 事件：改写全社会从街头百姓到政治对人工智能的认知，实现了大家均认为不能实现的事情。人才流动：Hinton的得意门生、CMU 副教授 Ruslan，最近耐不住寂寞加入苹果，担任苹果人工智能研究总监。斯坦福大学李飞飞教授也加入谷歌。2. 雷锋网(公众号：雷锋网)：今年人工智能行业相比于去年有哪些宏观和微观的进步？我感触最深的是从
年这十年间，是深度学习的普及和推广期，其在很多应用中取得突破性进展。但所有成果均为感知方面的东西，如图像识别、等。而从今年开始，最大的不同像 AlphaGo 和自动驾驶等人工智能系统开始从感知过渡到决策。这些系统基于对这个世界的理解，从而主动优化它的决策机制。因此从感知到决策是最大的变化，人工智能只有做决策才能真正改变世界。我认为在未来的 10 年里，怎么优化地去做决策是人工智能的重点课题。3. 雷锋网：为何成立 OPEN AI LAB；为何选择做嵌入式人工智能？历史上技术创新和商业模式的创新都是相伴相生的，我们也看到，开放总是会打败封闭，怎么打造良性的产业生态是我们非常关心的。因此最近地平线和 ARM、安创空间、全志联合成立 OPEN AI LAB，我们希望把技术向半导体厂商、开发者开放，大家一起去定义嵌入式人工智能的标准。至于为何要做嵌入式人工智能？过去推动人工智能的核心要素可以概括为大数据、大计算、大平台：其在互联网和云端做人工智能的技术与服务。如果朝更远的方向看，我们会发现除了从云端部署人工智能，其实很多场景下急需在设备端部署人工智能，使这些设备具备环境感知、人机交互、决策控制的能力。以自动驾驶为例，如果有孩子横穿马路，当自动驾驶系统感知到之后，需要把信号传送到云端再做决策，假如当时网络不稳定的话，结果是不可想象的，因此我们需要本地计算去做实时决策。创业公司做项目一定要选择大公司不大容易进入的维度，BAT 在数据、人才、资源、服务方面的势能，创业公司很难去挑战。但本地低功耗人工智能计算不是他们的强项，也不是他们的业务重点。另外我认为创业一定要选难度较大的事情去做，嵌入式人工智能需要把软硬件结合，并重新定义处理器架构，这是非常复杂的工程。这项任务虽然困难，但我认为只要达到这样的维度才能构建宽广的护城河。我们希望把嵌入式人工智能构建成一种开放生态，使其未来在端上产生很多创新，让意想不到的创新点在此发生：开放式生态可以把许多想法从一个创意变成产品，而这些想法和产品又会反哺地平线。4. 雷锋网：您觉得在 IDL 和创业最大的区别在哪儿？无论在 IDL 还是在地平线，对我而言其实都是在创业和创新。当年我从国外回到北京，创立百度深度学习研究院，最初其实也是在做一件很新的事，当时国内没有一家机构在做深度学习，因为它很小众。初期我们被很多人质疑为什么要投入这么大的精力去做这么窄的方向。然而在今天看来，这个很小众的事情已经成为很多人都在关注的主题，整个世界也因此而改变。地平线机器人实际上也是在做一件很小众的事情，我们不在云端、服务器、GPU 上做，而是在嵌入式中去做人工智能，这也是件很小众的事情，然而在我看来把一件事情从小做大是很让人着迷的。小公司相比于大公司资源确实十分匮乏，但实际上地平线的目标却比我在百度期间的目标还要大，我们不是服务一个公司，而是撬动一个产业，这个挑战难度比以往大了几个数量级。在创业公司坐事情的难度体现在方方面面，比如招聘，百度有着成熟、强大的 HR 体系支持我做这件事情。而小公司往往没什么名气，如何吸引顶级人才加入也是一件难事。此外还有很多琐事和细节，我们每天都在做非常具体的事情，但这又是很理想主义的事情，纵使挑战难度很大，但这也使得人生更有意义。5. 雷锋网：根据你在大公司研究院和创业公司的招人经验，分享下在 AI 团队的招人心得。在美国和百度时，招聘是我每天需要面对的事，因此我自身有着相当多的经验。另一方面，在地平线我们也在积极吸引优秀人才的加入。吸引人才加入是一件很有挑战的事情，因为现在人工智能人才还是比较稀少，我们做的事情又比较难，而且又是一条长线征途，所以有些人不理解我们的方向，我们做的事情在他们看来是既小众又没那么容易变现的事。我遇到一些从事人工智能算法的同学，他们有几年深度学习经验就迫不及待地想改变世界，所以不太愿意去做一些偏长线的事情，但他们没有意识到真正有价值的事情都是困难的事情、有壁垒的事情。所以我经常告诉他们创业是一场艰苦的修行，而不是一场 Party，如果艰苦的修行走下来，无论是在路上还是在山顶上，那种满足感和成就感都是无法比拟的。当公司做的方向跟主流方向不一样时，这种情况下吸引来的人才是极为难得和特殊的，因为他们是经过自己冷静思考来做事情，这批人往往是推动公司上下做一番事业的人才。地平线确实非常有幸，在很短的时间内招到了顶尖人才：包括算法、软件系统专家、硬件专家。我在百度时领导的团队平均年龄是 26 岁，而地平线工程师平均年龄是 32 岁。因为我们是非常偏技术的公司，确实需要非常资深的人加入。6. 雷锋网：“现在最缺的是AI产品经理，而不是研究大牛”，你认同这句话吗？对于一个商业公司来讲，算法人才和产品经理同等重要。这里我要强调一点，何为研究大牛？我认为研究大牛的特质是“要有自己的思考和深厚的积累，他能够持续的创新”。其实能创造性地做出世界级成果的人是非常稀缺的，在国内我认为只有 5 到 10 人才能达到这个标准。一个算法人才普遍学习过 1-3 年的深度学习、会用开源平台去训练模型，即使是这样的人也不多，而这些人更谈不上是研究大牛。所以我认为研究大牛是一种很稀缺的人才。当然，AI 产品经理也非常重要，因为他定义需求。如果造出来一个东西技术水平高，但不能解决实际问题，技术再高也没有实际价值。因此我们在创办一个商业公司，AI 产品经理也十分重要。7. 雷锋网：外界有一种说法，大致是目前各个To B的人工智能公司之间技术差距相对较小，因此很多时候销售和商务团队决定了公司的命运。你怎么看待这个说法？这个问题正中行业要害。从目前来讲，绝大部分人工智能创业公司都是在基于 GPU 这样的计算平台和在基于 Caffe、TensorFlow 这样的开源平台用比较成熟的模型结构来训练，然后做一些解决性问题和 Demo，差异化确实不明显。基于现在的开源模式来做创新，在算法方面壁垒确实也不高。所以这就导致在一些标准问题里各家的效果都差不多，技术差距也并不大。这里面的核心原因之一就是中国人工智能原创性技术太少。最近大家在说中国 AI 的人才、技术储备、研究、创新都有优势，这个观点我不太认同。实际上，国内学生在已经讨论出解决办法的情况下去做拿竞赛、刷分，这方面我们很擅长。但真正做出 AlpahGo 这样的创新，咱们还差些火候，而且国内也缺乏孵化这种创新的土壤。今年深度学习原创性的基础研究在大步向前发展，然而我几乎没看到哪些进步是国内产生的。另外一方面，商务和销售确实非常重要，因为只有把技术和具体应用场景拉近才能产生价值落地。技术研发也一定要有差异化，这种差异化如果只是做研究，只是去 Follow 开源平台等这些大家都在讨论的事情，这是很主流的做法，如果你一定要关注主流算法，潜台词就是你已经放弃了差异化。因此你一定要深入特定的问题，深入解决那个场景下的各种限制条件，去针对性地提出特殊的方法解决实际需求，这是让你更有差异化的途径。科学家创业需要对商业和实际需求抱有充分的敬畏之心，商务和销售团队也并不至于决定公司的命运，关键在于团队之间的配合。商务和销售比较看重眼前需求，对技术趋势缺乏准确预见，而一个公司要走得长远，还得看清未来技术发展趋势。8. 雷锋网：不少欧美 AI 初创公司最终卖给了谷歌等巨头，但国内这种情况很少，你怎么看待这一现象？人工智能作为一个新的产业方向，早期都处于探索阶段，初创技术公司独立存活的概率并不高，所以会选择被大公司收购，这是一个较为明智的做法。国外工业界和技术创新生态比较健康，大公司愿意付出成本为前沿性技术做人员收购，而且在不考虑成本的情况下。而国内很少有大公司愿意为技术和人才收购付出很好的溢价。其实每个公司被收购都有一个内在逻辑：这些公司不是范范地提供通用技术，而是在某个维度有着一定的独特性，如 DeepMind 不仅在做深度学习，还将深度学习与增强学习相结合然后应用在围棋、游戏等场景。这背后的逻辑，我认为很大程度上是文化原因。国内公司更愿意用高成本去挖人，而不愿为独特团队或知识产权付出高成本。我希望这个现象能发生改变，出现更多出于对人才和知识产权的收购。大公司如果能够意识到这点，我觉得能够对国内技术创新产生非常正面的影响。9. 雷锋网：目前全球人工智能的投入产出比似乎并不是很高。我做个假设，如果资本市场耐不住寂寞，开始缩小对人工智能领域的投资，你认为今天这种水平的人工智能到底会凭借顽强的生命力走到走到黎明，还是进入下一个寒冬？人工智能产业仍处于早期阶段，重大应用场景还在不断摸索，产出的确非常低。但如果回到“.com”时代，你会发现当时的商业模式也是探索了很长时间。资本市场确实有追逐短期回报的现象，所以明年下半年到后年，即便整个 AI 投资市场趋冷也并不奇怪。AI 行业与“.com”时代一样，即便是趋冷，但也不会影响到整体的趋势。因为 AI 确实在推动产业发展，实实在在创造价值，它不会进入一个万劫不复的寒冬。10. 雷锋网：不少人提到人工智能泡沫的说法，你认为现在存不存在泡沫？实事求是的说，如果按照投资机构的计算方法，AI 泡沫是一定存在的。AI 创业公司确实估值比较高，而且市场进展也并不尽如人意，到明年或后年一定会有所变化。从长期趋势来看，适当泡沫纯属正常，就像啤酒有泡沫味道才更好，正是因为泡沫才让各公司都有机会去登上舞台。不论怎样，大家亮个嗓子，在舞台上唱一下。我也经常跟投资人聊这个事，经过观察国内十几年的产业周期发现：以往多数项目均为 2C 产品，都是以产品创新和微创新为鲜明特征。中国没有经历通过技术创新为主的经济增长模式，而硅谷等地已经历过好几波技术创新，这在中国很少见。中国大部分投资机构和创业者，并不善于技术类投资以及做 To B 这种生意，所以大家还不太习惯对这类公司进行估值。我们一谈到投资和创业，永远面对新的产业方向，然而在面对新的产业方向即便是海外专业投资公司也不一定看得准，所以也能看到像投资 MagicLeap 这样的新型公司都是有争议的。11. 雷锋网：当下很多投资机构和媒体都把人工智能捧在手里，你认为这会推动 AI 更快发展，还是过度溺爱会让它堕落？ AI 从纯技术和纯学术话题转变为全社会讨论的话题，使得专业的声音很有可能被淹没，这是我所担心的。投资机构和媒体的所有动向都会影响到产业的发展，AI 从业人员却难控制。AI 在内部环境受到 VC 和媒体的万千宠爱，但外部的环境是很残酷的、理性的、不相信眼泪的。在这种情况下，企业应保持冷静，抓准切入的点，保证服务价值从而构建自己的护城河。整个行业的发展一定是由理性驱动，一定是由实实在在的需求和价值来驱动，因此我个人并不是特别担心投资机构和媒体过多溺爱这个行业从而致其堕落。当然，大浪淘沙一定会有所选择，真正能够平心静气把创业当作艰苦修行而非豪华盛宴的创业者会走到最后。12. 雷锋网：对 2017 年人工智能行业的格局和发展做个展望和预测。我对 2017 年充满了期待，希望这几大方向有着一定的进展：希望人工智能处理器硬件行业会有大的突破。算法上继续持续创新。应用场景上的重大突破：如医疗、自动驾驶、智能家居等。从整个创业投资角度讲，明年下半年 VC 应该会更加冷静、理性地思考，这里并不是指降低投资力度，而是聚焦投资范围。同时对未来发展方向和路径会考虑地更加清楚，把资本注入重点方向和具有价值的团队。群友问答环节 ：1.怎么看待近期谷歌无人车事业部拆分成独立公司？这个案例可否理解为自动驾驶已经遇到天花板了？从百度到地平线，我都做过自动驾驶的事情。根据我自身观察，谷歌无人车事业部拆分这件事一点都不奇怪。谷歌一直存在几个严重问题：商业策略：谷歌没有思考清楚商业模式，到底该提供整车，还是成为技术服务商、供应商。技术路线：谷歌的计划很激进，想一步跨到不需要方向盘的无人驾驶水平。事实上谷歌的虽然目标很大，但技术路线较为很保守，导致目标与技术路线并不匹配。谷歌无人车是基于高精度地图的自动驾驶方案，该方案有很大局限性，需要事先对整个环境做出全面感知，这使得其在处理不确定性事件方面有所欠缺。这种不确定性体现在长尾情况，而不是常见情况，而在长尾挑战层面，谷歌在技术线上没有很好地去处理这个问题。2.如何看待近期比较热的强化学习和迁移学习，他们在应用方面的发展现状怎么样，以及所面临的挑战？强化学习现在面临的主要挑战是怎么 Handle Long-term Dependence 的问题，如果最后它 Reward 很长时间才显现，它怎么去影响当前的 Policy ，是一个很大的问题。强化学习的代表 AlphaGo 实际上运用了巧妙的方法如 Learning From Experience 去下围棋，这一点很有意思 。那么未来如何在理论上有一个优美的框架，我觉得还是挺值得探讨的。另外，强化学习的框架相对而言是一个比较黑箱的系统，这与感知不同，在感知方面黑箱一点也可以，但在决策上一定要用白箱的、可理解的方式去做，尤其是自动驾驶领域。关于迁移学习这一问题，其实深度学习、天然就拥有迁移学习的特性，比如用 ImageNet 去训练网络结构，实际上它的很大一部分参数在其他问题上可以复用。在参数领域的迁移学习，大家都搞的比较清楚，但在结构方面的迁移学习，现在还并不太清楚。结构反映了更高层的学习问题，基于模型结构的迁移学习将会是下一个热点。3.您对哪个深度学习开源平台在 2017 年的发展有比较大的期待？谷歌依靠自己强大的号召力推动了 TensorFlow，鉴于其强大背景，使得它在明年仍旧很值得期待。而在近期被亚马逊选为官方平台的 MXNet 同样值得期待，MXNet 是一个更加开放的中性平台。如果想深入开发技术、开发原创新技术、追求技术自主性的话推荐用 MXNet。从生态层面讲，如果整个人工智能的开发都基于 TensorFlow，这对生态的健康有着负面影响，容易被一家公司垄断，将会影响到产业链的方方面面，如处理器和应用等方面的部署。除此之外，也推荐大家使用我在百度期间孵化的“亲儿子”百度 PaddlePaddle。4.基于的公司未来会越来越多，算法、平台、产品、市场中，哪方面更可能成为一家成功公司的核心竞争力？我先下个结论：最不容易成功的是基于纯算法的公司，主要原因是壁垒低。现在新的开源创新方式使得新算法不断冒出来，基本上每个小时都在创新，如果一个公司的核心竞争力基于聪明程度，这很不靠谱。这个世界上永远比你更聪明的人，而且很多。无论是平台还是产品，其核心竞争力在这两方面：巨大的市场需求足够的差异化和独特性，不可复制性满足这两点，你的产品和解决方案或服务才拥有核心竞争力。","state":"published","sourceUrl":"","pageCommentsCount":0,"canComment":false,"snapshotUrl":"","slug":,"publishedTime":"T10:30:42+08:00","url":"/p/","title":"人工智能的冰与火之歌：回顾2016，展望2017（余凯）丨硬创公开课","summary":"编者按：本文内容来自地平线创始人兼 CEO 余凯博士在雷锋网第 100 期硬创公开课的分享。2016 年，在美好理想和残酷现实的夹缝中野蛮生长。当从业者们认为，人工时代是“技术为王”的时代，但面对价格战、商务战、公关战时，技术似乎不再…","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentPermission":"anyone","commentsCount":0,"likesCount":0},"next":{"isTitleImageFullScreen":false,"rating":"none","titleImage":"/v2-aba1e8ee75ecc078cedfbc8_r.jpg","links":{"comments":"/api/posts//comments"},"topics":[{"url":"/topic/","id":"","name":"计算机病毒"},{"url":"/topic/","id":"","name":"网络安全"},{"url":"/topic/","id":"","name":"信息安全"}],"adminClosedComment":false,"href":"/api/posts/","excerptTitle":"","author":{"profileUrl":"/people/ycgkk","bio":"硬创公开课，用技术洞见未来。公众号：硬创公开课","hash":"ba9af5fdb6f04a6a177a674c75731c37","uid":681800,"isOrg":false,"description":"","isOrgWhiteList":false,"slug":"ycgkk","avatar":{"id":"ddfd3aa3f143c","template":"/{id}_{size}.jpg"},"name":"机智的大群主"},"column":{"slug":"ycgkk","name":"硬创公开课"},"content":"熟悉雷锋网的读者可能知道，一个月前，我雷好几个读者爆料：本来一路心情愉快地去上班，开机却遭遇突发异常状况——昨天下班前电脑还好好的，今天突然开机之后电脑突然很卡，我并没有在意。结果等了一会，突然浏览器自动打开，弹出了一个勒索界面，告诉我所有的文件都已经被加密了，只有点击链接用比特币交付赎金之后才能拿到解密的密钥。有几个读者反应是这样的：A：赎金要一万多，如果老板逼我，我就准备辞职了（你辞一个试试）。B：还是有很多重要资料的，缴纳赎金吧，就当几个月工资喂了狗（无辜的狗狗到底做错了什么）。B：咦，赎金怎么缴纳？怎么买比特币（探索到海枯石烂）？C：呜呜，求高手反攻解密（坐等到天荒地老）！看到这篇文章的你，是不是不想遇到这样的惨剧？勒索木马在天朝已经屡见不鲜，为了让更多无辜读者完美躲避勒索木马的袭击，本期雷锋网(公众号：雷锋网)宅客频道（微信ID：letshome）邀请了360反病毒小组负责人、拥有长达9年恶意软件查杀经验的王亮来解密勒索木马。嘉宾介绍王亮：360反病毒小组负责人，拥有长达9年的恶意软件查杀经验，是国内最早追踪敲诈者病毒的安全专家之一，目前已经带领团队拦截到超过80类敲诈者病毒变种。问答精华回顾一、与勒索木马斗争的辛酸史1.勒索木马层出不穷，雷锋网也活捉过好几次勒索木马的受害者，想问问上次您被拖到群里和勒索木马受害者面对面是一种怎样的感受？王亮：一直以来做的分析工作都是针对木马病毒的，更多的是一种技术性的工作，并没有太多感情因素在其中,但通过与受害者的沟通，才真切感受到他们的无奈与无助，也更加坚定了我们与木马对抗到底的决心。那段时间挂马中招的反馈确实比较多，当时是想尽快了解一下具体情况。联系确认后，发现受害者主要是因为使用了某款没有升级的flash插件的浏览器，访问挂马页面而中招。用户在操作上并没有明显过错，只是由于访问的站点自身存在问题，使用的浏览器又没有及时更新最终造成这个结果。这里也想提醒大家，此类木马威胁离普通网民其实很近，可能一个不经意的操作就会中招。之前我们接到过一个反馈，一家公司的职员，计算机中一直没装杀毒软件，周末时还没有关闭计算机。当他周一来公司时发现他计算机上的文件和一台文件共享服务器的文件全部被加密。我们协助追查发现，是它机器上安装的一款视频工具软件，周末时弹出了一个广告，而这个广告恰巧被植入了flash漏洞攻击代码，结果在他没有任何操作的情况下，机器上的文件被木马加密。很多时候，用户甚至没有什么感知的情况下就中招了。2.这类受害者每年大概有多少？干这个勾搭的黑帽子群体大概有多少？王亮：今年上半年我们拦截的敲诈者攻击超过 44 万次，下半年由于国内挂马攻击的出现，曾经出现过单日拦截敲诈者木马超过 2 万次的情况，敲诈者木马的攻击规模还在不断刷新。目前我们抓到的敲诈者的各类变种超过 200 种，积极传播与活跃对抗的就有8个家族。根据样本行为、代码分析、攻击溯源看，攻击者来自国内、俄罗斯、日韩、美国等地，参与其中的黑产组织至少有几十个。另外，从制作门槛上来说，敲诈者病毒的制作门槛并不高，各类加密算法都有现成的源码和库代码可以使用，只要对其原理略知一二就可以做出一款简单的敲诈者。而网上也有很多公开的勒索软件源码，对其做一些修改就能做出一款可以使用的敲诈者病毒。高利润低门槛，使得敲诈者病毒的制作团体越来越多。3.勒索木马到底是什么时候出现的？迄今为止有多少主流版本？王亮：此类木马有十多年历史，之前的敲诈方式是加密或者隐藏文件后要求转账或者购买指定商品，传播量和影响力不高。最近流行的比特币敲诈者其实在 2014 年就在国外流行了，到 2015 年大量流入国内。在国内大量传播的主流敲诈者家族就有 CryptoWall , CTB-Locker ,
TeslaCrypt ,
CryptXXX ,
xtbl 等多个家族，每个家族在传播对抗过程中又产生有多个分支版本。目前捕获的敲诈者木马超过200个版本，传播量和影响力都非常大。4.听说你拥有长达 9 年的恶意软件查杀经验，想听听你和勒索木马的斗争经验。王亮：多年前制作病毒木马还有炫技的成分存在，现在市面传播的木马全部是利益驱使，互联网上哪里有利可图，哪里就有搞黑产、赚黑钱的网络黑手。敲诈者病毒也不例外，国内中招比较早的一批受害者是外贸相关的企业和个人。攻击者发现能从国内赚到钱之后，也开始专门针对国内进行攻击，同时因为这一木马知名度的提示，也带动了一批黑产人员加入到敲诈者病毒的制作和传播中。以比特币为代表的各类匿名支付手段，也给敲诈者勒索赎金提供了方便，造成现在敲诈者木马家族多，变种多的情况。随着信息化程度越来越高，不管是企业还是个人，对于信息系统的依赖度也越来越高，而勒索软件的主要危害就是破坏信息系统中的数据资源。企业个人的信息化程度越高，危害也越大。前两年，这一波敲诈勒索木马刚刚兴起时，因为主要在国外传播，木马的演变主要也是针对的国外的杀软。那时我们可能只需要几个简单的技术手段，就能很好的查杀和防御这类木马，那时我们已经意识到，攻击者可能很快就会发现在中国也是有利可图的，会转过来专门攻击我们。在敲诈者木马刚刚开始在国外流行时，我们已经在实验我们的防护策略和手段，当时我们测试过对文件做备份，对文件写入内容做检测，对文件写入方法做检查，对数据操作流程做检查等十多种方案。这中间有过不少尝试，比如刚刚测试文件格式拦截时，发现会误报发票打印程序，后来研究发现有些发票打印程序会改图片格式。我们测试备份方案的时候，发现磁盘IO太高，性能上划不来。我们就在这中间不断尝试，最后将其中比较有效且消耗合理的方案应用到了我们的产品中。很快 2015 年就开始出现专门针对国内进行传播免杀的敲诈者木马，而且很多木马刚刚出现时都是免杀全球杀软的，在 VirusTotal 上扫描都是 0 检出的。我们之前已经准备了一套可行的防护方案，所以即使在引擎无法检出的情况下，仍能识别攻击保护数据安全。在这个对抗过程中，我们根据木马的传播特点和行为特征又补充增加了多个拦截方案。比如针对挂马传播，即使用户没打补丁，我们的引擎没检出，但在文件落地时我们仍然能将这类恶意程序报出，多层防御使我们有一个很高的拦截成功率。到 2016 年，这个木马已经开始在国内大范围传播了，很多普通用户计算机因为访问挂马网页也造成感染。我们在今年 8 月开始推出“360 反勒索”服务，给用户承诺，开启这个服务后，如果正常开启我们的防护功能，仍然被敲诈者木马感染的话，我们帮用户支付赎金解密文档。这个服务刚开的时候，我们压力还是很大的，当时一个比特币 4000 多人民币（现在已经涨到 5000 多了），我们承诺给用户最多赔付 3 个比特币，也就是 1.2 万。当时一天对这个木马有 1 万多次的拦截，如果没防住，可能一天就得赔出去几十万上百万去。我们陆续开始收到一批批反馈，结果发现中招用户很大一部分是裸奔用户，一直认为杀毒软件无用，平时机器都是裸奔状态，结果中招了，后悔莫及。也有用户给我们提了不少建议，比如前不久有一位用户说：“那个木马确实拦截了，但是没看出来我们拦截的这玩意会加密他的文件”，所以他就给放了。用户给我们的反馈，也帮我们完善了产品，保护了更多用户不受伤害。只要这类攻击仍然有利可图，这些攻击者就会继续对抗下去，我们和他们的攻防战争就不会停。
二、你长了一张被勒索木马敲诈的脸1.勒索木马有针对特定国家感染吗？国内和国外诞生的勒索木马有什么不一样？王亮：有部分勒索木马是针对特定国家的，比如， Cerber 会避开俄语国家，XTBL主要针对中日韩。国内和国外的勒索木马很多是使用相同的技术手段，只是在传播方式和渠道上有所不同。不过国内出现过一些比较“本土化”的勒索木马属于黑客新人练手的作品，可能会显得比较另类，有些甚至留下QQ号敲诈Q币，这些木马很多并没有使用规范的加密方式，很大一部分可以通过技术手段破解。比如，这款敲诈者就将密钥保存到了本地，详情请见：这里还有一个 php 编写的敲诈者，为了能够正常执行，本地还带了一个 php 的执行器，但是在加密上其实只是进行了异或操作，留给用户的信息谎称使用的 RSA 结合 AES 加密，详情请见：2.勒索木马到底是怎么瞄上受害者，又成功潜入受害者的电脑、手机……的？真的有人长着一张受害者的脸吗？王亮：勒索木马主要的传播途径有两种：一类是通过网页挂马，这类木马属于撒网抓鱼式的传播，并没有特定的针对性，这类受害用户主要是裸奔用户，常年裸奔自认为很安全，哪成想一不留神打开一个网页甚至什么都没做就中招了。而另一类则是通过邮件传播，这类传播方式的针对性较强，主要瞄准公司企业，各类单位和院校，他们最大的特点是电脑中的文档往往不是个人文档，而是公司文档。这样文档一旦被加密，其损失往往不是个人能够承担的，无论是员工为了保住饭碗还是公司为了保住业务，都会更倾向于交付赎金减少损失。另外，有别于以上两种途径，最近第三种传播途径又逐渐形成趋势——服务器入侵。黑客通过一些技术手段进入服务器，然后加密服务器上的文档和程序，使服务器的拥有者遭受巨大的损失，这类传播途径针对的情况与邮件传播类似，最终目的都是给公司业务的运转制造破坏，迫使公司为了止损而不得不交付赎金。3.可以图文详解一下他们的加密技术吗？王亮：一般来说，敲诈者的加密流程如下：1. 生成一组随机数，用于文件加密的密钥。2. 使用这组随机数做为密钥，加密文件。3. 通过非对称加密，加密这组随机数，并保存，解密时使用。4. 保存使用的非对称加密密钥相关信息，以备解密时核对使用。敲诈者对文件的加密强度，很大程度上就是其使用加密算法的“正确程度”。敲诈者木马常犯的几个错误有：1. 随机数生成不随机，我们就可以绕过整个繁琐的过程，直接对文件解密。2. 错误的存储密钥和 hash 值，依靠这些错误存储的hash值，我们可以加快破解流程到一个可接受的范围内。3. 错误的套用加密算法和保存数据。这也是一个很常见的问题，比如使用RSA时，有木马将p和q直接存储到了本地，造成 RSA 的安全性丧失。4. 文件操作是否合理。比如有木马直接通过写入一个新文件，删除老文件的方法，进行加密。此时通过文件恢复工具，能够恢复部分文件。以最近捕获的“ XTBL ”样本为例进行分析，解释一下这个过程。和大部分敲诈者木马相似，“ XTBL ”敲诈者木马解密数据段的数据，创建本进程另一实例作为“傀儡”进程进行进程替换，以达到运行 shellcode 的目的。程序主要由五大功能模块组成。包含 API 字符串的解密及地址获取，启动项的添加，删除卷影，发送服务器信息以及加密文件。五大功能模块API 名称加密与动态获取地址，是为了对抗杀毒引擎的查杀，对于纯静态引擎来说，纯 shellcode 的恶意代码就是一个黑盒，这样可以多到一定程度的免杀。加密前写入启动项，是为了防止加密过程中关机，下次开机后可以继续加密，如果加密完成，这个启动项会被删除。在进行加密之前，程序会删除卷影备份。防止用户通过系统恢复来恢复数据。值得一提的是，“ XTBL ”敲诈者使用管道来传递命令行，这和“ Ceber ”系列敲诈者使用方法相同，而通过“ mode con select=1251 ”命令行设置 MS-DOS 显示为西里尔语可能与作者来自俄罗斯有关。完成以上准备工作之后，程序产生两组密钥块，其中一组用于本地文件加密，另一组用于网络共享资源文件加密。产生两组密钥密钥块大小为 184 字节，前 32 字节存放 RC4 加密后的随机数密钥，该密钥用于之后加密文档。为了加强随机数的随机性，程序以系统时间作种生成随机数作为循环次数，每次异或地址 0x4326F0 的值与系统时间后求其 SHA-1 值，并将最终所得随机数经 RC4 加密得到密钥。产生RC4加密的随机数密钥密钥块第 33 字节起存放系统序列号，用作服务器的唯一标识符。之后的 128 字节存放 RSA 加密后的随机数密钥，而 RSA 公钥的 SHA-1 值则存放在最末端的 20 字节中。密钥块生成过程密钥块分布图密钥块产生之后，程序会将密钥块中部分内容以及其他系统信息以 POST 的方式发送至黑客的服务器上。每个字段的标识及参数值如下表所示。发送的数据除了在加密文件之前发送数据，在加密完成后也会再次向黑客服务器发送数据，两者用函数最后一个参数作区别，当最后一个参数为 0 时表示即将进行加密，为 1 时表示加密完成，参数不同带来的结果是 POST 数据的目的地址不同。两次发送数据之后程序开始进行加密，由两个线程完成加密工作，其中一个线程枚举网络资源并对获取的共享文件进行加密，另一个线程加密本地文件。枚举网络资源并加密加密本地文件的线程中，通过枚举磁盘中的文件并判断文件后缀来确定需要加密的文件路径，完成文件路径的确认后，程序开启四个子线程进行加密。由于父线程负责传递文件路径给子线程以及开启子线程进行加密，如果只创建一个子线程进行加密，当子线程由于某些原因无法返回时，父线程将无法继续执行下去，这会导致父线程无法传递下一个文件路径并且无法再创建新的子线程。而开启四个子线程进行加密时，只需保证其中一个线程正常返回即可继续下一轮加密。开启四个线程进行加密加密的第一步是判断文件大小。当文件大小大于 0x180000 字节时，直接对文件内容进行加密，并将文件重命名；当文件大小小于等于 0x180000 字节时，则创建新文件并加密旧文件内容后写入新文件，之后删除旧文件。根据文件大小选择加密方案之后程序使用之前生成的随机数初始化 AES 密钥，加密文件内容。加密完成后需要在文件尾部写入信息，以供黑客解密文件时使用。对于大小小于等于 0x180000 字节的文件，按照如下图所示的方法在文件尾部写入信息。文件大小小于0x180000字节时写入文件头的数据对于文件大小大于 0x180000 字节的文件，按照如下图所示的方法在文件尾部写入数据。文件大小小于0x180000字节时写入文件头的数据至此，加密完成。被加密的文件类型包括 exe，dll，doc，docx，pdf，xls，xlsx，ppt，zip，rar，bz2，7z，dbf，1cd，jpg 。如果要解密被加密的文件的话，我们需要获取到随机生成的文件加密密钥，而这个文件加密密钥被 RSA 加密之后，保存到了文件头中，只有获取到 RSA 的私钥，解开这段数据，才能实现解密，这是一个大致的加密流程，细节还有很多。三、如何对抗勒索木马1.你们在技术上有什么对抗方法？ 王亮：对抗主要有四个方面：源头，木马落地，木马行为，和事后处理。1) 源头方面：我们对来自于网页漏洞的挂马有网盾防护，对于邮件附件，我们的下载安全也能有效保护，力争从源头直接阻断木马的入侵。2) 木马落地：这一步主要依靠我们的各类引擎，我们的云 QVM 、 AVE 有对敲诈者病毒的专门学习，能够有效检出市面上现存的各类变种。3) 木马行为：我们在主动防御系统中加入了对文档加密类程序的行为特征分析，一旦发现行为符合勒索木马加密文件的行为，便会拦截这一行为并通知用户查杀。4) 事后处理：我们现在还推出了针对这种勒索木马的“反勒索服务”，如果用户在 360 的安全防护之下依然中了勒索木马，我们协助用户恢复文档，甚至不排除帮用户交付赎金。最大限度的降低用户损失。我们有专门的团队分析这类木马，对能够解密的木马，我们也开发了解密工具，用户无需支付赎金就能够解密文件。2.中了勒索木马后，到底会带来什么危害？王亮：对于每个人来说，计算机中的文档数据价值各有不同。以实际收到的用户反馈案例看，我们接到的一些个人用户受到的损失如下：曾经有一位老教授，编写了多年的文稿，大量的资料都被加密，那是他十几年的心血。而当时敲诈者留下的联系方式已经失效，想支付赎金解密都没有办法。最后还好在另外一台计算机中有几个月前的一部分备份，才减小了一部分损失。还有一个案例是有个大四学生，而被加密的文档包括他辛辛苦苦完成的论文——如果无法解密甚至可能影响到该学生的毕业。对于企业，影响可能就更大了，曾经有过一个影楼的摄影师电脑中毒了，有很多客户的照片还没有交付照片都被加密了，无法解密的话直接损失就有数万元之多，还有可能是影楼信誉扫地，以及自己丢了工作。还有一家律师事务所，因为一位员工的计算机中招，除了这位员工计算机文件被加密外，还将数台文件共享服务器中文档加密，直接造成公司业务停摆。很多时候这个损失已经无法用钱来衡量了，我们之前接到一位用户，敲诈者将其计算机中大量照片加密，用户不愿意给攻击者支付赎金，不愿意助长这类行为，但自己多年来拍摄的照片全部损坏，甚是心痛。3.中招勒索木马之后怎么办？文件恢复有可能吗？有补救和解决办法吗？王亮：中招之后，可以先使用杀毒软件对木马灭活，防止其继续感染其它文件或系统。对于部分敲诈木马，目前有解密工具，比如 TeslaCrypt 和一些国产家族，我们网站上有相应的工具和介绍，可以关注我们的网站。对于大多数主流敲诈者木马，目前都采用了比较规范的非对称结合对称的加密手段，这直接导致了在没有拿到黑客手中的私钥的前提下，解密文件几乎不可能。只能支付赎金或者等待黑客放出手中私钥，而支付赎金操作本身也比较复杂，同时也带有一定风险。所以此类木马我们更推荐对重要文档事前做好备份工作，以减少损失。4.木马背后的黑产可以说说吗？还有代理木马，挂马之类的。王亮：目前国内的黑产，已经形成了一些分工明确的产业化形态。有专门负责制作木马的，有负责免杀的，有进行传播的，还有负责赃款转移洗钱的。这些可能是多个成员组成的一个团伙，也可能是互不相识单独行动的几伙人共同完成。从之前破获的案件中看，很大一部分木马开发者是一些IT人员兼职或者在校学生所为，他们利用手上掌握的技术，帮助黑产，赚外快。很多这样的人觉得，在自己电脑上写写程序，也没传播，也没骗人，自认这样并不违法，在被警察抓获时才后悔惋惜。木马的传播者，很多是利用渠道商，平台商管理不严，甚至有很多根本没有审核管理（只是条文中写了一条，本平台禁止传播木马病毒）的漏洞，利用一些平台传播。比如最近多次爆发的广告位挂马攻击，就是利用广告联盟审核不严的漏洞（也有一些根本没能力审核，我们之前通报过几家广告商，结果对方查了一圈之后没找到哪里出问题），在广告资源中插入带挂马攻击的内容，当客户端访问这些资源时，如果所使用的软件存在漏洞那么就会造成产品被挂马攻击。而广告展示平台根本没有审核广告联盟的广告，直接插入页面播放。结果经常会出现多家大站被挂马，动辄每天几十万上百万的木马传播量。木马传播中，还有一些属于“代理木马”，从别人手里购买现有的成品木马，并自行传播获利，这里面经常能看到黑吃黑的现象存在。就比如之前 TeslaCrypt ，内部就有多级密钥。作者将这个木马在黑市出售，除了给购买者的一套公私钥体系之外，作者手里还掌握一套密钥，可以解开他出售木马加密的文件。其内部还有分成，所有购买木马传播收到的赃款也要分成给作者。5.勒索木马未来的苗头是怎样？比如，技术会有什么演进？植入会有更多途径？王亮：勒索软件的惯用伎俩是破坏信息系统，根本目的是敲诈财物。实际上，无论是加密文件、加密磁盘、还是阻止系统正常运行，都是不法分子的手段，拿到钱才是王道。从目前的情况来看，勒索软件破坏信息系统的手段可能会越来越暴力直接，攻击的设备也不局限于个人电脑，各类移动设备，公司的服务器目前都已经成为了此类木马攻击的目标，未来联网的设备越来越丰富，各类设备也很有可能成为此类木马的下一个目标。但不论形式方法如何变，其目的是不变的，勒索财物获取利益。6.如何完美躲避敲诈木马，对大家有什么安全建议？ 王亮：木马攻防是一个对抗的过程，木马的防御手段和攻击手法在对抗过程中是不断更新的，不存在一劳永逸的完美策略。但有一些安全建议，可以大大提高攻击的门槛，减小被木马攻击的损失：其一，及时更新系统和软件，各类安全补丁需要及时打上，提升漏洞的防护能力。其二，提升安全意识，不轻易打开陌生人发来的邮件附件，聊天软件传过来的各类文件。其三，安装安全防护软件并及时更新，不随意退出安全软件、关闭防护功能，对安全软件提升的各类风险行为不要轻易放行。其四，也是最主要的——重要文档数据要多做备份，存放在不同设备中。一旦文件损坏或丢失，也不至于有太大的损失。观众提问：如何抓取木马代码？王亮：对于如何获取样本，我们主要有下面几个途径：一是引擎获取，主要还是依靠我们自身的云体系，通过我们全网的客户端来收集样本。二是交换样本，这个和其他安全厂商一样，我们互通有无，丰富我们自己的样本库。三是用户举报，这类样本虽然少，但精确度往往会比较高，也能联系到用户进行进一步的了解。对我们了解木马入侵用户机器的方法有很大的帮助。还有一些沙箱类的自动分析平台，也会帮我们产出大量样本。对于木马代码的定位，主要有以下几种： QVM 自动学习机制，由机器深度学习自动提取恶意代码，对样本做分类检出；通过 AVE 引擎，增加一些启发特征抓取一些特定样本；依靠我们的主防体系，提取木马行为，不单独针对代码，对抗免杀。雷锋网原创文章，未经授权禁止转载。详情见。 (二维码自动识别)","state":"published","sourceUrl":"","pageCommentsCount":0,"canComment":false,"snapshotUrl":"","slug":,"publishedTime":"T11:36:55+08:00","url":"/p/","title":"中了敲诈者病毒，文件恢复有可能吗？你长着一张被勒索木马敲诈的脸？| 硬创公开课","summary":"熟悉雷锋网的读者可能知道，一个月前，我雷好几个读者爆料：本来一路心情愉快地去上班，开机却遭遇突发异常状况——昨天下班前电脑还好好的，今天突然开机之后电脑突然很卡，我并没有在意。结果等了一会，突然浏览器自动打开，弹出了一个勒索界面，告诉我所…","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentPermission":"anyone","commentsCount":0,"likesCount":0}},"commentsCount":1,"likesCount":2,"FULLINFO":true}},"User":{"ycgkk":{"isFollowed":false,"name":"机智的大群主","headline":"","avatarUrl":"/ddfd3aa3f143c_s.jpg","isFollowing":false,"type":"people","slug":"ycgkk","bio":"硬创公开课，用技术洞见未来。公众号：硬创公开课","hash":"ba9af5fdb6f04a6a177a674c75731c37","uid":681800,"isOrg":false,"description":"","profileUrl":"/people/ycgkk","avatar":{"id":"ddfd3aa3f143c","template":"/{id}_{size}.jpg"},"isOrgWhiteList":false,"badge":{"identity":null,"bestAnswerer":null}}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"ycgkk":{"following":false,"canManage":false,"href":"/api/columns/ycgkk","name":"硬创公开课","creator":{"slug":"ycgkk"},"url":"/ycgkk","slug":"ycgkk","avatar":{"id":"da7a69f92dbad3290ce5","template":"/{id}_{size}.jpeg"}}},"columnPosts":{},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}