我小时候被有亲戚关系的哥哥性侵过很多很多次。 当时很小13岁左右吧。那个哥哥住在我家附近，比我大8岁左右 他每次把我带到废弃的房子，把手机给我玩让我脱掉裤子躺着 好多好多次，好多好多地方拆迁前我姑妈家商店的三楼也是噩梦。 我家去他家拜年做客的时候他在房间里解我内衣然后敎我做起了兼执，刷刷抖音就可以挣钱两小时轻松转l7o+,而且全程都只需要一部手机就可以轻松搞定，有需要的朋友们快来下载体验吧

【CSDN 编者按】这几年越来越多的企业把业务搬到云上来，阿里云顺势推出一个既兼具物理机的性能同时又能提供虚拟机体验的产品——神龙这款服务器的架构是怎样的？有何特别之处在「CSDN 在线峰会 —— 阿里云核心技术竞争力」上，在虚拟化领域拥有十多年经验的阿里云弹性计算团队负责人张献涛深入汾享了阿里云智能在新型计算架构方面的探索——神龙计算架构以及阿里云计算架构演进的相关实践，希望能够对所有技术人有所启发忣裨益

复制链接或点击「阅读原文」可免费观看张献涛老师分享视频：

作者 | 张献涛，阿里云弹性计算负责人

以下为张献涛演讲实录：

各位朋友们大家好我是张献涛，花名旭卿我于2014年加入阿里云智能，当前在阿里云负责弹性计算团队加入阿里云之前，我在英特尔从事虛拟化相关工作过去十几年，我基本专注在虚拟化领域

今天要与各位分享的，是过去三四年间阿里云智能在新型计算架构方面的一個探索——神龙计算架构，以及阿里云计算架构演进的相关实践

我今天分享的内容分成四部分：

第一部分是关于神龙架构的背景——阿裏云为什么要做神龙，神龙解决了云计算哪些业务痛点

第二部分介绍神龙架构相关的演进——第一、二、三、四代神龙之间有什么异同點，它们一步一步解决了哪些业务诉求为用户带来哪些核心价值；

第三点主要介绍的神龙架构的实践——它能给云计算的客户带来哪些價值，比如像刚才叔同老师讲的神龙结合容器能够提供比在物理机上还要好的性能。

一直以来从事虚拟化的技术人员都是物理机的性能作为优化目标，研究怎么样能把虚拟化后的能力无限接近物理机比如做到90%，91%、92%、93%、95%做到97%、98%可能就做不下去了——它只能无限接近物悝机。今天用神龙这种新型计算架构的服务器再加上阿里云的容器，就可以提供比物理机高百分之几十的性能收益非常高。

最后我简單介绍一下神龙架构的未来

在介绍神龙架构的背景之前，这里面有几个数字来自一个大项目。我相信在线的很多网友都参与过这个好幾千亿的项目每年可能都有机会参与一次，就是天猫双十一

在2019年的天猫双十一，我们又创造了很多新的历史记录比如说全天交易额達到了2684亿，相比去年有比较大的提升第二个数字是54.4万笔每秒，这个代表在0点清空购物车时每秒钟能够处理交易的笔数。12.92亿个包裹意味著几乎人均一个包裹

一个个的天量数字背后，都是在阿里云公共云上完成我们去年达成了一个里程碑事件——整个阿里巴巴经济体业務，全面迁到公共云上面来100%核心交易系统全面在阿里云上完成。

在三四年之前没有今天讲的这个神龙架构之前，其实是做不到的因為双十一上云对公共云平台的挑战非常大，线下也饿徐用物理机去堆是可以的但是使用公共云的基础设施，要承担阿里巴巴经济体比洳电商、金融、物流相关交易，并且是双十一这种天量的交易是极大的挑战。

今天我们做到了背后是神龙服务器在起作用。

我们通过這张图简单直接看一下左边的照片是2017年10月的云栖大会，我们发布第一代神龙服务器的时刻在这个时期起，神龙架构开始成为整个阿里雲智能最核心的竞争力之一

为什么它能够承担起像阿里巴巴双十一这样复杂的业务？

第一、因为神龙能够充分地利用云基础设施的力量也就是这里展示的高弹性。单台服务器或者一个集群，在线下其实很难利用云基础设施的能力而神龙云服务器能和云基础设施融合茬一起，提供高弹性的资源比如，你需要更多的存储、更多的网络资源、甚至更多的数据库你不用停机、你也不用去插硬盘，系统会根据你的管控命令自动进行资源伸缩。

第二是高稳定尤其是性能的输出，需要非常稳定对于笔记本、PC这可能无所谓，但是对于企业級用户所用的服务器来说性能输出需要是一个稳定的值。

为什么可能做过业务规划或者容量规划的同学能理解，如果计算性能处于波動的状态那很难规划业务需要多少台服务器支撑。比如说在线直播八千人需要多少台服务器，一万人又需要多少台服务器这些需要精准规划，所以对性能的要求是非常稳定的神龙服务器可以完美满足，它在双十一的性能表现非常平稳

第三是高性能。这个是本质的如果性能不足够高的话，或者连物理机甚至虚拟机都达不到的话做这样一款服务器，一个新型的计算架构其实是没有意义的。

这几點是我们做神龙服务器的一些思考。就像主持人所说我其实已经做了十几年的虚拟化技术，谈到神龙每一次必须要谈到的就是虚拟化技术

我是2004年开始做虚拟化，我当时还在读博士当时在整个业界，在整个世界范围内真正是做虚拟化技术研究的不多全球可能加一块來还不到一百人。我当时一直在想我毕业之后到底能不能找到工作，因为这个择业范围太小了

在那个时间点上，虚拟化基本上都是一些高校在研究比如说斯坦福大学、剑桥大学，微软、VMWare等公司还有我的老东家英特尔。

我们回顾历史其实虚拟化的历史要比2004年还要早佷多，不过一直都是在科研机构、大型IT公司里做研究

Architecture》，这篇论文为未来40多年的虚拟化技术的快速演进奠定了理论基础：定义了什么样嘚技术才能叫做虚拟化什么样的条件才能满足虚拟化的定义。

第二个时间点就是1997年1997年，斯坦福大学的教授创立了VMWare公司这家公司的成竝，真正地把虚拟化技术的理论研究落实到应用。

VMWare做了一个叫二进制翻译技术的创新

不得不说，英特尔X86架构对虚拟化技术是不友好嘚。因为整个X86的演进从4位、8位、16位到32位、64位。这样的过程其实天生就和一些大型机、和虚拟化是不一样的。大型机最早就是为了多操莋系统运行而设计的要从指令集的设备层面去虚拟化。

而X86是逐渐演进的过程最早从一个很小很小的PC市场开始做起。PC是没有虚拟化要求嘚所以X86指令集对虚拟化不友好。一定程度上二进制翻译技术可以在指令执行的过程中，动态扫描对虚拟化不友好的条件一个个切换指令执行情况。这种方法的弊端是性能不太好

在这个阶段，VMWare主要还都是在PC上面运行虚拟化还不是今天所讲的云计算数据中心的虚拟化技术。云计算数据中心的虚拟化技术推行是2005年。当年英特尔发布了VT-x和VT-d技术，这是英特尔和AMD两家芯片公司为首发布的他们觉得自己的X86嘚架构对虚拟化不友好，就扩展了指令集、扩展CPU的设计让它能够更好地支持虚拟化技术。

这个技术加速了虚拟化进入数据中心能够服務于云计算。

2009年阿里云成立，云计算不太可能使用VMWare这样的商业化软件所以就采用了当时比较流行的开源虚拟化软件Xen，后来我们到2014年切箌了KVM当时阿里云是深度定制化的KVM和Xen，做了产品化开发的

我是2007年参与KVM研发的。在2014年之前云计算行业里，大家想的都是怎么样能够把當前CPU提供的能力、Xen、KVM等虚拟化的软件应用好，却没有发生多大变革除了VMWare提供这个二进制翻译技术，还有PPT里没有展示的剑桥大学提出的准虚拟化技术paravirtualization——除了这两个，没有太大的创新

2014年、2015年，阿里云面临要服务大B类市场的时候我们要解决成本问题，提升我们的服务能仂

当时我们的虚拟化技术，已经满足不了云计算发展的步伐尤其在那个时间点上，我们也在探讨怎样能够把阿里巴巴经济体的业务吔迁移到云上面来，这遇到了很大的难题我们需要去变革虚拟化技术。

于是 2015年我们开始探索，2016年开始立项到2017年，X-dragon神龙架构问世了咜真正使用软硬融合、软硬件协同设计的模式，改变了传统虚拟化技术和当前的计算架构不友好的地方

以前虚拟化技术的设计思路，前提都是服务器和计算架构都已经定了如何通过软件适配计算架构。

我们做神龙则是反其道而行之我们觉得今天的虚拟化已经发展得非瑺好了，那我怎样能设计一种新的计算架构让虚拟化运行得更好？它代表着云计算、云数据中心、虚拟化技术带来一个变革它也给我們云计算、阿里云的高速发展带来了更坚定的信心。

要设计这样一种新型架构我们需要简单来看一下云数据中心的传统虚拟化架构是怎麼样的、它有什么样的优缺点、我们为什么要变革它。

这张图是非常典型的虚拟化组织架构图

我们可以看到，底层是大型的物理机集群每一台物理机上面其实都会运行着Hypervisor——即虚拟化的系统软件，还有一个宿主机比如Xen里面的Domain0。基本上是这样的模式

在云计算里面，客戶买到的都是虚拟机虚拟机的计算能力、平稳性、弹性由下沉的虚拟化软件——而不是虚拟机——来完成的。比如说计算的虚拟化虚擬一个CPU、虚拟内存、虚拟中断都会由Hypervisor软件来完成；虚拟存储，基本都由host的虚拟化实现模块来完成即通过软件来做；网络也是，我们会引叺虚拟交换机、虚拟路由器这些的虚拟网络

这是一个非常典型的架构。在神龙出现之前大家都是这么用的也没有觉得它有多么的不好。但阿里巴巴经济体在把自身业务，以及部分大B类的客户上云时我们发现了很多方面的问题。

我给大家简单介绍一下这些问题

1、资源争抢、隔离性弱：这张图中，虚拟机就是客户的系统宿主机就是我们的虚拟化管理系统。它们之间共处一室会导致有资源的争抢。咜们之间资源的争抢就会带来虚拟机计算能力的波动

2、算力损失、成本高：宿主机和Hypervisor都要消耗CPU和内存方面的资源，这就没法把这台机器嘚资源全部给到客户意味着成本的提升。比如说我买了一个32核的物理服务器，我只能把16核或者20核给到客户那剩下的12核可能就是一个浪费。但是没有它还不行因为它要帮助虚拟化存储、虚拟化网络。资源的浪费就导致了成本的提升

3、性能瓶颈明显：还有整个存储、網络的虚拟化，如前所述都是由软件实现。软件实现方案优点是灵活和有一定的扩展性但是缺点也很明显——性能、稳定性会比较差。这是它最大的问题

4、难以支持裸机服务：因为物理机里面已经运行了这样一套Hypervisor软件，我们难以云的方式提供裸机、提供存储网络的弹性即便云计算越发普及，部分企业还是有物理机的诉求云厂商没有办法提供。如果提供只能提供物理机托管了这就不是云计算了，洏是回到了传统IT

架构的缺陷带来了很多产品挑战。我们要解决这些问题

带着这些问题，我们先去分析一下客户到底要什么？

分析完の后我们发现客户真正买我们计算型产品的时候，他需要更强的计算性能、需要更快的网络接入、更高的存储读写能力存储的IOPS要高、網络的PPS要高、网络的带宽存储能力要高。这意味着说我要有更高的更好的QoS（服务质量），网络、性能不能忽高忽低；还要更加安全；要囿更低的成本这就是客户的诉求。

我们拿着诉求再对照虚拟化技术的缺点，进行技术探索和创新看如何解决这些方面。

神龙就应运洏生了神龙是为云而生，是软硬融合的虚拟化技术

神龙服务器性能关键的部分全部用芯片用硬件去实现，性能非关键的比如控制面部汾都用软件去做。最后带来灵活性和性能完美有机的结合它和传统的虚拟化相比，代表了云数据中心虚拟化新一代技术可以真正解決掉我们刚才说的问题。

第一代神龙：裸金属虚拟化的先行者

第一代神龙更多的是解决上云后如何支持裸机服务，说得直接点就是物理機但是又不能是传统的物理机，需要充分和云计算基础设施融合比如，它可以充分利用池化过的云存储资源、网络资源、数据库等

茬这种情况下，第一代神龙诞生了我们叫bare metal virtualization，裸金属虚拟化我们在业界第一个发布类似的产品。

它的体验可以用下面的一句话来总结僦是：超越物理机的性能，有虚拟机的体验

什么是虚拟机的体验？我们知道虚拟机整个运维全部都是自动化的，所有的资源都是池化過的这其实是非常好的一种模式。传统虚拟化技术有优势也有问题。如果说我们能够通过新技术解决劣势保留优势——这是我们做苐一代虚拟化的初衷。我们也做到了

在这种架构下面，我们进行深层次的探索设计了神龙MOC卡。

MOC卡里有一个神龙芯片做高速数据面的轉发；有一个芯片加速引擎，存储EBS、网络所有管控面的东西，都下沉到芯片中；整个生命周期的管理、所有的接口都和虚拟机保持一致比如，存储都是用virtio-blk网络都是virtio-net的接口，其他设备也和虚拟机保持一致

如此一来，它可以和虚拟机无缝兼容可以和虚拟机在同样的VPC里、可以挂载云盘，跟虚拟机使用体验一样

我们设计了X-dragon Hypervisor和自研神龙芯片，提供了安全可靠可信、计算无损的服务神龙支持弹性的存储，鈳以支持挂16块EBS云盘并且每一个EBS云盘都可以高达32G；它也可以提供31个ENS动态、弹性的网络接口，可以动态地插进去一些网卡一个物理机，它嘚网络接口可以动态增加和减少

芯片加速的IO引擎，支持无缝接入VPC无缝接入EBS存储，支持免装机直接一个芯片就可以启动，一两分钟就茭付了裸机服务

第一代的特点是，一张芯片其实解决了所有问题物理机可以使用云存储、VPC网络、挂载本地盘的问题。所有系统管理也嘟在这张卡里面做我们加入了安全芯片的能力，可以让弹性、稳定性、性能和成本完美地结合虚拟化下沉到这张卡，就是本质

第二玳神龙：融合虚拟化的践行者

第二代的神龙叫融合虚拟化的践行者，这就是阿里云线上第六代实例大规模使用的技术

和第一代相比，整個神龙芯片能力进一步增强不但可以支持的裸金属系统，它还可以支持虚拟机

我们为虚拟机设计了一个超薄的Hypervisor，叫Dragonfly就是让神龙能够飛起来的Hypervisor。它几乎不占用任何的资源可以支撑很多的虚拟机系统，所有的计算资源都可以给到客户资源和性能无损；并且每个虚拟机の间，是通过硬件的队列进行隔离的虚拟机和虚拟机之间，虽然共处一室但各行其道没有任何共线的干扰。

① 技术的融合、资源的并池就是一套软硬件支持容器、虚拟机和裸金属三套服务。

③ 直通型的硬件IO设备比如提供512个网络队列，最高提供512个ENI存储有512个队列，至尐能够下载几十块云盘它的能力会进一步的增强。

④ 最难做的是全组件的热迁移包含芯片、FPGA组件全部做热升级。解决了热升级的问题我才解决整个研发上能够快速迭代的难题。

超轻薄资源零损耗。内存占用大概每个虚拟机不到1 MB但是CPU占用小于0.1%

超平稳，接近零抖动100萬个数据包可能会有一个抖动。业界可能做得最好的是10万级别的我们做到100万。

超平滑兼容原架构，和KVM无缝兼容能够解决掉资源池之間互相热迁移的难题。

第三代：极致性能的追求者

第三代神龙架构它是极致性能的追求者。我们在去年的云栖大会发布整个性能处于業界最高的水平。相对于同行的类似架构我们性能大概在5倍之多，存储、网络等关键性能指标都是他的5倍以上。

第三代神龙的最大变囮就是

①  所有的数据面路径全面芯片化，存储、网络、数据都芯片化性能大幅提升。

② 提供了硬件级、电信级QoS的管理比如存储、网絡每秒钟需要多少数据包、多大的带宽，都超级精确精确到了一个数据包。原来只有电信级的设备里才有我们在云数据中心服务器里實现了。

③ 增强型融合网络可以提供接近裸机的低延时网络。

④ 增强型硬件队列支持1千个1024存储队列和1024网络队列，队列和队列之间的隔離性进一步增强

三代神龙拓展了弹性计算产品的边界。第一代发布于2017年10月份第二代在2018年9月份发布，第三代是去年的9月26号上午发布

我們整个的网络性能，单机做到了2500万PPS这个相当于友商大概5倍左右。存储做到了100万IOPS现有的弹性计算产品在提供这些特性，有一些实例里大镓能够感受到明显提升接下来我们会全面切到第三代。

神龙发展到今天去年，不仅仅集团经济体的业务全面迁到了神龙整个公共云嘚计算类服务，也全部都迁到神龙架构阿里巴巴、阿里云新增的任何一代服务器，全部都是神龙架构：X86通用实例——G系列、T系列和R系列铨面升级异构计算以及高性能计算相关实例全部都切到了神龙，可以提供刚刚讲到的第三代神龙的能力比如说100万数据包才会有一个抖動。

最后我简单介绍一下神龙到目前的一些实践。

刚才叔同老师也介绍了神龙和容器之间有一种双剑合璧效果。

我们为容器设计了一個特别的网络叫Terway network ，它和VPC（virtual private cloud）能够天然融合每一个容器都会有一个VPC的IP，它们之间全部网络和存储都是一个硬件队列来进行相对隔离。

茬去年的双十一很多典型的应用，容器加神龙表现出了非常好的能力

这里展现的是我们电商里的某一个很关键的应用，也是我们每次丅单都要用到的应用它整个QPS提升了30%，RT下降了96%

在极限压力情况下，它还有这么好的表现客户资源的利用率，CPU利用率最高可以提升到80%

圖里蓝色这根线是传统的物理机，红色这跟是同规格的——就是CPU、内存相关等所有的东西都一样的——神龙架构的物理机

它们两个在云仩运行业务的时候，我们可以看到蓝色这个可能CPU利用率到40%的时候，业务延迟就会增加了超过50%、60%，整个业务就出现崩盘了但是神龙，當CPU利用率即使高到接近100%的时候业务延迟增长还是非常少。

平均下来一般的服务器能压到百分之二三十的CPU利用率，就已经不错了神龙鈳以压到百分之五六十，都有非常线性、平稳的业务表现有很多的客户都开始使用我们的神龙服务器。

另外一个神龙的用处就是能够紦VMWare的私有云，迁到公共云上我们知道，线下有很多数据中心都使用都了VMWare私有云。很多客户会用龙都把线下的VMWare的私有云迁上来没有神龍，这实现不了因为传统云计算实例，没法支持VMWare这种虚拟化软件

如果用了OpenStack，底层使用了KVM想把你整个线下OpenStack的私有云搬到云上面来，神龍裸金属服务器也可以解决

最后，近段时间新冠病毒爆发了之后阿里云为十几家公共科研机构提供算力直吹。这背后就是用神龙裸金屬搭建的高性能计算能力

前几天，我们神龙架构的论文在计算机系统的顶会ASPLOS 2020做了分享。

论文介绍了裸金属虚拟化相关的整体规划和峩们未来要做的东西。兴趣的朋友可以到这个地址去下载我们的论文，也有视频讲解

未来，我们也会继续在神龙架构持续创新大家洳果对这个领域有什么疑问或者想法，欢迎联系我们

你点的每个“在看”，我都认真当成了喜欢