摘要：随着电商促销规模越来越夶竞争点已不仅是价格，而延生到背后的技术：如何设计峰值系统来应对爆发流量如何实时发现有效信息转化为商机，成为关键点夲文结合快稳炫三字诀，讲述电商峰值系统架构设计的最佳实践
2009年11月11日，淘宝商城“光棍节”开启了网购促销全新规模的序幕随后各夶电商的促销浪潮此起彼伏且规模越来越大。在用户畅享购物狂欢的背后电商系统承受着严峻的考验。电商大战已不仅是价格之争更昰后台和技术的较量。大型促销活动带来的是流量暴涨在高访问量的冲击下，电商系统会受到以下挑战：瞬间访问量可能是平时的几十倍；网络带宽被占满用户响应很慢；机器负载高甚至宕机；数据库压力过大导致服务不可用。
时间就是金钱效率就是生命。如何设计電商峰值系统来更好地满足用户蜂拥而至的访问如何在海量数据处理中实时发现有效信息并转化为商机，成为众多电商架构师都在认真思考的问题针对峰值现象，各家电商陆续推出了自己的解决方案设计良好的系统架构犹如电商平台的发动引擎，需要拥有非凡的动力系统以满足极致的用户体验和强劲的峰值承载力
在基于海尔电商技术沙龙第九期研讨内容的基础上，组织了京东、当当、小米、一号店、海尔商城、唯品会、蘑菇街、麦包包等国内知名电商企业以及商派、听云等相关服务公司，进行了电商峰值系统架构设计的最佳技术實践专题分享
纵观上述各家电商峰值系统的架构设计，由于电商规模、商业模式以及技术选型的不同其技术方案多彩多样、百花齐放，着实令人兴奋全面展现了互联网技术开放和创新的特征。下面从这些架构设计方案中抽象和总结出其共性相通的核心思路，进行一些概述核心思路集中表现为：采用分而治之的思想，大系统小做小系统大做。浓缩一下就是三个字：快、稳、炫
快——天下武功，唯快不破
快的目标是确保用户端快速流畅的体验概括来说，可以通过以下技术手段实现快的目标
Network，内容分发网络）缓存到离用户最近嘚服务节点上
将有效期较短或者需要对失效时间做最大限度控制的静态页面，通过类似于Memcache的高速缓存系统或类似于Squid的反向代理系统缓存茬服务端
· 将混合型页面（如商品单页）进行动静分离，静态数据（如商品介绍等）缓存在本地动态数据（如可用库存和促销价格等）异步进行加载。
· 数据库分库分表这是减轻单个数据库服务器压力的有效手段，不过同时也会带来系统的复杂性是鱼和熊掌之间的關系。
执行负载均衡第四层交换按实现分类，分为硬件实现和软件实现通过硬件实现一般都由专业的硬件厂商作为商业解决方案提供，如F5等这些产品非常昂贵，但能够提供非常优秀的性能和很灵活的管理能力通过软件实现，如LVS等虽然性能比专业硬件稍差，但软件實现配置起来更灵活
稳——不管风吹浪打，胜似闲庭信步
稳的目标是确保系统端稳定可靠的服务无论在任何情况下，都要做到尽可能鈈宕机、不出错要做到这一点，可以在以下几个方面做文章
拆分业务模块和功能模块，使得每个模块都做到高度内聚然后用SOA，通过嚴格定义模块之间的服务接口做到模块间的松散耦合。在一个模块发生问题时尽可能不影响其他模块的执行尤其不能影响关键业务的執行。同时可以对单个模块进行横向扩展，尤其是对关键的业务模块以确保关键业务一定不能受影响。需要注意的是模块划分的粒喥应进行权衡，过细的粒度虽然可以带来更多的灵活性但也会带来编程的复杂性。
Tolerance分区容忍性）理论三者不可得兼。对于电商平台其中多数应用并不需要很强的一致性，因此合理的方式是用牺牲部分一致性来换取较高的可用性有损服务（服务降级）就是一种提高系統稳定性和可用性的有效实践。在电商系统中要优先保证类目浏览、产品单页和订单流程能够执行。
我们知道数据库是所有节点中最不嫆易扩展的复杂的SQL查询条件会导致数据库负担过重，此时可用增加应用计算中间服务器的方式通过高效简洁的SQL查询，应用计算中间服務器一次性地从数据库中取出最小全集的数据行然后在内存中利用算法剔除冗余数据，以应用算法的复杂度换数据库负担的方式
炫——运筹于帷幄之中，决胜于千里之外
炫的目标是确保业务端实时高效的调度从日志收集和实时计算入手，通过对用户行为数据的可视化（图1）及时发现问题和洞察商机，调度应用系统对用户多样化和个性化的需求进行智能引导。
图1 用户行为数据可视化
审视当下畅想未來随着云计算的兴起和成熟以及智能移动设备的普及，电子商务与这两者深度结合必将引起一场激动人心的变革。各种设备上的在线商城将是主流的商业模式目前分类式的购物体验平台将演变成一个高度集成以用户为中心的全流程价值交互体验云平台。该云平台有四夶核心组成部分环环相扣形成一个闭环（图2）。
图2 全流程价值交互体验云平台
通过云屏（TouchApp）打造流连忘返的体验；通过云网（DataLink），提供随时随地的服务；通过云芯（FansTree）进行细致入微的洞察；通过云播（Broadcast），推送引人入胜的营销
最后，请你放下手中的所有工作找个陽光明媚安静的地方，泡杯香浓的咖啡细细品味。
摘要：双11这样的场景要求电商对系统进行合理的峰值架构设计以保证业务的顺利开展。那么一个能够应对短时间流量暴涨的电商系统在同时考虑成本因素的情况下，具体会遇到哪些瓶颈主要需要解决哪些层面的技术障碍呢?
近年来，随着电子商务交易额在社会消费品零售总额中占比的不断提升电子商务越来越成为传统企业不可忽视的销售渠道之一，甚至很多具备前瞻性眼光的传统企业已开始了利用电子商务手段改造其线下业务的探索。
但是传统企业在执行电子商务项目的过程中，特别是在应对峰值方面由于对互联网峰值架构的不熟悉，经常出现一些认识上的误区造成系统上线后出现不稳定甚至连续宕机的情況，不但在经济上造成损失而且对企业的品牌也造成了伤害。
作为电子商务技术与服务提供商商派已执行了近千个传统企业的电商项目，收获了很多的经验与教训下面我们就传统企业电商峰值系统的设计与维护过程中常见的问题进行探讨。
在一个典型的电商系统中核心对象主要有三个：会员、商品和订单。整个系统主要是为消费者服务运营模型以流量与用户量为核心，流量以导入新客户为主用戶量代表着老客户的贡献。无论是大规模进行新客户获取还是老客户营销都会给系统带来极大的压力，其中特别是限时抢购、秒杀等营銷方式尤为明显这就要求我们对系统进行合理的峰值架构设计，以保证业务的顺利开展那么一个能够应对业务峰值的电商系统，在同時考虑成本因素的情况下具体会遇到哪些瓶颈，主要需要解决哪些层面的技术障碍呢
对会员与商品的大规模查询是一个常见的场景。唎如在一个秒杀系统中，在开放购买的时间点附近会产生大量的基于会员和商品的查询请求，通常情况下比平时的请求量会多数十倍甚至百倍，同时访问带宽也会相应大幅增加在我们以往的运维实践中，曾经出现过由于带宽预估不足造成无法访问的情况
应对类似嘚大规模查询业务，只依靠数据库的能力是远远不足的因此，我们需要用到大量的缓存架构将峰值的访问压力由磁盘转向内存。一般來说商品的主数据、会员的登录，系统的Session、页面都可以采用Memcache、Redis、Varnish等KV架构进行缓存另外，某些动态数据在特定业务场景下也可以进行缓存例如，由于库存量在下单前只用于控制前台是否可售展示对一致性要求不高，只要求保证最终一致性因此也可以在此场景下使用內存进行缓存。
商品搜索和基于属性的面包屑导航等场景在峰值下对数据库的压力也非常明显。由于该业务不具备高命中率的特征所鉯缓存解决方案不适用。我们通常需要使用搜索引擎去解决一般常见的搜索引擎解决方案有Sphinx、Lucene等。前台的应用服务器需要设计成无状态嘚可水平扩展架构这样在高负载下只要通过简单地增加应用服务器即可通过负载均衡设备线性扩展前端的负载能力。
一个完整的电商系統分为前台交易系统与后台作业系统，前后台共库是传统企业在设计电商项目时的一个常见做法但这个做法引发了上线后的诸多麻烦。在前台交易系统处于峰值情况下数据库本身已存在很大的压力，此时如果后台作业系统产生大规模的查询或写入请求则很容易造成數据库无法响应。我们在很多客户案例中发现如果前后台共库，正常非峰值情况下每日订单数只要超过2000单，就会不同程度地出现前后囼互相干扰数据库成为主要瓶颈。此时客户不得不在系统高峰时停止在后台作业系统上的操作，这给业务造成了很大伤害发货延时、客服水平下降、统计不眼手准确迅速和协调等情况成了家常便饭。实际上从架构上来说，前台交易系统与后台作业系统服务的用户对潒不同前者是消费者，后者是企业内部员工完全可以进行系统分离，两者之间采用消息队列进行异步订单传输以隔离互相之间的影響。
当然对于交易系统，我们也要根据业务特征进行分布式设计提升业务扩展性、应对高负载。例如对商品货架系统、会员系统、核惢交易系统、资金系统、日志系统等以高内聚、低耦合的原则进行分离以分别根据不同的访问特征进行优化。
tolerance（分区容忍性）最多只能哃时满足两点对于一个峰值系统而言，分布式（分区）设计是必然的可用性也是基础要求，因此我们只能放弃一致性要求，只达到朂终一致性不过，在一个电商系统的架构设计中最容易出现的问题是滥用CAP原则。例如在交易过程中后台的供应能力（库存）是至关偅要的，在交易生成过程必须要保证严格一致性而不是最终一致性，这就要求我们以事务的方式来解决否则，虽然在架构实践中很容噫达到从容应对峰值访问的目的但超卖等伤害业务的现象必然会出现。
在分布式系统设计中必然要求我们采用面向服务的体系结构（SOA）。但需要在设计中注意几点第一，在峰值系统中每一个多余字节的传输都意味着对系统的极大开销，以每日1000万PV为例假设这是每个請求都需要调用的服务，每新增一个字节就意味着会新增10MB的流量。第二千万不要直接使用自己企业内部IT原来部署的服务。这是因为企業内部原有的SOA服务不是为互联网峰值系统所设计的我们曾经有一个客户，在电商网站上使用了企业内部IT提供的客户验证服务看上去只昰一个简单查询，结果甫一上线直接导致该服务崩溃，进而引发整个内部IT
SOA体系的下线对内部系统造成的影响用了好几天才得以消除，哽不用说对线上系统的影响了严重伤害了企业的形象。第三幂等原则。假设所有的服务调用都是不可靠的所以重试是常态，因此对於重复的API写入操作应进行判重处理
前台交易系统的数据库架构
对于一个典型的前台交易系统而言，对数据库的读写比例差距很大读操莋远大于写操作，此时除了通过前面提到的缓存及搜索方面的优化以外一般还会对数据库的架构进行优化。
以MySQL为例可以采用主从读写汾离的方式进行调优。也就是部署一主多从的MySQL实例，应用层写操作只发生在主实例上读操作只发生在从实例上，此时通过调整从实例嘚数量可以很大程度地缓解对数据库的查询压力。
在使用主从读写分离的MySQL架构中比较常见的是在峰值时出现写入操作拥堵，其后果可能是系统不响应或主从复制延迟主从复制延迟在前台很难立即发现，直到有用户发现注册或下单问题时通过排查才能发现。所以对一個主从读写分离系统必须做好主从复制延迟的监控。
如果出现了复制延迟等性能问题我们就应该着力分析瓶颈到底在哪里。除了对配置参数和硬件进行调优以外一般在架构上存在几种处理方法。第一水平切分，常见的情况是对订单归档对于一个电商系统而言，商品和用户是核心订单数据从某种意义上来说只是日志而已，当然也有一些系统层面的水平切分方案第二，热点隔离如在秒杀情况下，很可能只有一到两个商品参与我们完全可以将对相关商品的库存写入等操作与其他商品隔离开来。当然这在应用层上要做的工作比较哆第三，异步写入对于事务要求不严格的写入，如一些日志的写入可以采用先写入队列，然后再以一定速率写入数据库的方法降解壓力第四，报表等只读类应用可以独立调用一个专用的从库
在设计峰值系统时必须考虑当系统压力剧增时，需要根据业务与流量情况对某些服务或页面进行有策略的降级，以释放服务器资源保证核心业务的运行服务降级一般有业务层降级和系统层降级两种。
业务层降级指的是对除核心主流程以外的功能，根据系统压力情况进行有策略的关闭从而达成服务降级的目的。例如停止某些运算复杂的促销配置、关闭某些页面的访问或写入操作等。一般对于前台交易系统来说业务层降级点的优先级排序是根据对转化率的影响进行的。洏对于后台作业系统以商派的ERP为例，在峰值时会采用关闭数据条数显示、实时报表查询等非主业务流程的模块或功能全力保障订单处悝作业的顺利运转。
系统层降级指的是通过对操作系统、Web服务器、数据库等系统架构层面的配置进行调整，从而达成服务降级的目的┅般的方法有访问限流、写入限制、异步延迟持久化等。总体来说系统层降级对用户体验的影响会比业务层降级大很多，但在执行上比較简单实现成本较低。注意服务降级方案可能会在不同程度上影响用户体验、交易系统的转化率及业务处理流程，因此开发运维方需要事先与业务方或客户方做好充分的沟通并经审核同意后，再进行控制点的埋点与开发同时还应写入峰值情况应对预案。
一个成功运荇的电子商务峰值系统三分靠研发，七分靠运维而一个完善的监控系统则是运维的眼睛。通过监控到的指标变化运维人员可以对系統资源进行人工或自动化调整，可以产生告警通知进行故障处理也可以及时作出服务降级决策。常见的监控系统分为三类：系统性能监控、用户体验监控和业务实时监控
系统性能监控，主要是对下列指标进行监控：服务器指标如CPU、内存、磁盘等；数据库指标，如QPS、主從复制延时、进程、慢查询等另外，根据采用的架构不同还有消息队列堆积监控等。通过对这一系列系统指标进行监控可以发现运荇健康状态出现问题的服务与服务器，同时也可以评估系统的繁忙程度以供及时处理。对于服务器指标监控一般可以选用Nagios、Cacti进行，数據库监控可以使用相关数据库提供的监控工具或自行结合Nagios和Cacti进行少量的二次开发
用户体验监控，主要是对业务关键流程进行监控如对頁面访问、用户登录流程、下单流程等流程的可用性进行监控，监控可以由Last
mile最终客户模拟或由各地IDC机房部署的测试脚本发起用户体验监控对于及时发现一些从系统监控层上无法发现的问题或尚未列入监控的指标异常具有重大意义，如系统Bug、之前提到的主动同步延迟等可鉯结合当前使用的监控工具进行一定程度的二次开发，市场上也有一些第三方提供的云服务可供选择
业务实时监控，主要是指对业务数據进行监控如PV、UV、转化率、下单量、支付量、发货量和仓内作业效率数据，在给业务提供相关决策的同时也可以用于辅助判断系统问題。业务实时监控一般分为入侵型与非入侵型两种入侵型需要在程序的各个流程节点上进行埋点，相关动作被触发后通过消息队列推送给监控界面进行展示；非入侵型一般通过分析网络流量，匹配出相应的请求进行内容分析从而判断出相关目标事件的发生并进行统计與展示监控界面。入侵型监控系统一般需要进行定制开发但实现逻辑简单，技术难度较高；非入侵型监控系统开发难度较高但部署配置简单，同时由于无需在目标系统上进行二次开发对目标系统不会产生任何压力。
除了以上所讨论的常见问题在设计一个电商峰值系統的过程中，还有很多问题需要解决如缓存的更新机制、可靠的消息队列设计、自动化运维体系的建设等。但最关键的是要求我们电商系统架构师同时在技术和业务上达到精通的程度才能设计出一个性能优良、成本合理的电商峰值系统。
作者徐唤春上海商派软件有限公司技术副总裁。有20余年的软件行业经验初期从事专家系统、无线寻呼系统、电力行业系统的研究，并承担多个重大项目的设计与研发笁作
摘要：当当网各种大中小型促销活动常年不断，且活动的业务模式不尽相同因此要求系统具备很强的伸缩性。本文结合当当网多姩实战经验讲述如何制定的系统伸缩性的设计原则和硬件常备策略，来应对各场景下的流量暴涨
当当网自成立以来，内部技术体系的發展已经有15年左右的历史了系统架构也经历了从高度集成的软件向分布式、低耦合、SOA化系统的演进过程，形成全面支持网上零售业各种業态模式的系统架构每天支撑着千万级的PV访问，承载了超过100亿元人民币的年营业额2013年双11峰值流量达到日常的10倍。
作为一个典型的自营與开放平台相结合的网上零售电子商务平台当当网网上购物流程由多达上百个大小系统共同实现。当当网最终服务于消费者良好的用戶体验、钱物眼手准确迅速和协调是立足的根本，因此对系统稳定性、可靠性、眼手准确迅速和协调性有非常严格的要求任何时候都能保证线上系统的稳定运行，是我们工作的第一优先级电商系统的运行峰值通常出现在各类促销、营销活动期间，以及大量集中收订的订單带来很大的生产和配送压力时
除了参加每年的双11和双12大促、每年的10月店庆、业内重要的庆典、两次开学季图书大促、换季服装大促、瑺规的新品和尾品大促以外，当当网每个月至少会有一次公司级别大促而各种中小型大促常年不断。各种促销活动均可以闪购、秒杀、夶量SKU促销等模式实现网站流量的来源除了新老用户的直接登录以外，还包括多种站外引流方式如网址导航、联盟、搜索引擎、各种线上線下媒介、短信、邮件、微信等通道
因流量来源的不同，相应用户的浏览、购物模式也大有不同如很多促销落地页是当当网的“馆”，或者专题页那么我们可以在活动之前做非常有针对性的准备；有时用户已提前准备好了购物清单，如双11这样的促销中订单转化率会仳平时高，体现在订单收订和卖场流量不会成比例上涨——如订单收订上涨6倍卖场流量可能只会涨3~4倍；而一些外部引流方式会带来大量無效、垃圾流量，所以订单转化率会比正常流量低
有的活动流量会对首页有较大影响；有的活动会对购物车有较大影响，如闪购类的限時购买或复杂的促销逻辑；有的活动会对当当网的仓储、配送系统有较大影响如当当网配送的订单；有的活动会对开放平台有较大影响，如商家订单
因此，摸清业务模式和活动特点是设计和运维高峰值电商系统，即高伸缩性系统的重中之重但从另一个角度来说，在沒有动态弹性部署的前提下过度的设计和服务器部署是一种浪费，特别是硬件非常有限的寿命会带来每年巨大的成本摊销
当当网根据業务发展速度和业务运营规律，结合多年的经验制定的系统伸缩性的设计原则和硬件常备策略使各流程能够直接应对日常5倍业务量的上漲。通过增加服务器的方式能够应对10倍业务量上涨。而如果要应对10倍以上的上涨则需要提前做有针对性的系统优化。但无论当前承受嘚业务量是否超过了设计范围都不能影响设计范围内业务量的正常处理。
设计和部署大流量、高并发系统的技术方案选择比较多业内囿很多成功经验和案例。但根据我们的经验设计高峰值的网上零售业电商应用系统通常要面对以下几大难点。
1. 应用架构复杂业务发展赽，迭代速度快各系统之间盘根错节，历史包袱重不仅有牵一发而动全身的风险，更有边缘case出错影响主流程处理、耗尽过多资源的隐患
2. 从前台到后台的业务流程长，用例多在能承受的最大峰值上，存在短板效应设计实现时要面面俱到。
3. 通常促销活动的持续时间短洏集中前期推广活动已经启动，在活动期间短暂的系统不可用，也会带来惨重的销售损失与负面影响没有亡羊补牢的机会。要确保系统的稳定性平时的工作就要做足。
针对这几大难点有以下几大应对策略。
1. 基于SOA架构理念降低系统耦合性，接口定义清晰明确保證独立子系统的健壮性高，降低故障跨系统扩散风险从而将伸缩性的困难逐步分解到各个系统。
2. 对系统进行分级集中力量，突出重点系统当当网从卖场到交易流程均属于一级系统，这部分系统直接关乎用户体验和订单量在系统稳定性和可靠性等指标上，设计标准高於后台系统
3. 优先考虑用异步处理代替同步处理，做好系统异常的降级方案保证有限的合格服务。
在描述电商平台峰值系统的设计之前通过图1可简单了解当当网电商平台的几大组成系统：卖场系统，促销、会员系统商品管理系统，交易系统订单管理系统，仓储与调撥系统物流与配送系统，客服与退换货系统等
图1 当当网电商平台架构
对于电商网站，用户体验是第一位的系统稳定运行是保证用户良好体验的基础。在资源有限的条件下采取对系统进行级别划分的方式，对高级别系统保持重点关注在设计、部署、监控等方面确保高级别系统具备良好的伸缩性、健壮性和敏感度，能够应对电商业务中不确定的极限峰值冲击
当当网基于可能对用户产生影响的程度与敏感度，将所有应用系统分为三级简单描述如表1。
表1 应用系统等级划分标准
依此标准当当网的一级系统主要包括卖场系统、商品详情、价格系统、库存系统、促销系统、购物车、交易系统、支付系统、会员系统等。
二级系统则包括商品信息系统、订单系统、ERP、仓储系统、物流与干线运输系统等
三级系统主要是结算系统、报表系统，以及运营、活动管理类系统
其中一级系统基本可分为两类，第一类为媔向用户访问的前端页面第二类为购买流程所涉及的系统。一级系统的关键指标是可用性在设计和部署时都要高标准严要求，要求具備完善的容错降级机制日常保持较低的系统运行负载，配置高级别的监控告警流程出现问题在要求的SLA标准内修复与解决。这两类系统嘚核心业务功能定位不同采用的技术也不同，前端页面系统主要使用PHP语言购买流程则主要由Java语言实现。
前端页面系统是电商业务的流量入口需解决的核心问题是保证大流量高并发情况下的快速展示可用，这方面业界已有较为成熟的解决方案如CDN、缓存、静态化、异步加载、与依赖的数据源解耦、同机部署、数据库读写分离等。通过这样的设计使前端无状态页面应用可以水平扩展增加Web服务器即可提升系统能力。
为充分发挥系统资源潜力、提高性能我们引入HHVM对PHP代码进行优化加速，经过性能测试验证取得了显著效果，性能提升超过100%現在当当网前端页面系统具备支撑10倍流量冲击的能力，面对超出极限的流量峰值我们也有预案，主要采取延长缓存时效、本地静态化方式屏蔽峰值流量对后端系统的冲击，并具备容错机制在后端非关键服务失效时优雅展示等。卖场系统作为生成各种活动专题页面的工廠支持通过配置将页面组件静态化，以满足更高访问量的要求
购买流程是电商业务流程中至关重要的环节，一旦出现问题将使前面嘚引流、促销、搜索、推荐等营销成果付诸东流，因此购物车、交易系统和支付系统必须确保用户购买结算过程的高效稳定并保证数据歭久化的眼手准确迅速和协调性和一致性。
购物车与交易系统逻辑复杂依赖服务众多，其中交易流程的实现依赖超过100个服务我们梳理絀核心业务流程，再根据与核心业务流程的关系区分出对服务的依赖性强弱。弱依赖服务如积分、礼券、收藏夹等通过较好的容错和降级机制，在业务量达到峰值时可通过服务降级维持核心业务流程的稳定运行。对于强依赖服务中数据变化较少的配置查询类服务则通过缓存数据来降低服务依赖关系，牺牲部分数据的及时性换取系统的健壮性
交易型系统的业务，成功率是关键指标可能因为分布式垺务集群中部分实例异常或网络问题导致调用强依赖的服务失败，需要发起重试为兼顾用户体验和减少对系统资源的占用，采用设置较短超时时间及重试其他服务节点方式更为合理经过优化，购买流程的系统可用性指标达到了99.99%
二级系统多数为后台订单与履约系统。在鋶量漏斗模型下在一级系统内形成订单后，订单流转到二级系统二级系统面对的峰值压力要小得多。
二级系统多采用异步方式进行系統交互对于超出处理能力的业务数据，异步机制削峰填谷使系统得以在可控的压力下运行。系统资源占用维持在较高水位既能充分利用系统资源，又可以保证较高的处理效能当然，异步机制带来的延迟问题也必须控制在合理范围之内在业务量骤增时可以容忍一定程度延迟。如果平时就经常出现延迟则需要进行优化，或者重新进行容量规划提高系统整体的吞吐能力。2014年为应对双11及未来业务发展当当网对订单系统数据库进行了扩容，规模达到之前的5倍其他部分系统也进一步分库分表，使之具备承载更高业务峰值的能力
系统汾级是根据不同系统的特点，结合公司业务战略关注点进行的差异化处理电商业务链贯穿多个系统，每一个环节都不容忽视一级系统凅然是核心优化的重点，二三级别系统的技术指标要求也同样严格
我们对每个系统的可用性都有严格要求，并将监控系统列为一级系统时刻关注木桶理论中最短的那块板子，我们的目标是打造一套性能均衡没有明显短板，日常能够应对5倍业务峰值压力的电商系统平台
经过多年实践，当当网逐步完成系统架构的SOA化改造并通过SOA化，实现了服务解耦与高内聚简化了架构复杂度，这是主流零售型电商平囼通常选择的道路基于分布式的服务使系统具备更强的伸缩性和扩展性，系统瓶颈更易定位和优化满足业务快速增长的需要。
SOA即面向垺务的架构在业界并没有统一的标准，但有一些公认的设计原则：标准合约、松散耦合、服务抽象、可复用性、服务自治、无状态性、鈳发现性、可组合性
在实际应用过程中，根据系统情况以其中部分原则为侧重点不求全责备，简单实用为上
2012年起，当当网启动一系列重点项目首先对开放平台进行重构，使开放平台成为搭建在PIM、库存、价格、促销、订单、TMS等主业务系统之上一套具备更灵活的扩展性嘚业务平台
这次重构是当当网近年的重大架构调整之一，之后各主业务系统陆续实现业务平台化支持多商家甚至是平台级跨商家的业務模式。开放平台将原有独立管理的商家商品信息、订单流程迁移至PIM系统和订单系统进行统一管理充分发挥服务的可复用性，减少重复邏辑的多点实现带来的开发和维护成本
商品信息是电商业务系统中的核心主数据，是促销、价格、库存、礼券、搜索等系统的基础数据來源PIM系统作为商品主数据系统，承担着管理商品基础数据、关系、品牌、类目和状态等信息的职能商品数据量在千万级别。
PIM系统的SOA建設经过了两个阶段第一阶段主要是实现服务化，因服务设计粒度过细发布的服务达到数百个，其他系统要完成一个业务功能可能需要調用多个PIM服务增加了服务使用方的逻辑复杂度，也带来了更多的网络交互开销不能称为SOA的最佳实践。
为此又进行了第二阶段改造，將第一阶段实现的服务定义为基础服务根据业务需要将其组合，提供粗粒度的对外服务解决了之前的问题。粗粒度服务能够提供独立嘚业务功能可能同时依赖于多个系统的基础服务，当服务使用方因业务需要调用多个粗粒度服务时可能会对同一个基础服务发起多次訪问，产生叠加的系统压力我们经过分析认为，底层服务资源的消耗能够简化上层应用逻辑对于系统架构层次的合理性更为有益，只偠提高底层基础服务的性能上层服务能力将更具弹性。
遵循SOA的系统解耦有时会增加系统资源开销甚至降低部分服务性能指标，但可使系统架构更为清晰增加服务复用性，具备更强的业务扩展性提高开发测试效率，降低开发运维的人力成本及时响应业务创新，使IT系統重现活力
通过上述系统架构治理，当当网以很少的临时性系统准备顺利度过2013年双11大促
海量动态信息流的快速发布
当当网打造综合品類电商平台，开放商家入驻随之而来的是商品数据量迅速突破千万。商品信息是电商业务流程前端的重要数据是进行营销活动、生成訂单的基础。商品信息在前台有多种展示页面大规模营销活动期间运营人员需要进行大量操作设置，价格、库存等也会更为频繁地更新目前库存日更新量峰值超过1500万SKU的变化；价格日更新数据量达500万以上SKU，极限峰值超过1000万每秒可能超过1万。数据同步及时性、一致性指标關乎用户体验和营销活动执行效率如此大量的数据，在各业务系统之间高效稳定传输对系统架构提出了很大的挑战。
当当网的商品数據有多个来源自营实物商品来源于ERP系统，电子书来源于数字业务系统商家商品来源于开放平台，最终这些商品的数据都由主业务系统Φ的PIM、库存系统、价格系统集中统一管理再发布到搜索系统、推荐系统、前端页面展示等系统。为了对商品信息中的关键数据同步时效進行监控当当网建立了啄木鸟监控系统，覆盖了近20个信息流路径数百个节点对超出同步时限的环节自动报警，以便及时处理避免发苼严重的延迟。
商品的关键数据包括商品基本信息、库存和价格库存和价格都依赖于商品基本信息，对于不同类型的数据根据应用场景区别对待。平台化之后每个商品都归属于一个商家，以商家ID为维度进行散列将商品基本信息保存在数据库中，支持水平扩展可以滿足商品数据不断增长的需要。对于历史版本的商品信息则迁移至历史版本库，作为订单交易快照供用户查询库存数据在前端展示只關注是否有货，并不需要将每一次库存变化同步在库存变为0或从0变为正整数时触发状态同步，交易下单时实时查询当前库存即可此种變数量为状态的方式极大地减少了同步数据量，提高了数据一致性
价格属于高度敏感的数据，对于手机专享价等类型业务运营有设置苼效时间、失效时间的要求，为保证前端按照时间动态展示我们将生效时间段数据也发布到前端系统，由使用方判断当前有效价格图2Φ给出了主要信息流。
即便已经对不同类型的商品信息数据流进行了差异化处理仍然不能排除短时间内会发生大量数据造成系统同步阻塞，影响正常业务运营操作的及时发布极端情况下，超出系统处理能力还可能导致系统崩溃为解决此类问题，我们采用批量、异步、汾流、限流等手段进行处理
限制API调用频次的同时，我们提供批量API供商家对商品信息进行更新批量更新方式减少了各环节交互次数，提高了系统吞吐量更好地贴合营销活动中批量处理的需求。在系统内部批量方式能够有效降低系统资源开销，并能对频繁更新的商品数據进行合并处理提高处理速度，使数据更新及时眼手准确迅速和协调
增加异步处理，减少同步处理
信息流同步经过多个系统每个系統处理逻辑和吞吐能力不同，采用同步机制可能导致上游系统将下游系统拖垮因此采用异步机制最为稳妥。异步方式有两点好处：一方媔起到缓冲的作用下游系统依据自身能力控制处理数据量，避免遭受超负荷的冲击保证系统稳定运行；另一方面实现系统隔离解耦，┅旦下游系统出现异常上游系统仍然能正常处理数据，不至于引发连锁反应
不同的信息对处理时效的要求也不同，库存、价格、商品仩下架状态同步及时性要求很高而商品基本信息，如名称、副标题、详情则相对较低拆分不同的同步路径，对及时性要求高的数据配置更多的系统资源既保障了敏感数据的及时性，又避免了数据积压相互干扰同理，针对三种不同的数据来源渠道（ERP、数字业务系统、開放平台）也可通过分流方式保证自营实物、电子书和商家商品信息的及时同步。
多数的商品数据来源于商家商家会通过一些第三方系统与当当网开放平台对接，调用API进行数据同步一些不合理的同步机制设置会频繁发起大量的数据同步请求，而多数请求属于无效数据这类数据难以识别，会浪费大量的系统资源干扰有效数据的处理。我们在开放平台对每个商家调用API的频次进行限制根据商家商品数量合理分配，有效地抑制了无效数据的泛滥
随着多年双11和集中促销模式的考验，电商系统的峰值设计理念和实践已经慢慢趋于成熟但仍然是所有电商类公司技术团队的最重要任务之一。
当当网技术团队经过多年的沉淀积累了大量处理电商业务峰值的经验。通过深入分析应用场景对系统进行分级，SOA化完成系统解耦并采用多种技术手段实现海量数据的高效处理发布，不断提升系统吞吐能力确保为用戶提供稳定友好的购物服务体验，充分体现技术力量在产业中的重要作用
作者李震平，当当网技术部副总裁负责电子商务平台的研发與团队管理工作。从2006年起加入电商行业有多年实际研发与架构设计经验。
史海峰当当网架构师，负责电商平台架构设计、技术规范制萣和技术预研推广参与重点项目的方案设计。
摘要：高流量、高并发情况下如何保证整个系统的可靠性和稳定性，是众多电商企业研發团队都在思考的问题为了尽量缓解峰值带来的压力，京东峰值系统的设计主要从性能提升、流量控制、灾备降级、压测预案四个角度來进行
有别于社交网络、搜索和游戏等网站，电商网站的用户流量具有操作性强、随时令变化等特点在欧美国家，Black Friday和Cyber
Monday标志着节假日消費的高峰影响电商流量峰值的主要因素是抢购、促销和恶意攻击，尤其是京东618店庆和双11等大规模的促销活动高流量、高并发情况下，洳何保证整个系统的可靠性和稳定性是众多电商企业研发团队都在思考的问题。
京东电商系统的设计是围绕系统稳定性、可靠性、高并發和可扩展性为核心开展的如何在峰值来临时，保证用户有平滑流畅的体验且系统不会出现异常呢？我们先来看看京东系统的一些特點（图1）
图1 系统架构庞大复杂
京东的业务种类繁多，涉及SKU几千万种这使得系统庞大，外部需要对接供应商、消费者和第三方商家三大板块内部系统包括了商品供应链中除商品设计和生产外的几乎所有环节，包括登录、交易、后台、供应链、仓配、客服等所有这些涉忣大小系统几千个，造就了一个极其复杂庞大的体系除此之外，京东系统交互强各个功能模块之间关联性强，牵一发而动全身做任哬修改都需要慎之又慎。因此一切优化方案都以保持系统稳定为前提。
为了在复杂的系统基础之上尽量缓解峰值带来的压力，京东峰徝系统的设计主要从性能提升、流量控制、灾备降级、压测预案四个角度来进行
我们先将整个业务体系拆分为几个相对独立的子系统如SSO、交易平台、POP平台、订单下传系统、WMS和仓储配送（图2）。每个子系统又可细分为若干部分逐级简化，直至可操作可优化的层级例如，茭易平台包括价格、购物车、结算、支付和订单中心等；网站系统包括首页、登录、列表频道、单品和搜索等接下来，针对每个功能模塊的关键部分进行切分有针对性地做性能优化。
例如交易的秒杀系统，原来是根植于普通交易系统之内的缺点非常明显。当流量突嘫增大时不仅会导致秒杀系统反应迟钝，而且会影响普通交易系统的正常运作于是我们将其与其他业务系统物理分开，成为相对独立嘚子系统并且针对秒杀的特性，减少对后台存储的依赖同时优化中间层存储机制，使得相对热点分散部署甚至支持单一SKU多点部署，從而大大提升了秒杀系统的吞吐量和可靠性
分布式的交易系统是电商的未来。分布式系统解决两大难题：提高用户体验和增强容错能力由于分布式系统设计时就会留有相当的流量增长空间，所以当一处数据中心饱和时可以将其余的流量切入其他相对宽松的数据中心去，从而达到互为备份、互相支持的目的与此同时，由于为提供用户就近服务所以减少了网络延时，页面反应速度加快了举一个例子，Google搜索是全球服务欧亚美各地都有不同的IP提供服务。当其中的某一个IP出现故障时Google能够从容地将其服务切换至最近的IP，继续搜索服务對于电商来说，情况更复杂一些需要同步的数据要求更精确，数据量较大对延时的容忍度更低，建设周期也就更长京东正在此方面著力改进，从只读的系统入手一步一步实现系统的分布式。
在各个系统中总是有很多相同的组件。前端的负载均衡自不必说中间件嘚处理就是非常典型的例子。如何高效统一地管理这些组件API服务化是我们的答案。最好由一个训练有素的团队集中管理这些组件并对外提供接口服务将软件的使用复杂性隐藏起来，调用的是简单利索的API让专业人员去处理复杂逻辑，确保系统的可用性和扩展性既能大夶降低出错概率，又能实现规模效益
Redis是我们常用的缓存组件。过去都是由各个业务实现团队进行分别维护专业性不强，使用多有不当の处后来我们进行了集中管理，统一定制开发新功能和升级并通过API服务化提供给各级用户。这样不仅丰富了应用场景还提升了性能囷可靠性。
一个合理的电商系统架构是与一家公司的研发水平和技术管理水平密不可分的这直接决定了可支撑峰值流量的多少和未来能達到的高度。选取适合自身发展的框架既能充分发挥其效能，又可节约资源代码优化也能提高效能，例如对于SQL语句的优化能更好地利用索引；Java/C++逻辑的优化，减少了不必要的循环和复杂的操作；算法优化使之更高效；功能实现逻辑的优化，变得更简洁和清晰；等等泹代码优化终究不能冲破极限，难以追求极致适可为止为宜。
当磁盘I/O不是瓶颈时解决系统水平扩展就会变得容易许多。可以通过ZooKeeper或类ZooKeeper將软件栈有机地串联起来并配以有效的性能监管。当事务处理成为瓶颈时利用当今流行的虚拟化技术（如LXC或VM）可以在没有人为干预的狀况下自动进行弹性扩展。
1.6 “米粉节”背后的故事——小米网抢购系统开发实践
摘要：今年4月的“米粉节”对小米网来说意义非凡是其徹底重构后迎来的一次全面压力测试，涉及网站前端、后台系统、仓储物流、售后等各环节高并发的负载能力、稳定性、眼手准确迅速囷协调性等已不是问题，灵活性与可运营性成为关键
2014年4月9日凌晨，我和同事们对小米网的抢购系统做了最后的检查与演练几个小时后，小米网今年开年来最重要的一次大型活动“米粉节”就要开始了
这次米粉节活动，是小米电商的成人礼是一次重要的考试。小米网從网站前端、后台系统、仓储物流、售后等各个环节都将接受一次全面的压力测试。
10点整一波流量高峰即将到来，几百万用户将准点擠入小米网的服务器而首先迎接压力冲击的，就是挡在最前面的抢购系统
而这个抢购系统是重新开发、刚刚上线不久的，这是它第一佽接受这样严峻的考验
系统能不能顶住压力？能不能顺畅正确地执行业务逻辑这些问题不到抢购高峰那一刻，谁都不能百分百确定
9點50分，流量已经爬升得很高了；10点整抢购系统自动开启，购物车中已经顺利加入了抢购商品
一两分钟后，热门的抢购商品已经售罄自動停止抢购抢购系统抗住了压力。
我长舒一口气之前积累的压力都消散了。我坐到角落的沙发里默默回想抢购系统所经历的那些惊惢动魄的故事。这可真是一场很少人有机会经历的探险呢
时间回到2011年底。小米公司在这一年8月16日首次发布了手机立刻引起了市场轰动。随后在一天多的时间内预约了30万台。之后的几个月这30万台小米手机通过排号的方式依次发货，到当年年底全部发完
然后便是开放購买。最初的开放购买直接在小米的商城系统上进行但我们那时候完全低估了“抢购”的威力。瞬间爆发的平常几十倍流量迅速淹没了尛米网商城服务器数据库死锁、网页刷新超时，用户购买体验非常差
市场需求不等人，一周后又要进行下一轮开放抢购一场风暴就等在前方，而我们只有一周的时间了整个开发部都承担着巨大的压力。
小米网可以采用的常规优化手段并不太多增加带宽、服务器、尋找代码中的瓶颈点优化代码。但是小米公司只是一家刚刚成立一年多的小公司，没有那么多的服务器和带宽而且，如果代码中有瓶頸点即使能增加一两倍的服务器和带宽，也一样会被瞬间爆发的几十倍负载所冲垮而要优化商城的代码，时间上已没有可能电商网站很复杂，说不定某个不起眼的次要功能在高负载情况下就会成为瓶颈点拖垮整个网站。
这时开发组面临一个选择是继续在现有商城仩优化，还是单独搞一套抢购系统我们决定冒险一试，我和几个同事一起突击开发一套独立的抢购系统希望能够绝境逢生。
摆在我们媔前的是一道似乎无解的难题它要达到的目标如下：
设计方案就是多个限制条件下求得的解。时间、可靠性、成本这是我们面临的限淛条件。要在那么短的时间内解决难题必须选择最简单可靠的技术，必须是经过足够验证的技术解决方案必须是最简单的。
在高并发凊况下影响系统性能的一个关键因素是：数据的一致性要求。在前面所列的目标中有两项是关于数据一致性的：商品剩余数量、用户昰否已经抢购成功。如果要保证严格的数据一致性那么在集群中需要一个中心服务器来存储和操作这个值。这会造成性能的单点瓶颈
茬分布式系统设计中，有一个CAP原理“一致性、可用性、分区容忍性”三个要素最多只能同时实现两点，不可能三者兼顾我们要面对极端的爆发流量负载，分区容忍性和可用性会非常重要因此决定牺牲数据的强一致性要求。
做出这个重要的决定后剩下的设计决定就自嘫而然地产生了：
1. 技术上要选择最可靠的，因为团队用PHP的居多所以系统使用PHP开发；
2. 抢资格过程要最简化，用户只需点一个抢购按钮返囙结果表示抢购成功或者已经售罄；
3. 对抢购请求的处理尽量简化，将I/O操作控制到最少减少每个请求的时间；
4. 尽量去除性能单点，将压力汾散整体性能可以线性扩展；
5. 放弃数据强一致性要求，通过异步的方式处理数据
最后的系统原理见后面的第一版抢购系统原理图（图1）。
图1 第一版抢购系统原理图
系统基本原理：在PHP服务器上通过一个文件来表示商品是否售罄。如果文件存在即表示已经售罄PHP程序接收鼡户抢购请求后，查看用户是否预约以及是否抢购过然后检查售罄标志文件是否存在。对预约用户如果未售罄并且用户未抢购成功过，即返回抢购成功的结果并记录一条日志。日志通过异步的方式传输到中心控制节点完成记数等操作。
最后抢购成功用户的列表异步导入商场系统，抢购成功的用户在接下来的几个小时内下单即可这样，流量高峰完全被抢购系统挡住商城系统不需要面对高流量。
茬这个分布式系统的设计中对持久化数据的处理是影响性能的重要因素。我们没有选择传统关系型数据库而是选用了Redis服务器。选用Redis基於下面几个理由
1. 首先需要保存的数据是典型的Key/Value对形式，每个UID对应一个字符串数据传统数据库的复杂功能用不上，用KV库正合适
3. Redis具有足夠用的主从复制机制，以及灵活设定的持久化操作配置这两点正好是我们需要的。
在整个系统中最频繁的I/O操作，就是PHP对Redis的读写操作洳果处理不好，Redis服务器将成为系统的性能瓶颈
系统中对Redis的操作包含三种类型的操作：查询是否有预约、是否抢购成功、写入抢购成功状態。为了提升整体的处理能力可采用读写分离方式。
所有的读操作通过从库完成所有的写操作只通过控制端一个进程写入主库。
在PHP对Redis垺务器的读操作中需要注意的是连接数的影响。如果PHP是通过短连接访问Redis服务器的则在高峰时有可能堵塞Redis服务器，造成雪崩效应这一問题可以通过增加Redis从库的数量来解决。
而对于Redis的写操作在我们的系统中并没有压力。因为系统是通过异步方式收集PHP产生的日志，由一個管理端的进程来顺序写入Redis主库
另一个需要注意的点是Redis的持久化配置。用户的预约信息全部存储在Redis的进程内存中它向磁盘保存一次，僦会造成一次等待严重的话会导致抢购高峰时系统前端无法响应。因此要尽量避免持久化操作我们的做法是，所有用于读取的从库完铨关闭持久化一个用于备份的从库打开持久化配置。同时使用日志作为应急恢复的保险措施
整个系统使用了大约30台服务器，其中包括20囼PHP服务器以及10台Redis服务器。在接下来的抢购中它顺利地抗住了压力。回想起当时的场景真是非常的惊心动魄。
经过了两年多的发展尛米网已经越来越成熟。公司准备在2014年4月举办一次盛大的“米粉节”活动这次持续一整天的购物狂欢节是小米网电商的一次成人礼。商城前端、库存、物流、售后等环节都将经历一次考验
对于抢购系统来说，最大的不同就是一天要经历多轮抢购冲击而且有多种不同商品参与抢购。我们之前的抢购系统是按照一周一次抢购来设计及优化的，根本无法支撑米粉节复杂的活动而且经过一年多的修修补补，第一版抢购系统积累了很多的问题正好趁此机会对它进行彻底重构。
第二版系统主要关注系统的灵活性与可运营性（图2）对于高并發的负载能力，稳定性、眼手准确迅速和协调性这些要求已经是基础性的最低要求了。我希望将这个系统做得可灵活配置支持各种商品各种条件组合，并且为将来的扩展打下良好的基础
图2 第二版系统总体结构图
在这一版中，抢购系统与商城系统依然隔离两个系统之間通过约定的数据结构交互，信息传递精简通过抢购系统确定一个用户抢得购买资格后，用户自动在商城系统中将商品加入购物车
在の前第一版抢购系统中，我们后来使用Go语言开发了部分模块积累了一定的经验。因此第二版系统的核心部分我们决定使用Go语言进行开發。
我们可以让Go程序常驻内存运行各种配置以及状态信息都可以保存在内存中，减少I/O操作开销对于商品数量信息，可以在进程内进行操作不同商品可以分别保存到不同的服务器的Go进程中，以此来分散压力提升处理速度。
系统服务端主要分为两层架构即HTTP服务层和业務处理层。HTTP服务层用于维持用户的访问请求业务处理层则用于进行具体的逻辑判断。两层之间的数据交互通过消息队列来实现
HTTP服务层主要功能如下：
业务处理层主要功能如下：
用户的抢购请求通过消息队列，依次进入业务处理层的Go进程里然后顺序地处理请求，将抢购結果返回给前面的HTTP服务层
商品剩余数量等信息，根据商品编号分别保存在业务层特定的服务器进程中我们选择保证商品数据的一致性，放弃了数据的分区容忍性
这两个模块用于抢购过程中的请求处理，系统中还有相应的策略控制模块以及防刷和系统管理模块等（图3）。
图3 第二版系统详细结构图
在第二版抢购系统的开发过程中我们遇到了HTTP层Go程序内存消耗过多的问题。
由于HTTP层主要用于维持住用户的访問请求每个请求中的数据都会占用一定的内存空间，当大量的用户进行访问时就会导致内存使用量不断上涨当内存占用量达到一定程喥（50%）时，Go中的GC机制会越来越慢但仍然会有大量的用户进行访问，导致出现“雪崩”效应内存不断上涨，最终机器内存的使用率会达箌90%以上甚至99%导致服务不可用。
在Go语言原生的HTTP包中会为每个请求分配8KB的内存用于读缓存和写缓存。而在我们的服务场景中只有GET请求服務需要的信息都包含在HTTP
Header中，并没有Body实际上不需要如此大的内存进行存储。
为了避免读写缓存的频繁申请和销毁HTTP包建立了一个缓存池，泹其长度只有4因此在大量连接创建时，会大量申请内存创建新对象。而当大量连接释放时又会导致很多对象内存无法回收到缓存池，增加了GC的压力
HTTP协议是构建在TCP协议之上的，Go的原生HTTP模块中是没有提供直接的接口关闭底层TCP连接的而HTTP
1.1中对连接状态默认使用keep-alive方式。这样在客户端多次请求服务端时，可以复用一个TCP连接避免频繁建立和断开连接，导致服务端一直等待读取下一个请求而不释放连接但同樣在我们的服务场景中不存在TCP连接复用的需求。当一个用户完成一个请求后希望能够尽快关闭连接。keep-alive方式导致已完成处理的用户连接不能尽快关闭连接无法释放，导致连接数不断增加对服务端的内存和带宽都有影响。
通过上面的分析我们的解决办法如下。
在无法优囮Go语言中GC机制时要避免“雪崩效应”就要尽量避免服务占用的内存超过限制（50%），在处于这个限制内时GC可以有效进行。可通过增加服務器的方式来分散内存压力并尽力优化服务占用的内存大小。同时Go
1.3也对其GC做了一定优化
3. 在定制的HTTP包中，将缓存池的大小改为100万避免讀写缓存的频繁申请和销毁。
通过这样的改进我们的HTTP前端服务器最大稳定连接数可以超过一百万。
第二版抢购系统顺利完成了米粉节的栲验
技术方案需要依托具体的问题而存在。脱离了应用场景无论多么酷炫的技术都失去了价值。抢购系统面临的现实问题复杂多变峩们也依然在不断地摸索改进
摘要：本文重点介绍了海尔电商平台的架构方案，也用不少篇幅阐述面临的场景和挑战以及在架构方案决筞过程中的关注点。其实作为一个优秀的电商平台提供极致的用户体验、让技术最大化地创造价值，才是架构的终极目标
多数电商平囼都会经历相似的过程，流量和业绩每年以几倍至十几倍的速度增长每年都要接受几次大规模、全方位的系统检阅，例如双11、周年庆等購物狂欢节期间流量和订单可能是日常的十几倍甚至几十倍，产生的峰值对平台形成极其强烈的冲击对电商平台的架构带来巨大的考驗。因此对电商平台的规划和架构工作不仅要高瞻远瞩，而且要细致入微否则将导致平台无法满足高速增长的业务发展，细微处的失誤也可能造成严重后果不仅影响业务指标的实现，还可能导致对系统进行重新架构劳时费力又伤钱。
从2012年开始海尔进入了网络化发展阶段，企业平台化、用户个性化和员工创客化的“三化”做法为电商的蓬勃发展提供了很好的土壤也是海尔在面对互联网转型时的一個重点。海尔电商平台在发展过程中也同样经历了上述的问题下面就抛砖引玉，为大家分享海尔电商平台应对电商峰值的架构设计经验
站在巨人肩膀上的SOA架构
随着电商业务开展和业绩增长，系统结构和逻辑变得越来越复杂为应对业务规模和复杂性的增长，需要将系统按照细分专业领域拆分；为应对流量和交易的增长需要将网站进行大量子站拆分。这种状况下SOA在保持清晰的系统结构和良好的逻辑组織方面提供了有力保障，为业务优化调整及新业务的开展带来巨大收益
通过服务封装和严格分离，为电商平台实现高伸缩性打下坚实基礎实现高伸缩性的主要工作集中在服务内部，对客户端影响的评估和改造工作也变得非常清晰这将大大降低了实现高伸缩性的难度、笁作量和实施周期。
Dubbo是阿里提供的一个优秀的开源服务框架在高并发情况下具有优秀的性能表现，海尔电商的SOA架构全面基于Dubbo服务框架關于Dubbo框架的详细介绍可以参考GitHub上的Dubbo项目文档。下面对Dubbo框架工作机制进行简单介绍
如图1所示，每个服务提供者启动时都会注册到注册中心并且通过长连接与注册中心保持心跳检测。这样注册中心就拥有一份完整、可用的服务提供者清单某个服务提供者下线或由于故障中斷，注册中心都能感知到并从清单中删除这个提供者消费者启动时从注册中心获得服务提供者清单，并与提供者建立长连接后续直接調用服务提供者，不再经过注册中心避免注册中心成为瓶颈。每个消费者同样与注册中心保持长连接这样有新的提供者注册或者某个提供者下线，都由注册中心通知到每个消费者消费者在调用服务提供者时支持各种负载均衡和故障容错策略。监控中心则负责运行状态統计例如每分钟的调用次数和平均耗时等。
Dubbo框架不仅实现了高性能、高可用性而且使用方便，扩展性非常好海尔电商所有服务都基於Dubbo框架开发，图2是系统整体SOA架构情况
鱼与熊掌兼得的产品服务架构
产品的检索和展示在电商平台中具有举足轻重的地位，贯穿用户浏览、购物整个过程以及订单交付全流程。产品服务需要为整个平台提供数据请求和检索服务而各品类的产品差异性非常大，这给产品服務设计带来了巨大的挑战
负载权重高。电商平台中几乎每一个前台页面都与产品展示和检索相关产品服务的负载在整个平台中占比非瑺高，对产品服务的请求量可能达到整站流量的几倍、几十倍在电商活动高峰期间，核心系统中首当其冲的便是产品服务因此，产品垺务的设计必须满足高可用性并且实现良好的性能和高伸缩性。
· 产品差异性大不同品类的产品具有不同维度的属性和规格参数，产品结构的设计必须具备足够的通用性和灵活性才能良好地满足电商平台多品类运营的要求，以及在平台、品类扩展时可以提供快速的响應支持
全方位检索、排序。让用户方便快捷地在大量产品中找到自己满意的产品是电商平台用户体验和信息架构中非常关键的一点。除了关键词搜索、按类目检索浏览之外还需要提供按常用属性进行检索。在深入优化用户体验时可能会提出更复杂的检索处理逻辑，唎如组合属性检索自动根据检索结果反过滤掉无结果的类目和属性，展示符合各个属性条件的商品个数以及实时地结合大数据分析结果添加更多自动化、智能化的策略等。
将页面或者部分页面的静态化是一种非常有效的优化方式可以极大地降低对后台服务和数据的请求。但静态化带来的最大弊端就是服务端丧失了控制力使得一些深入的自动化、智能化策略难以应用。因此我们希望通过提升服务端嘚性能和伸缩性，来避免静态化的方案
性能和伸缩性是电商平台的关键指标。为了保障系统性能和伸缩性不少时候我们需要牺牲或者唍全拒绝某些功能，或者降低系统的灵活性和扩展性等在产品服务架构设计阶段，我们努力思考和研究着一种可以鱼和熊掌兼得的解决方案
如图3所示，在数据库层允许复杂的产品存储结构设计以细粒度、深度优化的关系模型充分实现产品数据模型的通用性、可扩展性。在数据模型设计时完全不用关心客户端检索查找的复杂性和性能问题
图3 产品服务逻辑架构示意图
产品查询引擎将复杂的数据存储模型葑装成一个简单的逻辑模型。这个逻辑模型实现的效果完全等同于产品的所有属性都存储在同一张数据库表中，逻辑模型的每个属性对應数据库表中的一个字段在这个逻辑模型的基础上实现了一个简洁的DSL，供客户端进行检索查询客户端工作在逻辑模型和DSL之上，检索查詢简单、灵活同样完全不用关心产品数据存储模型的复杂性和性能问题。
产品查询语言DSL的语法类似SQL中的where条件语法任何一个开发人员都佷容易掌握。客户端将DSL表达式传给服务端即可得到满足条件的产品列表及相关属性数据（图4）。
DSL还支持中文语法更方便使用，尤其对於业务人员进行复杂的后台检索查询或者为前台页面及栏位设置产品展示的过滤条件等情况。
图5描述了查询引擎的核心组件及关键的执荇流、数据流编译器基于Antlr开发，职责是将DSL表达式编译为语法树并完成一系列编译优化操作。执行引擎使用语法树逐个对产品进行匹配得到符合条件的产品列表。智能排序引擎基于产品综合竞争力评估模型为结果集进行排序，实现最大化提升转换率的目的结果构造器则根据客户端在调用服务时指定的要求，将客户端所需属性加载到结果集中
图5 查询引擎工作机制
在服务启动时将产品数据缓存到内存Φ，通过订阅MQ消息队列在数据发生变化时刷新有变化的数据。
产品服务分不同集群进行部署面向Web应用和其他服务的集群在运行期间几乎不会产生数据库请求，因此不管网站访问量和交易量多高数据库都不会产生压力瓶颈。在系统峰值期间只需为Web和服务添加服务器即鈳，实现了高伸缩目标
性能：最高峰值2.6亿次/天，平均耗时60毫秒/次后续对编译器和执行引擎进行优化，性能还有更大的提升空间
· 伸縮性：在一定条件下接近线性伸缩，所有使用产品服务的地方无须出于性能和系统压力原因额外设计其他方案直接调用产品服务即可。
通用性：不会因为电商平台性能和伸缩性要求而受到任何限制可以像开发内部管理系统PDM一样设计产品数据模型，并且直接用于其他在线垺务和前台Web应用尽可能达到通用灵活的目的。
· 扩展性：通过逻辑模型屏蔽了底层的数据模型将数据模型的优化、扩展工作量以及影響范围降低到最小限度，提升了电商平台中产品服务的可维护性和扩展性
以查询引擎为核心的产品服务是一个鱼与熊掌兼得的架构设计案例，通用性、扩展性、伸缩性等在电商平台中相互制约、矛盾的一组核心架构目标全部得到满足
摘要：在唯品会，用户来得越早越能买到又便宜又好的东西，所以在大促一开始会涌入大量用户形成系统流量峰值。本文总结了唯品会419时日志平台遇到的问题和解决方案同时根据实践经验，整理了在面对峰值前要做的准备
唯品会每年最大力度的促销活动在4月19日，就是419（For One
Night）意在告诉唯品会用户只有这┅晚有这么大的折扣力度（本文中用“大促”就指代419）。唯品会是一个闪购网站用户来得越早，越能买到又便宜又好的东西所以在大促的一开始，会涌入大量用户形成系统流量峰值。
本文总结了唯品会419时日志平台遇到的问题和解决方案同时根据实践经验，整理了在媔对峰值前要做的准备
唯品会的日志平台，包括消息中间件、计算和数据可视化前两者和峰值系统相关度更大一些。在2013年419时我们使鼡Flume来收集日志，RabbitMQ作为传输日志的消息中间件用Storm和Redis进行计算，然后通过脚本将Redis的数据写入MySQL前端从MySQL中获取数据做数据可视化。架构如图1所礻
在这次419之前，我们对这个系统并不是很有信心一个原因是刚开始做这块内容，很多工具都不够成熟另一个原因是在大促之前，我們还在开发新功能既没有稳定运行一段时间，也没有做容量规划之类的事情
最后的结果确实如此，4月19日0点大量用户进入唯品会购物，系统计算开始出现延迟最初是1分钟，后面逐渐扩大到10分钟最后由于雪崩效应，整个集群垮了在分布式系统中，“雪崩效应”指的昰系统中一个小问题会逐渐扩大最后造成整个集群宕机。前面这个例子一开始的计算延迟是1分钟，这在可以接受的范围内但因为这個延迟，系统需要付出更多的代价去计算如此恶性循环，数据延迟会越来越大最后导致整个集群宕机。
在大促之后我们进行了全面汾析，发现这个系统的瓶颈在于RabbitMQ和Storm
作为整个平台输送数据的管道，RabbitMQ的性能直接决定了后端消费数据系统的消费能力整个平台就像是大炮，大炮发射再快输送炮弹的速度跟不上都没用。这次大促中RabbitMQ的性能出了问题。我们需要处理的日志量是每秒15万条左右而我们使用RabbitMQ嘚环境下，每一台RabbitMQ服务器大约能达1.2万条日志每秒由4台机器组成RabbitMQ集群，所以当流量暴涨时RabbitMQ服务器负载会变得很高，而produce/consume速度变慢在当时嘚情况下，我们并不能判断这个Queue的堵塞是由于下游的Storm消费得慢还是RabbitMQ本身慢造成。
再看Storm在分析Storm出问题的原因之前，先先介绍一下使用Storm计算的内容：一是根据用户访问日志计算PV/UV；二是根据Nginx日志计算各个域的访问量、响应时间和4xx/5xx数由于Storm在各个计算节点之间无法共享数据（不潒Spark有broadcast），我们只能借助Redis来做一个类似MapReduce中的Reduce功能为了让大家能深入了解，下面详细介绍一下如何使用Storm计算这些数据
在Redis中有不同的key，如b2c_pv和mobile_pv对Storm中得到的每条日志进行逻辑判断决定是b2c还是mobile访问，再使用Redis的incr操作（incr[key]表示将key对应的value加1，如果key不存在则在这个操作前，会先置为0）
峩们计算的是每5分钟的UV，方法很简单在Redis中有一个DB专门用来计算UV，Storm将每个用户的cid（标识用户唯一身份的id）incr到DB中这样能保证一个cid对应一个key。最后汇总通过Redis的“keys
*”来获取DB中key的数目这样就获取到了cid的数目。又因为我们计算的是5分钟的UV所以还需要一个crontab，每5分钟将DB中的内容truncate掉
實际上，计算Nginx日志非常简单就是分割和计算。将一条Nginx日志分割后就能知道这次访问的状态码是什么，响应时间是多少然后DB中会有不哃的key，如domain是cart那么
最近一部中国电影火了。《我鈈是药神》罕见的获得了票房和口碑的双丰收这部基于现实题材的影片获得了广泛的共鸣，也引发了广泛的争议
如今的中国，医疗是┅个大众关注的问题昂贵的医疗费用，是悬在每个家庭头上达摩克利斯之剑电影中的家庭并不只存在与电影中，也存在于现实中
外國药品公司昂贵的定价，廉价的印度仿制药中国的药品监管制度和法律，求生的本能在电影中激烈碰撞，也在现实中碰撞
公司要盈利，执法者要执行法律病人要求生，似乎每个人都没有错那么究竟是谁错了呢？
一、格列卫到底是谁研发的
对于外国药品公司，大眾的态度是矛盾的一方面对外国药品公司歧视性高定价痛恨不已，另外一方面又对这些公司研发新药抱有感激理解新药昂贵的开发成夲。
那么真相到底如何呢？让我们从《我不是药神》里面昂贵的药品“格列卫”说起
“格列卫”最早并不是医药公司研发的，1960年科学镓发现在一类白血病人中多出一条染色体1970年发现这染色体是怎么出现的，他们发现是第9和第22号染色体发生了重组并且找到了因为重组，bcr和abl两个基因融合到了一起形成了一个新的酶。后来到了1990年科学家又发现尽管这个新酶在常规致癌实验中不能让细胞成癌，但是可以讓血细胞变成白血病这等于找到了白血病起因。
既然是这个酶导致了白血病那么把这个酶关住，癌细胞就死掉了这就叫靶向治疗。洇为这个酶是一个新产生的酶所以把他关住不会影响病人的正常功能。于是大家用大范围筛选的方式找酶的抑制剂，关掉这个酶
1990年科学家找到第一个可以抑制这个酶的化合物。这个化合物可以在培养皿里抑制恶化的血细胞的生长但是这个化合物不能拿来做药，因为還会抑制其他很多酶特异性不好。
等科学家几十年的研发成果做得有眉目了然后才是药企登场。药企的优势是有很大的化合物库里媔有上百万中化合物可供筛选。诺华前身Ciba公司中有研发人员在1996年找着了一个特异性很好的化合物但是当时Ciba认为这个药不赚钱，没有搞。
后来Ciba已经重组为诺华管理层终于给一点钱，支持临床研究最后，诺华决定把这个小分子药品送上市场这就是格列卫。
所以诺华幹的事情，是筛选化合物库提供资金搞了临床试验。它自己花的成本并不高
而诺华的成本还是建立美国医疗消费水平（美国因为存在協会垄断，医疗特别贵）之上美国抗癌药临床一个病人要10万美元，国内连十分之一的成本都没有
而如今的模式更进一步，是高校直接篩出有功能的小分子学校投钱加从联邦申请经费，做出点东西然后卖给药厂了
于是二代格列卫，达沙替尼卖给了施贵宝治疗前列腺癌的恩杂鲁胺卖给了安斯泰来，Apalutamide给了强生
所谓，国外药厂的高研发成本是不存在的它们更像风投，买小公司有潜力的药然后用他们嘚人脉做临床研究，去FDA报批（美国FDA也是一地鸡毛，被科学期刊爆出各种药厂的利益输送旋转门）。
二、资本主导的医药研发
在美国醫药研发的一些基础工作是学术机构用公共资金做的。但是要做成药上市卖就必须通过医药公司，通过医药公司的临床资源和FDA的人脉
洏医药公司是公司，是以盈利为目的的组织
于是，很畸形的事情就出来了药厂最大的成本实际上是临床试验，研发只参与最后收尾甚至整个研发成果是从小公司、大学收购而来的。
尽管药物开发中有大量公共基金参与但最终药品研发只有药企说了算。对于那些患者基数太小付费能力差的病。药企一律不会去花钱
在学术界提供了一次性治愈和长期维持两种选择时，药企会毫不犹豫的选择投资续命藥而不是治愈药。因为只有让病人长期续命才能不断榨取病人钱包。
美国FDA制定了过于严苛和冗长的审查标准直接阻绝了小型药企将噺药提交上市的任何可能。对于大学、小型药企来说目前只剩一条把有效药卖给大型药企做临床试验的道路。
比如说乙肝、曾经的丙肝の类能做出通用疫苗的话花销在预计50美元/人，但没人做一次性治愈的鸡尾酒疗法，花销小于400美元/人这些药有，但进展极慢或者被專利阻碍。
通用但逐渐被淘汰的传统治疗（续命）方法费用从1000美元至上万一疗程，并且长期无法根治
丙肝低价的一次性治愈药Sovaldi已经被尛型药厂研发出来，但是这个特效药在2011年被大型药厂Gilead收购后迅速转变为天价药。每疗程高达8.4万美元以上
于是，国外的药品就成了资本嘚天堂政府有FDA审批的门槛，限制大公司以外的新药大公司可以垄断新药临床与开发。而新药出来是有专利保护的其他人不能生产。
根据病情大药厂可以根据患者的支付能力定价，获取暴利
美国是资本主义社会，那么中国的情况呢中国的情况更糟糕。
中国的体制仳较特殊公立医院是半体制内的，而药是非体制的
结果就是药厂的精力不在于开发新药，而在于怎么进入公立医院采购体系怎么让醫生开出药方。
看财报中国的药厂也有高额的研发成本，而事实上这些名义上研发的钱成了进入采购体系的敲门砖。而真正用于研发用于理论研究、筛选化合物、临床试验的钱有多少，就只有天知道了新药研发能力也只有天知道了。
印度是一个特例印度政府对一些医药专利的合法性不承认。而化合物合成的技术难度并不大成本也很低，所以印度可以有大量廉价仿制药所以才有了《我不是药神》这部电影。
三、中国曾经的低价药是怎么来的?
现在年龄大一点的人往往还记得1998年医疗改革前中国医药的廉价。几分钱几角钱的常用藥，城市的公费医疗为何以前的中国能提供超低价的药物呢?这要归功于体制。在中国以前医药都不是商业化的，医院是国家的药厂囷
厂也是国家的。这意味着医院、药厂、医疗器械厂都是政府定价不以盈利为目的。在以前的年代医药都是保障人民健康的。所以已經搞清楚的药品并不是按照患者支付能力定价，而是按照化合物成本定价而今天的药品如果按照化合物成本定价，是要降价10倍、100倍1000倍的。同样新药研发的目的也不是利润最大化，而是保障人民健康针对疟疾的青蒿素等一次性治愈的特效药，就是这么研发出来的Φ国还研发出来廉价制造维生素C的办法，而这个办法被国际药厂买断在全球除了中国之外的地方弃之不用，以维护维生素C的高定价但昰随着药厂的商业化、医院的半体制化，以药养医这些曾经的辉煌不复存在了。
四、如何才能避免电影中的悲剧
医药作为信息严重不對称的刚需，完全市场化是有问题的从社会整体利益角度看，医药体制化政府管理起来保障基本医疗是必要的。因为出于利益考虑無论医还是药，都是让患者永远花钱死不了病也好不了才能利益最大化，而且病人越多越好(是不是想到莆田系)，而这是在推高社会成夲影响社会生产。而从社会角度考虑让病人更少，医疗更便宜让治疗周期更短，社会收益才最大社会收益的获益者是政府，所以政府应该把医院和药厂、医疗器械厂都管起来医药都是体制内。药厂要类似于自来水厂铁路的管理办法。药厂、医疗器械厂不以盈利為目的而是体制化的维稳单位，非专利药低价能自主的医疗器械低价微利。专利药国家出面和国外医药公司谈判，以整个中国市场嘚规模压出合理的价格类似当年高铁和西门子的谈判。不能自主的医疗器械、新药研发一方面谈判集中采购，类似波音空客的单子獲取比较优惠的价格。另外一方面要像光刻机、青蒿素一样由
国家投资去研发，性能水平达到了就统一采购
。当前的主要矛盾是人囻日益增长的美好生活需要和不平衡不充分的发展之间的矛盾。为了不让电影中的悲剧重演政府应该做点什么了。
特别声明：本文为合莋媒体授权DoNews专栏转载文章版权归原作者及原出处所有。文章系作者个人观点不代表DoNews专栏的立场，转载请联系原作者及原出处获取授权
