网购狂欢节背后的技术阅兵& & &稳定性的极致要求& & 1. 容量预估、依赖治理、监控& & 2. 业务降级、限流预案& & 3. 全链路压测&&天猫篇&（1）双11的前端实践& & 1. 淘宝的前台资源采用的都是非覆盖式发布，通过语义化路径定位，这样前后台可以分开发布，还能独立回滚& & 2. 全站采用统一的kissy,MUI,通过配置文件按需加载组件，并且前后端自动实现一致的依赖关系等。&& & 3. 淘宝的左侧工具栏采用了插件机制，分开的源代码管理，可以单独部署，并且支持热插拔&& & 4. 淘宝有降级预案和限流预案，降级预案包括前观的页面的一些必须的功能以及json等请求&& & 5. 自动化测试，能够自动生成测试用例，进行上线前检测，上线后质量实时监控，猫须基于nodejs+express架构开发，支持多浏览器，包括phantomjs ,得益于Selenium Webdriver.& & 6. 实时到秒的发布计划和实时发布。 另外，对于有些秒级业务，提前发布，后端代码判断时间来切换显示。前端还需要通过js代码判断时间刷新，后端代码和前端js都需要去服务器校对时间&（2）天猫浏览型应用的CDN静态化架构演变& & & 1. 2012阶段曾采用动态内容做CSI填充。& & & & & 从页面中抽取出不依赖用户，时间，地域，cookie这些维度，并且不经常变化的部分，生成URL固定的页面。& & & & &比如：商品页面，标题，商品详情，销售属性组合直接缓存，优惠，库存，物流，服务动态填充。& & & 2. 主动失效机制：当触发源发生变化时，发送消息给失效服务，失效服务主动失效对应内容。这个时间用户访问时会发现缓存已经不存在，去主动更新缓存，确实把Java系统转变成弱依赖。& & &&650) this.width=650;" alt="" src="/wp-content/uploads/3056714.png" height="356" width="546" />&& & &3. &统一缓存接入，解决单机缓存受内存大小制约& & & & & &650) this.width=650;" alt="" src="/wp-content/uploads/3056714.png" height="356" width="546" />&& & & &4.最终目的，CDN静态化。 && & & & & &将静态页面放在CDN上，放置在离用户最近的节点上！流量集中区域，控制节点的数量，内部再通过一致性hash规则。& & & & &
&静态化应用对应的域名解析到CDN和统一接入层虚拟IP上，这样CDN拿到资源后先读取本地缓存，缓存不命中的话，去统一接入层获取。这时候统一接入层
按照按照原有的规则（上面所描述)获取数据，缓存不命中则回到服务器端获取数据，这个时候统一接入层Web服务器需要能够识别用户请求是CDN回源类型还
是正常请求，以免重复压缩和日志记录。& & & & && & & &5. 这种缓存体系缓存了静态页面，并且使整个架构对应用系统弱依赖。使用的tair开源地址：&支付宝篇&（1）支付宝的架构变迁&& &1.&支付宝除了按业务类型垂直拆分外，还应该按客户进行了数据的水平拆分。数据在主交易数据库集群生成，再通过数据复制中心复制到其他两个数据库集群。另外主交易数据库集群包括完整的备份和failver库。& & & &650) this.width=650;" alt="" src="/wp-content/uploads/3056782.png" height="409" width="605" />& & &2.支付宝研发了中间件产品Zdal && & &3. 支付宝为了保障事务的可靠性，对2pc进行了改进，基于TCC型事务，没有了prepare阶段。每个业务都进行try操作，完成后保留现场，所有的try完成后，再找回现场commit，如有失败找回现场进行本地cancel.& &&650) this.width=650;" alt="" src="/wp-content/uploads/3056812.png" height="396" width="376" />& & & & 4.支付宝对服务也做了依赖控制，最强，强，弱，最弱，在降级时使用。在代码中注解来标注，然后通过zookeeper实现统一配置，配置发生变化后，会把变化的值推送给订阅的客户端。配置资源包括了流量控制、应用层参数、数据节点。& & & &5.支付内部监控方案xflush,对监控数据做增量计算，并且对上层提供二次开发接口，并且有实时日志分析平台，架构图见下图。& & & &6.&一次完整的自动化调度流程见下图。弹性平台的分析 ，支付宝是使用groovy编写分析脚本进行的。对于产生控制指令，对于有些情况就停止在这一步，交给人工审核执行。650) this.width=650;" alt="" src="/wp-content/uploads/3056820.png" height="334" width="346" />& & & &7.支付宝每天的发布的流程： 集成测试环境＝》预发布环境 ＝》 beta集群（对于A集群，发布时先切1%流量，没问题再切10%,直到切完）＝》全部没问题再发布剩余集群& & & &8.支付宝的SOFA框架，面向模块化和组件模型，组件直接采用spring(IOC),模块化借鉴spring-DM，业务模块Spring上下文隔离，不同模块之间的组件(bean)不可见，减少耦合。& & & &9.通过扩展spring scheme extensions扩展，定义组件之间的关系。组件和组件之间的依赖通过服务发布/引用模型，组件和组件集成关系通过扩展/扩展点模型，组件和组件发布订阅关系通过消息topic的发布订阅模型。& & &10. sofainsight通过java agent技术动态挂载到应用的ivm进程上，把监控信息发送到分析平台，客户端通过jmx监控线程池，连接池等。还通过aspectjs动态搭载请求从入到出的全调用链路耗时。& & & 11.zdal的核心架构图650) this.width=650;" alt="" src="/wp-content/uploads/3056820.png" height="556" width="576" />&中间件篇&（1）中间件技术的双11实践& & 1. 阿里现在大量使用软负载，通过软件系统解决请求的均衡负载，相对于F5,LVS。软负载特点：无中心化，成本低，效率高，功能强。& &
2.ConfigServer不需要master,内部实现了节点间数据增量同步的功能。数据变化后将数据推送到订阅客户端
，而且客户端本地也做了本地容灾文件，ConfigServer不可用时，会优先使用本地内存中的数据，重新启动也可先依赖本地的容灾文件。& &3.感觉支付宝的Notiry也和kafka类似，都是消息先落盘, &但他也支持选择成使用内存存储。& &4. EagleEye鹰眼系统很牛，把调用链全都进行了统计分析，在进来的时候生成了一个traceid,然后跟随整个过程，可以用于发现问题，评估。& &5.TDDL的流程&&&&650) this.width=650;" alt="" src="/wp-content/uploads/3056892.png" height="331" width="565" />&&运维保障篇&（1）双11数据库技术1.评估：通过鹰眼系统，监控调用量关系，和数据库的qps来估算数据库的容量。从上而下来做。考虑Cache命中率以及需要考虑Cache宕机情况。直接通过模拟真实业务来评估单机承载量。2. 数据库扩容&&&&第一种是读写分离，添加从库&&第二种是水平扩容， 利用分库规则进行细化，将数据重新拆分到更多台服务器上 ，阿里研发了dbree,自动化完成。3. 预案： 降级和限流4.阿里的mysql分支alimysql,并行复制。并发控制，自我保护。&kafka在唯品会的应用&1 .主要用来日志传输，基本保持25w/s的producer性能，consumer吞吐量 &55w/s. &RabbitMQ相比这下差很远。2
.每个kafka集群有多个broker，每个broker有多个topic，每个topic都会有多个partition.每个partitioin只
能被一个consumer消费，consumer消费的是topic，具体消费哪个partition由kafka的分配算法决定，可以多个
consumer组成consumer
&group消费同一个topic，Kafka保证他们不消费同一份数据.producer在发送消息时，会负载写到同一个topic不同的
partition中。3. &Kafka
server有自己的编号，【server编号】_【topic名称】_【自增编号】组成partition编号，比如0_topic1_1表示编号为0
的server上的topic1下面的编号为1的partition。一个partition就是一个文件.4. Kafka利用了磁盘的顺序读写，磁盘的顺序读写速度快于内存的随机读写速度，而且Linux系统对磁盘读写做了优化和缓存，重启后还能用，如果使用内存存储，需要jvm做gc.5. 每个消息在Kafka中都有一个offset，consumer消费到了那条消息通过offset记录，可以配置成同步offset到zookeeper中。这样当消费系统或者消息系统出问题时可以找到offeset回复，因为消息存在磁盘上也没丢.6. Kafka的数据压缩和解压是producer和consumer自己做的7.kafka没有ack机制，由consumer自己维护8. Kafka通过zookeeper维护broker可用列表9. Kafka集群中网卡可能会先于磁盘出现瓶颈，可考虑双网卡10. Kafka可以直接热扩容，直接添加server11. 日志收集使用flume，他们开发了针对Kafka的插件flume-Kafka，已开源本文出自 “” 博客，请务必保留此出处
本文已收录于以下专栏：
相关文章推荐
一：原理：
linux操作系统下双网卡绑定有七种模式。现在一般的企业都会使用双网卡接入，这样既能添加网络带宽，同时又能做相应的冗余，可以说是好处多多。而一般企业都会使用linux操作系统下自带的...
转载自苹果核，原文链接：http://pingguohe.net//tac-1.0.html
对tangram有兴趣的可以看看：http://pingguohe.net/2017/...
在天猫双11活动中，商品详情、店铺等浏览型系统，通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双11流量的大幅增加，每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各类技术挑战。因此，...
在天猫双11活动中，商品详情、店铺等浏览型系统，通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双11流量的大幅增加，每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各类技术挑战。因此，...
作者：鬼道
Facebook在3.26 F8大会上开源了React Native（Introducing React Native），本文是对React
Native的技术背景、规划和风险的概述...
在天猫双11活动中，商品详情、店铺等浏览型系统，通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双11流量的大幅增加，每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各类技术挑战。因此，...
天猫双11晚会和狂欢城的互动技术方案
 QCon邓红春 聊聊架构
天猫联手湖南卫视创造的双 11 晚会，实现了手机天猫与电视直播的实时同步，明星表演、游戏 PK...
摘要：双11流量的大幅增加，给天猫浏览型系统带来容量评估、硬件扩容、性能优化等技术挑战。本文阐释其如何通过静态化技术实现动静态信息分离、利用缓存技术存放静态化内容、利用少量动态数据异步加载填充，解决以...
转载自：http://zhu-/blog/2145496
在天猫双11活动中，商品详情、店铺等浏览型系统，通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双...
他的最新文章
讲师：汪剑
讲师：刘道宽
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)604941 人聚集在这个小组
(为什么和我放屁)
第三方登录：拒绝访问 |
| 百度云加速
请打开cookies.
此网站 () 的管理员禁止了您的访问。原因是您的访问包含了非浏览器特征(3b43c5-ua98).
重新安装浏览器，或使用别的浏览器你的位置：
> 马云“双十一”24小时：换了5套行头，“最可怕是没的忙”
马云“双十一”24小时：换了5套行头，“最可怕是没的忙”
发表于( 09:57) 本文标签：
浏览量：787次
&&&&值班编辑QQ：
双11的24小时，可能也是马云每年最重要的24小时。
临近11月11日零点，阿里巴巴创始人、董事会主席马云从电视里“穿越”到了天猫双11狂欢节媒体中心，一起见证又一年销售奇迹的诞生。
今年的双11阵地首次离开阿里杭州大本营。11月10日晚，阿里联手导演冯小刚，在“水立方”国家游泳中心举行了一场全明星综艺晚会，并由电视直播，让消费者边看边买。
马云与007邦德扮演者丹尼尔克雷格做起了互动游戏。
马云压轴出场，一身黑色西装礼服，系着红色领结，和007邦德扮演者丹尼尔克雷格做起了互动游戏，一起为双11吆喝。“谢谢大家，希望双11能给大家带来好运！”马云在电视里就说了这么一句话。
临近零点，马云换了一身羽绒衫，带着“小伙伴们”从演出看台移步一旁的媒体中心，静候大屏幕上即将跳出来的销售数字。陪马云督战的“小伙伴”包括：优酷土豆董事会主席兼CEO古永锵、新浪董事长兼CEO曹国伟、苏宁董事长张近东、巨人网络董事长史玉柱、联想控股董事长柳传志、银泰集团董事长沈国军、华远集团董事长任志强、阿里影业独立董事李连杰、双11晚会导演冯小刚。
马云的朋友圈阵容豪华。
假如细数这些大佬和马云的关系，每个人都有一段故事：优酷土豆最近刚刚被阿里全资收购；阿里是新浪微博第二大股东；去年还和阿里打假的苏宁，今年和阿里交叉持股，张近东甚至跑来马云的主场……
1分12秒，交易额破10亿元；12分28秒，破100亿元；33分53秒，破200亿元……在Rain、TFboys、刘谦、赵薇、蔡依林等明星参与的晚会刺激下，今年的双11交易额轻松打破去年各项记录。
上午11小时50分，交易额超过571亿元，打破了2014年双11全天交易额纪录，所花时间比去年快了近2小时。
最后的数据显示，日，阿里巴巴中国零售平台（包括淘宝、天猫）全天交易额达912.17亿元；同时移动端交易额为626.42亿元，占比68.67%，比去年高出20%多。
“双11是对整个中国商业基础设施的一个大考，记得前面四届的时候，几乎所有的银行设施都瘫痪过。”马云按照惯例，接受了央视财经的专访。不过这一专访时间，提前到了10日进行。
“我今年最担心的还是物流。”马云对央视记者说。
马云陪同国家邮政局局长马军胜调研双11快递旺季服务保障工作。
11日下午，马云带着一顶贝雷帽，穿着棕色夹克，陪同国家邮政局局长马军胜调研双11快递旺季服务保障工作，来到申通快递北京转运中心和圆通速递华北转运中心。据国家邮政局网站，马军胜和马云就落实“错峰发货、均衡推进”，保障快递旺季平稳度峰进行了现场沟通。
“‘双11支付宝处理速度最高达到了8.6万次/秒，创下了世界纪录，但是快递员更不容易，大家辛苦了！你们了不起！”马云在现场说，阿里巴巴的菜鸟网络与快递企业已经建立起紧密的协同关系，旺季期间设立联合办公室加强沟通协调。
11月12日，国家邮政局监测数据显示，双11当天，主要电商企业全天共产生快递物流订单4.6亿件，同比增长65%；全天各邮政、快递企业共处理快递包裹1.48亿件。
今年，不少快递公司将上市计划提上日程。中通快递打算2017年上市，申通也正在准备接手天天快递资产进行上市的计划。
11日晚上20时20分许，马云又换了一身休闲的黑色套衫，来到双11媒体中心，接受全球记者采访。
马云和阿里的高管当天在多个场合表示，对于双11全天交易额等数据，内部并没有指标和期待。
马云先是演讲，之后回答了4个问题，一共20分钟。头条新闻记者 李坤 图
“过去几小时，还是蛮紧张，但是也激动人心。”马云一上来说道。马云先是演讲，之后回答了4个问题，一共20分钟。此时大屏幕上显示的交易额超过780亿元。
马云和阿里的高管当天在多个场合表示，对于双11全天交易额等数据，内部并没有指标和期待。“如果把定50%的增长，我们的行为一定会变形。就如你把GDP的目标定在9%，国家的经济一定会变形。”马云说。
有记者问，“双11对电商、物流公司是一个很痛苦的日子，大家都十分忙碌，京东还说阿里扰乱市场秩序（让商家二选一），您如何看待这个问题？”
马云回应称：“商家很忙，厂家很忙，电商很忙，消费者很忙，但是忙并快乐着。最可怕的是，没的忙，或者，忙得没机会。双11至少让大家忙得有机会，如果忙得没机会，你把人哄上去人都不愿意去。我不知道别的电商怎么看，但是阿里巴巴34000名员工很荣耀，能参与一场让成千上万的商家赚钱的活动。忙并快乐着是我们这个时代应该要有的精神。如果不想忙，就想挣钱，没有这样的事情。未来的双11，每年都很忙，你要是想参加这个游戏，那就得训练、努力。”
马云接受媒体采访的时间要比往年早，原因是在22时30分，有一场重要活动等着他。美国东部时间11日9时30分，马云换了一身正装，和纽交所总裁Tom Farley一同参与远程开市敲钟仪式。纽约证券交易所为庆祝阿里巴巴双11活动，在“水立方”举行远程开市敲钟仪式，并在大洋彼岸打出了三块巨幅双11的广告牌。
纽交所的远程开市仪式一般只在全球重大活动中举行。纽交所每年会在瑞士达沃斯进行远程开市敲钟仪式。上一次在中国进行类似仪式是在2010年上海世博会期间，纽交所在世博会美国馆举行了远程开市仪式。
日晚10点30分，美国纽约证券交易所在北京“水立方”专为2015天猫双11全球狂欢节举行远程开市敲钟仪式。
只是马云的努力，可能投资者并不买账。11月11日收盘，阿里巴巴股价下跌1.94%，收报79.85美元。同样在美上市的京东、唯品会股价11日也下跌。
中国市场研究公司（China Market Research）创始人赖安罗伯兹（Ryan Roberts）11月12日对头条新闻分析说，双11的销售数据的确是令人鼓舞的，但是中国经济增速放缓背景下，消费者利用双11促销活动改变消费，我们想知道，同时也是直到有更多数据公布否则我们不会知道的是，中国消费者是不是透支了未来的支出，集中在双11这一天。
“双11只是反映中国强大内需消费很小的缩影，不能代表整个中国经济，我们只是用了互联网的手段，打开或激发了中国部分内需。”马云在答记者问时表示。
马云称，中国经济在未来5个月到15个月，会是困难时期，但是未来5年到15年，是了不起的经济发展的时代。马云乐观认为，未来10到15年内，中国中等收入人群超过5亿人，他们对高品质物质和文化的高需求，届时会带动整个中国经济。
热点资讯[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&[]&&&&
神学家：性机器人使用者惹怒了上帝 将会下地狱
争夺人工智能领导权，企业将迎来最大规模竞争？
外国网友吵翻：东京游戏展这个模特是人是机器？
这个无人机厉害了 可远程探测人类心跳和呼吸频率
谷歌大神Jeff Dean：谷歌翻译API付费服务已获利
巨兽谷歌的新战争：要打造AI世界的安卓？
中新网9月26日电 据外媒报道，本月25日，瑞典的诺贝尔基金会宣布，将今年诺贝尔奖各奖项的奖金提高100万瑞典克朗(约合人民币82万元)，向获奖者给予900万克朗(约合人民币740万元)。 资料图：当地时间日，2016年诺贝尔物理学奖、化学奖、生理学或
从1958年我国制造出第一台电视机，到1987年中国电视产量超过日本成为世界第一，中国彩电业用29年时间完成了产量上的赶超。此后，中国制造新势力快速崛起，在彩电技术及相关领域，中国制造正在成为世界的标杆。 16日晚间，CCTV-2财经频道《消费主张》对比了如
人类关于会话人工智能的探索已经有很长时间了。 现代计算机之父艾伦图灵为了证明可以设计出智能的计算机程序而绞尽脑汁，那时，他便已经踏上了这条人工智能的道路。如果一台计算机能够与一组人类法官交流，并且让这些法官以为自己真的是在和真正的人类说话，
侮辱国歌行为有了明确罚则，网络跟帖评论须实名认证，驾驶考试更突出安全文明意识考核、民航放宽对机上电子设备管理规定一批新规新举将于10月起实施，并影响着公众的日常生活。 中新社发 尹正义 作 首部民法总则施行：诉讼时效延长 《中华人民共和国民法总则
据MIT News报道，从蝴蝶的翅膀到寄居蟹的寄壳，许多动物必须适应它们的外部特征才能生存下去。虽然人类不会经历这种蜕变，但我们通常会尝试创造具有类似适应性功能的物体，包括我们的机器人。尽管你可能在电影中看到过变形金刚的神奇，但是当前现实中的机器
有人说虚拟现实让人们与世隔绝，不喜欢社交，这种技术让人们在非常有限的视野里认识世界。 我认为恰恰相反，我们每个人对世界的认知其实都是有限的，我们都有不能去的地方，不能做的事情，不可以见到的人。 10月11日，Facebook首席执行官扎克伯格在第四届Ocu
作为一家专注于人工智能产业的媒体，在麒麟970和苹果A11刚发布时我们也着实兴奋了一阵儿，可如今已经过去了一个多月，除了厂商展示参数、媒体狂欢之外，我们似乎还没听到其他人声音。 移动AI会给手机带来革命性的新体验吗？类似麒麟970和苹果A11这样的芯片，