处理960亿张照片需要怎样的技术架构支撑？
每天15篇文章
不仅获得谋生技能
更可以追随信仰
处理960亿张照片需要怎样的技术架构支撑？
&来源：51cto
576 次浏览
&&&&评价：
在成都天府软件园中，聚集了一大批国内外知名企业入驻，同时，随着成都创新创业风起云涌，一时间也成为了风险投资和创业团队集结的高地。在天府软件园中，成都品果科技有限公司（以下简称品果科技）可谓是无人不知，品果科技是一家以打造&手机摄影生态圈&为宗旨的公司，旨在为全世界的手机用户提供最实用的手机拍照软件，而Camera360就是大家最为熟悉的品果科技的产品。
据统计，截止到2015年第一季度，Camera360的全球用户数量突破了4亿，单日产生的照片数量也达到了2亿张，也许就在你看这篇文章的同时，就已经产生了几十万张照片。每天产生如此多的照片，需要存储的不仅是照片，还有用户信息、照片元信息、用户与照片之间的信息，以及在照片合成视频时需要用到的GPU运算等等。在如此大量存储需求以及运算能力的背后，是亚马逊AWS云服务保障了这4亿用户流畅的使用体验。
持续增长的业务带来的压力
2010年，品果科技正式成立，同时在当年发布了Camera v1.0的Android版本，紧接着在第二年，Camera360的iOS版本发布后，一举超过Instagram，成为了苹果APP Store中美国区排名第一的摄影应用。
经过了融资后，Camera360的产品家族不断扩大，已经形成了产品矩阵，即整个产品生态圈以Camera360为主，第二层主要是MIX滤镜大师、宝贝相册以及其他一些产品，最外层是以社交为主的照片圈。而Camera360经过了5年不断的更新和积累，用户数量已经超过了4亿，覆盖全球超过223个国家和地区，累计产生的照片数量已经超过了960亿张。&
面对日益增长的用户数、每日倍增的照片数量，以及不断的功能上线、版本更新，Camera360的技术团队感到了前所未有的压力。
对云服务的渴求
面对全球4亿的用户，每秒钟就能产生上千张照片，这对Camera360的存储能力提出了新的挑战。然而，照片的存储只是一小部分，每周新功能的上线，每天的版本更新，都对服务器、数据库等IT架构带来不小的挑战。
过去，当遇到用户大规模增加、照片数量增加，或是新功能上线这些需求时，Camera360需要购买一些新的服务器和存储机器，然后进行部署。但从机器的选购到最终上线，至少也需要一个多月的时间。业务的快速发展，让Camera360的技术团队不断反思自己的技术架构能否应对产品的高速增长，随着云计算的逐步落地，Camera 360想借助云计算的能力，来实现持续增长的业务需求。
不同于有些客户，为了云而使用云，Camera360对云计算有着深入的理解，在选择云服务时，也是有着严苛的要求。以下是Camera 360对云服务的期望：
& 快速搭建环境、部署业务
& 能快速扩容，最好能自动扩容
& 解决存储问题（IO、容量）
& 隔离性好（CPU、内存、IO隔离）
& 网络质量好（内网、出口）
& 节点多（国内、海外）
& 安全（网络、数据安全）
& 最好有一整套解决方案
& 出了问题能快速响应
& 成本可控
从这么多的要求来看，Camera360从自己的实际业务出发，确定自己需要的技术和服务能力，从而开始了云服务的选择之路。
选型的标准：注重软实力
目前，国内乃至全球，有众多云计算服务提供商，而各家提供的服务以及服务水平也参差不齐。在选择时，Camera360副总裁刘宏伟比较看重成本、安全性和稳定性以及海外的拓展能力等方面。在经过了多方对比考量后，Camera360最终选择了亚马逊AWS。在谈到其中的理由，刘宏伟总结了四点。
Camera360副总裁刘宏伟
首先是AWS的全球节点分布很契合Camera360的全球业务以及用户分布。AWS在全球11个区域以及28个可用区向用客户提供服务，而Camera360的用户中有60%-70%来自海外，因此，Camera360选择了AWS的中国、新加坡、日本、美国俄勒冈四个节点，来为自己的全球用户提供服务。
其次，AWS拥有成熟的解决方案。AWS服务于2006年推出，提供超过40种不同的计算、存储、数据库、分析、应用程序和部署服务，帮助客户快速的完成迁移、降低成本和扩展应用程序。AWS经过了多年的实践验证，用户无需再进行探索，而是可以直接使用。
第三，技术领先。Camera360在2011年开发了云相册，而云相册业务的可用性非常高，并且要求磁盘有高性能的IO水平。然而，国内众多云计算服务商提供的磁盘IOPS不能满足Camera360的需求，而AWS的最新的EBS（磁盘存储）可以满足Camera360上万次的读写请求，达到每秒20000次。其次，AWS的弹性计算可以快速解决Camera360的需求，GPU运算减少云视频合成时间等。
第四是技术团队的支撑，这也是刘宏伟最注重的软实力。AWS提供了7*24小时的技术支持，帮助Camera360进行平滑的迁移、快速的扩容以及一些技术上的帮助。刘宏伟表示，&正是因为依靠着AWS的技术支持，我们现在才有胆量和魄力马上将业务整体迁移到AWS上。技术支持不像是机器，这些都是看不见摸不着的东西，但是实际上对我来说是最重要的东西。&
在选择了AWS后，Camera360将环境做成系统镜像，部署恢复只需几分钟即可完成；通过AWS Auto Scaling功能，自动扩容提升了服务的稳定性；Snapshot备份让Camera360每天都可以进行备份，并且恢复时间在1、2个小时内即可完成；AWS中的身份认证管理（Identity and Access Management ，IAM）可以为每个研发人员分配账号,不会出现多人使用同一账号的情况，并且权限控制粒度更加细致，每个资源都可以单独控制。此外，Camera360还将GPU的运算放在了AWS上，支撑了云特效、云视频合成以及云作图三个业务。Camera360的云特效在AWS上实现可以达到毫秒响应，而云视频合成基本可以在一秒内完成，这在过去都是需要二、三十秒才能完成。
平滑的向AWS迁移
每一个要使用云计算的客户，都会担心一个问题，那就是迁移的平滑性、业务的稳定性。毕竟，大规模的数据和业务，从一个本地环境迁移到云上，不是简简单单的点几个按钮就可以完成的事情。保证用户的持续使用，业务上不出现中断，是非常有挑战性的。对于Camera360这样对个人用户提供服务的客户来说，可用性下降，用户体验变差，将会直接影响公司的品牌以及业务。
对于向云迁移，刘宏伟认为，首先企业要有勇气和魄力，需要很高的意愿来完成迁移的工作，在得到公司领导的支持和同意后，先要进行前期的调研，和云服务商的技术团队沟通，做出所有可能的风险点预估以及相应的解决方案，然后建立测试集群，进行探索性的测试，要将所有的问题在测试环节中解决，包括风险点的排除，最后再迁移到真实的环境中。
在Camera360的迁移过程中，AWS的技术专家寄予了很多的支持，不但将每一个迁移过程中可能出现的风险点列出，还逐一向Camera360的技术人员进行讲解，提供相关资料，并且每周进行一次讨论，当所有的风险点达到可控之后，再启动迁移。
刘宏伟强调，&Camera360此次迁移过程非常平滑，没有出现任何的事故或问题，是凭借AWS的技术支撑，这不光是硬件方面，毕竟产品都是现成的，迁移过程如此顺滑，这与AWS多年积累的技术经验是分不开的。&
很多客户迁移到公有云后，原有的IT基础设施就闲置了，而Camera360的机器却另有价值。Camera360技术副总监刘朝辉表示，拍卖可能是一种好的办法，但是可以利用旧机器搭建小的测试集群，让公司的技术研发人员在其中进行创新。&
Camera360技术副总监刘朝辉
过去，Camera360是自建私有云以及使用其他公有云厂商的服务，但是未来，新业务将会全部直接放在AWS上，而老业务也会逐步都迁移到AWS上。
在业务的底层基础架构迁移到AWS后，刘宏伟还希望通过AWS挖掘更大的业务价值。
首先是利用AWS的DevOps提升工作效率，通过深入了解AWS上的各种操作以及工具集，让开发人员在AWS上更加便捷的工作，提升工作效率的同时也提升了公司的核心竞争力；
其次，利用基于RedShift进行大数据挖掘，目前Camera360使用的是开源的集群架构，需要大量的人力维护并进行二次开发，未来计划将大数据业务移植到AWS中，节约成本，并且提高效率和能力；
第三是基于GPU进行照片数据挖掘，Camera360每天产生两亿张照片，但是Camera360的运算能力有限。刘宏伟表示，未来会通过AWS的资源进行大数据挖掘，例如情景识别功能，帮助用户更好的发现自己的照片。
每天2个文档/视频
扫描微信二维码订阅
订阅技术月刊
获得每月300个技术资源
希望我们的资料可以帮助你学习，也欢迎投稿&提建议给我
频道编辑：winner
邮&&&&&&&件：winner@
|&京ICP备号&京公海网安备号82中央单位工资福利花去960亿 近九成单位津贴补贴超工资|会议费|中央财经大学_凤凰财经
82中央单位工资福利花去960亿 近九成单位津贴补贴超工资
用微信扫描二维码分享至好友和朋友圈
（记者温薷）按照新预算法要求，此次近百中央单位公布的2014年决算数据中体现了按照经济分类的原则，也就是“晒”出了工资福利待遇。昨天中央单位公布的决算报告中，工资福利支出均细化为基本工资、津贴补贴、奖金等。
资料图 新京报讯（记者温薷）按照新预算法要求，此次近百中央单位公布的2014年决算数据中体现了按照经济分类的原则，也就是&晒&出了工资福利待遇。新京报记者统计，此次至少有82家中央单位晒出工资福利，总额约960亿元。 据悉，这也是中央单位决算数据公开5年以来，首次在决算中披露工资福利情况。 总支出约8%用于&发工资& 公务员的薪酬待遇如何，一直是公众关注的焦点。昨天，近百家中央单位公布的决算数据中，绝大多数单位首次按照经济分类的原则公开了&基本支出&情况。这意味着，工资福利支出及其包含的基本工资、津贴补贴、奖金，以及会议费、培训费等支出情形，均可一目了然。 新京报记者统计，昨日至少有82家中央单位&晒&出了2014年度的工资福利支出，总额约960亿元。这82家单位2014年决算支出总额约为11809亿元。以此计算，这些中央单位2014年决算支出总额中，约有8%用于发放工资福利。 两单位工资福利支出超百亿 中央财经大学教授曾康华介绍，原先像工资福利等支出，是放在行政管理费用中的，公众难以从&粗线条&的预算报告中看出。此次按照经济分类列示，令公众对实际支出的去向用途更加清晰。 从公示的工资福利总额来看，一些&大单位&工资福利支出额度也相对较高。其中，两单位工资福利支出总额超过了100亿元，最高的是教育部，工资福利支出数额约为238.89亿元；国税系统居次，约为233.19亿元。 中国人民银行、中科院、海关系统的工资福利总额也均超过了50亿元，分别约为87.43亿元、55.72亿元、53.37亿元。 职工人数信息仅两部门公布 不过，昨天绝大多数中央单位公布的决算报告中，仅两部门公布了职工人数信息，且公开的格式不统一，这令各部门工资福利支出的数额难以&横比&。 其中，央行职工人数为174367人，包含在职和离退休人员。国家气象局为108331人，其中在职职工72967人、离退休人员35364人。 财政部门人士表示，工资福利支出并不完全对应在职职工的&人头费&。比如，针对&临时工&的工资投入，也会体现在工资福利支出中。 &工资福利支出的公布，应当做到能和人员数量相互对应。&昨天，湖北省统计局副局长叶青指出，目前工资福利支出仅公布一个总数，还是不够的。 他建议，部门在公布工资福利支出时，应体现对于几类人员的投入情况，将人员细分为在职人员、&临时工&、离退休人员等，分别公示各类人员的工资福利支出情况。这样，能够更清晰地界定各部门工资福利支出的合理程度。 焦点1近九成单位津贴补贴超工资 公务员工资内部结构是否合理，也是社会关注的热点之一。有言论称，公务员现行待遇中，津贴补贴占比较高，不利于勤政廉政。从昨天各部门公布的工资福利情况来看，有单位的津贴补贴发放数额接近基本工资的6倍之多。 昨天中央单位公布的决算报告中，工资福利支出均细化为基本工资、津贴补贴、奖金等。记者注意到，82个公布工资福利的中央单位中，71个单位的津贴补贴均超过了基本工资，占比将近9成。仅有11个单位的基本工资高于津贴补贴。 据统计，这82个单位的基本工资总额约为244亿元，而津贴补贴总额接近521亿元。这意味着，在细化公布了工资福利支出的中央部门中，津贴补贴是基本工资的2.1倍。 数据显示，公安部公布的津贴补贴数额为万元，基本工资为33523.84万元，后者是前者的5.86倍。海关系统津贴补贴也约为基本工资的5倍。 焦点2会议费首公布金额&两极化& 专家指出，除了众所周知的&三公经费&以外，政府部门的&会议费&可以作为&第四公&看待。此次中央部门决算报告中，会议费、培训费也是首次亮相。 新京报记者统计，昨天至少有73个部门通过基本支出的经济分类专表，亮出了各部门的会议费、培训费情况。其中，已公布的会议费总额约为10.6亿元；培训费约为13.8亿元。 &会议费&包含何物？新京报记者了解到，按照经济分类要求，会议费反映的是部门一类、二类会议中，按规定开支的房租费、伙食补助费以及文件资料的印刷费、会议场地租用费等，以及上述项目未包括的会议费支出。 受部门规模、职能的影响，&第四公&会议费用的多少也呈现&冷热不均。&比如，国税系统的会议费总额超过3.5亿元居首，中国人民银行的会议费也接近2.3亿元。与此同时，也有单位的会议费低于万元，红十字会的会议费仅为0.72万元。 &政府部门的会议费现在还有很大的压缩空间，且应公布得更为细致。&湖北省统计局副局长叶青指出，目前政府部门很多会议可以利用本单位的办公楼、会议室，而且应当更广泛地使用视频会议，将酒店、会议中心租用场地、就餐甚至住宿等费用&省下来&。记者了解到，目前北京一些市级部门已提出规定，尽量利用视频会议减少开会次数。 针对目前会议费仅公布总量的做法，叶青建议，应当借鉴&三公&经费的做法，将会议费细分，&比如一年中，全国性、区域性等不同层次的会议召开了多少次，不同主题、类型的会议召开了多少次，以及花费各是多少。&这样，公众一方面能够看出这些会议到底有没有必要开，另一方面也便于监督是否花费过高。
[责任编辑：zhaoyl1]
用微信扫描二维码分享至好友和朋友圈
免责声明：本文仅代表作者个人观点，与凤凰网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
预期年化利率
凤凰点评：凤凰集团旗下公司，轻松理财。
凤凰点评：业绩长期领先，投资尖端行业。
凤凰点评：进可攻退可守，抗跌性能尤佳。
同系近一年收益
凤凰点评：震荡市场首选，防御性能极佳且收益喜人，老总私人追加百万。
凤凰财经官方微信
播放数：849887
播放数：184073
播放数：3948347
播放数：5808920
48小时点击排行央行本周公开市场净投放960亿
作者：董云峰
来源：第一财经日报
决策层提出的“预调微调”一步步走向明朗，在周二暂停正回购操作之后，周四央行在公开市场上继续“放水”，仅地量发行了10亿元央票，这样一来，本周仅回笼资金110亿元，同时到期资金1070亿元，实现净投放960亿元，终止了此前的连续净回笼操作。
分析人士认为，央行旨在维持资金利率基本稳定，缓解流动性压力，进一步表明货币政策的逐步放松。
受此影响，市场流动性持续改善。截至昨日收盘，上海银行间同业拆放利率(Shibor)连续第四个交易日回落，隔夜利率与7天利率分别降至3.0900%和3.3975%，达到相当宽松的水平。
中央国债登记结算公司数据显示，在银行间债券市场，11月3日，1天回购利率较上日跌0.8个基点至3.102%，7天利率较上日跌32.8个基点至3.402%，14天利率较上日跌8.2个基点至3.743%。
10月中旬以来，由于公开市场持续净回笼，加上财政存款集中上缴，加剧了月末的资金面紧张态势。上周五，隔夜利率与7天利率一度逼近5%，14天与1个月品种则接近6%。
“月末考核带来的利率高峰似已过去，近阶段市场走势将进入一个缓和期，但总体向下趋势应已成为共识。”一位资深交易员表示。
“未来一段时间，公开市场操作还会保持温和的流动性平滑，通过短期限回购的不断滚动，保证每周都有一定的到期。”宏源证券(15.41,-0.03,-0.19%)高级研究员何一峰向《第一财经日报》记者表示，“资金面会维持平稳的状态，不至于太紧，也不会太松，7天回购利率有望稳定在3%左右。”
本月商业银行还将继续补缴保证金存款准备金，这将从银行体系抽走大量资金，而11月到期资金为3250亿元，较上月有一定幅度的下降，基于此，业内人士认为央行有望继续实施净投放。
据媒体报道，10月下旬以来，部分银行新增贷款大增，信贷闸门突现松动迹象。何一峰表示，“目前通胀回落的趋势是比较明确的，实体经济流动性还是偏紧，因此政策已经出现松动。未来货币政策转向的力度会加大，包括放松信贷，以及下调存款准备金率。”
“具体的时点说不好，但是下调是大概率事件，大致的区间是四季度后半季度到明年一季度之间。”何一峰说。
中金公司研究报告认为，“货币政策逐步放松的方向已经确立，但在节奏上仍是渐进的，年内以微调为主，明年可能才会看到法定准备金比率下调这种实质性的放松政策出台。”
中金公司分析称，11月份流动性将继续改善，主要原因包括：公开市场回笼力度减弱，加上3年期央票的停发，净投放量将高于10月；美元重新走弱推动人民币继续升值，在短期内有助于外汇占款增量的回升；11月债券供给压力减轻，发行量将低于4000亿元，处于全年较低水平，尤其是国债和政策性银行债的净增量几乎为零。（姜友富/编辑）
责任编辑：姜友富
中共娄底市委 娄底市人民政府官方门户网站
主管：中共娄底市委宣传部
Copyright @
All Rights Reserved.
娄底新闻网（红网娄底站） 版权所有
新闻热线：
Email：# (#→@)
法律顾问：欧阳旭东市场规模960亿：数据中心的无奈几人知 - 最新资讯 - 中国安防论坛 -
huiruitianyan
市场规模960亿：数据中心的无奈几人知
　　不可否认，数据中心这几年发展的确迅猛，仅中国的数据中心市场就将达到960亿的规模。数据中心技术的发展已经跟不上应用需求的发展，数据中心的技术已经成为了制约社会信息发展的瓶颈。
　　近年来，信息技术领域不可谓不热闹，各种技术层出不穷。尤其人们还喜欢给这些技术起上一个比喻形象生动的名字。比如：智慧城市、智能家居、物联网、云计算、雾技术、数据挖掘等等，乍看这些词语让人眼前一亮，激发了人们主动去了解它的兴趣，当抛开这些绚丽的语词，实际上，就是将互联网的思维贯穿到了原有的IT系统中，当拥有了互联网思维，技术也就变成了“高大尚”的东西，被人们赋予了更多的内涵和想象力。
　　现在IT圈里混的，不将这些名词时常挂在嘴边，那都不好意思开口。就算是那些经常发表言论和看法的专家也不敢说都精通此类技术，何况这些新的技术仍处于技术萌芽阶段，技术落地实施的并不是很普及，更多的是存在于理论层面的，究竟这些技术能不能给人们的生活带有革命性的改变，一切都还是未知数。数据中心作为信息技术领域的最重要市场，自然被人所关注，于是什么云数据中心、软件定义数据中心、融合数据中心、双活数据中心等等各种概念纷至沓来，只要是数据中心，那都得带点云，什么云服务器、云网络、云安全等。既使这样也还是有人觉得不过瘾，将数据中心描绘得云雾缭绕的。数据中心说白了就是数据机房，将一堆的服务器用网络设备连接起来，然后在服务器上跑一些应用系统，向外界提供访问服务，当你亲自走进数据中心就会感觉到，就是一排排冷冰冰的机柜，摆放着各种设备，怎么也看不出和云啊，雾啊有什么关联。人们为数据中心赋予了太多的使命，有些甚至是脱离实际的夸大说辞，给数据中心戴了高帽子，当真正去了解数据中心的时候就会发现理想与现实的巨大差距。
　　不可否认，数据中心这几年发展的确迅猛，仅中国的数据中心市场就将达到960亿的规模。数据中心技术的发展已经跟不上应用需求的发展，数据中心的技术已经成为了制约社会信息发展的瓶颈。为了解决当前数据中心面临的技术落后，设备更新慢的问题，各种新技术如雨后春笋般出现了。这些技术的出发点是好的，都是为了解决数据中心所面临的一个方面或者多个方面的问题而提出的，当数据中心基于这些技术做一些改进时，很快就给数据中心已经新的含义。看看以往各种建设数据中心的新闻，不难看到几乎所有的新建数据中心都叫云数据中心，这个云到底能发挥多大威力暂且不知，但是从描述中就可以看到依然是像以往的数据中心一样，突出强调了数据中心占地面积多大，数据中心拥有多少个机柜，部署多少台服务器等，依然还是通过这些硬性指标来证明数据中心的实力。如果没有这些硬件，云从何谈起，一股风就可以将云吹散，所以数据中心里本质的东西还是服务器、网络、存储这三大部件，是数据中心建设之本，在这个基础上再去增加一些新技术，完全属于添砖加瓦的行为，没有这三大部件搭建起来的数据中心，砖瓦都无从谈起，所以应该用谨慎的眼光去看待这些新技术，可以通过引入一些新的技术，增添数据中心的业务处理能力，起到画龙点睛的作用，至今为止还没有看到哪种技术能够彻底改变数据中心传统的运行模式，已经出现的一些新技术，属于创新但不属于发明，可以为数据中心提供更好的发展动力。
　　虽然人们的工作与生活和数据中心关系越来越密切，数据中心给人们提供了极大的便利，让整个世界进行了新的信息时代。这时就有人过分强调了数据中心的重要性，什么人离不开数据中心，数据中心是社会发展的唯一动力，未来属于数据中心等等言论，将数据中心提升到了前所未有的高度。有人建议将建设数据中心作为国家战略来执行与实施，将建设数据中心作为一项基本国策来执行。这样的鼓吹让众多的IT厂商纷纷加入到数据中心的建设上来，然而数据中心的发展是一个渐进的过程，市场规模虽然也在不断扩大，但是新进入到这个领域的厂商也越多，每个厂商能分到的市场份额依然不多，数据中心已经成为了IT厂商竞争的红海，过分的鼓吹对数据中心的发展没有任何好处，反到形成了一派僧多粥少的局面。当我们给数据中心带上各种绚丽的词语时，必然吸引大批的IT厂商进入，慢慢地这样持续下去，数据中心也就会成为IT厂商的噩梦，适度的竞争可以加快数据中心的技术进步，但是过度的竞争往往会将给数据中心发展带来灾难，所以不要轻易地给数据中心带上高帽子，不要过分依赖数据中心的存在，实实在在才是真。
　　谈了这么多，无非告诉大家，数据中心其实早就存在，当40年前互联网出现的时候，数据中心就已经存在了，经过了这么多年，到现在才开始进入到人们关注的视线中。对数据中心的发展我们应该抱以欢迎的态度，但也不能过分浮夸，给数据中心乱戴帽子。有个虚拟化服务器，就说自己是云数据中心，有个ACL控制列表过滤，就说自己是软件定义的数据中心，这些不切实际的描述，让人们无法真实地去看到数据中心里最基本的东西。不可否认，数据中心是目前技术更新最快的领域之一，也是发展最为迅速的领域，但是不要过度解读。
　　其实，数据中心只是信息技术发展过程的必然产物，通过改善数据中心运转效率，可以更好地为人们服务，但不能给数据中心戴高帽，要脚踏实地的去学习、部署各种数据中心新技术，而不要注重那些表面的词语，让数据中心真正地高效运转起来，这才是正道。
查看完整版本: