4959人阅读
好久没有写博客，学期接近尾声，时间方面会宽松些了，其实想写的东西还挺多的。前段时间一个项目用到了几个云存储，其中就包括Amazon S3，于是这篇文章主要分享一些Amazon S3 Rest API的经验（Amazon S3还包括SOAP API）。
首先还是要先说一下Amazon S3，全称是Amazon Simple Storage Service。EC2和S3是Amazon最早推出的两项云服务。在传统的计算机领域，主要包括计算、存储、网络这几个方面， 在云计算时代，前两者分别对应虚拟化和cloud storage，由此可以显现出Amazon EC2和S3的重要性。如今随着云计算的大红大紫，也有很多使用Amazon S3的例子，典型的有Dropbox，还有之前被FB收购的Instagram，其照片存储就使用的S3。
关于REST，这也是比较火的一种Web服务架构。简单来说，资源是由URI指定，对资源的操作包括GET、PUT、POST、DELETE和HEAD，返回结果常常是XML或者其他形式。如果你想了解更多，可以查看。
Amazon S3的操作包括三部分：Service，Buckets和Objects。Service只包括GET操作，就是返回所有的Buckets的列表。Object顾名思义，是指存储在云端的文件，值得注意的是，S3中并没有明确的文件夹的概念，而是通过指定object的路径来实现，比如说，object可以为“photos/1.jpg”。而Bucket拥有全局名，名称由用户定义，用来存放Object，由于是全局名，所以要确保名字是别人没用过的。
访问Web服务时，Http request headers需要一些参数。主要包括：
Date：当前UTC时间，形式为“&Wed, 01 Mar :00
Content-Length： 当对Object进行操作的时候，返回内容的长度，注意不要包括headers中的内容。
Content-MD5：用base64编码文件内容的MD5值。
Content-Type：资源的类型，比如：text/plain。
Host：Get Service时为“ &”。在对bucket和object进行操作时，例如bucket的名字是“bucketname”，那么Host就是“bucketname.”。
x-amz-meta-和x-am-开头的：包括Amazon定义的一些元数据和一些特定的header。后面如果出现会提到。
Authorization：这个是最重要的，主要作用是签名，Amazon根据的请求计算出一个签名值和这里计算的签名值进行比对，只有相同时，访问才是合法的。接下来对Authorization的计算方法进行详述。
Authorization的计算方法
这个是Amazon文档中的说明：
Authorization
+ AWSAccessKeyId + &:&
= Base64( HMAC-SHA1( YourSecretAccessKeyID, UTF-8-Encoding-Of(
StringToSign ) ) );
StringToSign
= HTTP-Verb + &\n&
&&&&Content-MD5
+ &\n&
&&&&Content-Type
+ &\n&
+ &\n&
&&&&CanonicalizedAmzHeaders
&&&&CanonicalizedR
CanonicalizedResource
+ Bucket ] +
&&&&&HTTP-Request-URI,
from the protocol name up to the query string& +
sub-resource, if
present. For example &?acl&,
&?location&,
&?logging&,
or &?torrent&];
CanonicalizedAmzHeaders
= &described below&
首先Authorization是由”AWS {0}:{1}“组成的，第0个参数为你的Access Key ID，在注册了AWS之后，在可以得到。第1个参数是计算出来的签名值。
签名值的计算方法是对一个UTF-8的字符串，用你的Secret Access Key（同样在Access Key ID处获取）进行SHA1加密。
StringToSign字符串也需要满足一定的格式。如上所示，第一行是你的操作名，应该为PUT、GET、DELETE、HEAD和POST中的一种。第二行是内容的MD5值的base64编码，和headers中的Content-MD5值应保持一致。第三行是Content-Type，同样需要和headers中的一致。第四行Date，和headers中的Date一致。需要说明的是CanonicalizedAmzHeaders和CanonicalizedResource。
CanonicalizedAmzHeaders就是把headers中的x-amz-开头的作为key转化为小写并按顺序排列，key和value之间用冒号相连，用换行符“\n”把它们给连接起来。比如说headers中有：
X-Amz-Meta-ReviewedBy:
X-Amz-Meta-ReviewedBy:
X-Amz-Meta-FileChecksum: 0x
X-Amz-Meta-ChecksumAlgorithm: crc32
那么CanonicalizedAmzHeaders就是：
x-amz-meta-checksumalgorithm:crc32\n
x-amz-meta-filechecksum:0x\n
x-amz-meta-reviewedby:,
CanonicalizedResource是指规范化的资源。如果访问资源没有指定bucket，那么就是“/”；如果包括bucket，而不包括object，那就是“/bucket_name/”，注意前后的“/”不要落了；如果既包括bucket，也包括object，那么就是“/bucket_name/object_name”；另外，有时候比如是访问bucket的acl（访问控制列表acess control list）时，object_name就是?acl，因此这时CanonicalizedResource就是“/bucket_name/?acl”，访问object的acl时，CanonicalizedResource&就是“/bucket_name/object_name?acl”。
需要说明的是，如果计算出的CanonicalizedAmzHeaders不为空时，要确保CanonicalizedAmzHeaders和CanonicalizedResource之间有换行符“\n”连接。
关于Authorization的详细内容，可以参考。
对Service的操作只包括Get，即获取用户所有的Buckets列表。Request headers除了通用的，没有其他的内容。比如
GET / HTTP/1.1
Date: date
Authorization: signatureValue
返回的XML中包括Owner和各个Buckets，比如：
&?xml version=&1.0& encoding=&UTF-8&?&
&ListAllMyBucketsResult xmlns=&http://doc./&&
&ID&bcaf1ffd86f461ca5fb16fd081034f&/ID&
&DisplayName&webfile&/DisplayName&
&Name&quotes&/Name&
&CreationDate&T16:45:09.000Z&/CreationDate&
&Name&samples&/Name&
&CreationDate&T16:41:58.000Z&/CreationDate&
&/Buckets&
&/ListAllMyBucketsResult&
由于项目中只用到了Buckets的PUT、GET、DELETE，关于acl、lifecycle、policy等就不作过多说明，如果这方面有疑问，可以参考。
接下来，如果Http request headers中内容没有什么特别说明的，将会略去不写。
需要说明的是，在request headers可以加入bucket的权限控制，即指定x-amz-acl，合法的值包括：private，public-read、public-read-write、authenticated-read、bucket-owner-read、bucket-owner-full-control，从名字就可以看出具体的含义。
在request body中可以包括位置信息，即用户期望Bucket放置在Amazon的哪个数据中心。默认为US Standard，其他数据中心包括US West (Oregon) Region、US West (Northern California) Region、EU (Ireland) Region、Asia Pacific (Singapore) Region、Asia Pacific (Tokyo) Region、South America (Sao Paulo) Region。对于我们中国用户来说，离得最近的是东京的数据中心。不过在body中内容中，这七个数据中心写成：'EU'、&'eu-west-1'、'us-west-1'、
'us-west-2'、'ap-southeast-1'、'ap-northeast-1'和'sa-east-1'。
比如请求如下：
PUT / HTTP/1.1
Host: BucketName.
Content-Length: length
Date: date
Authorization: signatureValue
&CreateBucketConfiguration xmlns=&/doc//&&
&LocationConstraint&BucketRegion&/LocationConstraint&
&/CreateBucketConfiguration&
Get Bucket主要是列出这个Bucket下所有的objects。值得提的是四个参数Prefix、Marker、MaxKeys和Delimiter，利用这四个参数，可以达到多种效果。
首先是Prefix，它表示这个Bucket中返回的Object以这个值为开头。Marker表示，返回这个值以后的Objects，比如说，第一次调用没有返回全部结果，则把第一次调用返回的Objects的最后一个作为Maker调用，以返回其以后的Objects。MaxKeys返回单次请求返回的最大Objects数，默认为1000。Delimiter表示分隔符，是在设置了Prefix之后，能够返回共同的Prefix（在结果中为CommonPrefix）。
因此，通过设置MaxKeys和Marker可以达到翻页效果，每次返回的最后一个Object作为下一次请求的Marker，在返回值中，如果IsTruncated为true，那么表示还有下一页。此外，通过设置Prefix和将Delimiter设为”/“，可以达到返回某个文件夹下所有内容的效果，其中CommonPrefix下的Prefix表示文件夹路径，而每个Contents中是Object的信息。
下面是一个请求的例子：
GET ?prefix=N&marker=Ned&max-keys=40 HTTP/1.1
Host: quotes.
Date: Wed, 01 Mar
Authorization: AWS AKIAIOSFODNN7EXAMPLE:xQE0diMbLRepdf3YB+FIEXAMPLE=
返回结果为：
HTTP/1.1 200 OK
x-amz-id-2: gyB+3jRPnrkN98ZajxHXr3u7EFM67bNgSAxexeEHndCX/7GRnfTXxReKUQF28IfP
x-amz-request-id: 3B3C7C
Date: Wed, 01 Mar
Content-Type: application/xml
Content-Length: 302
Connection: close
Server: AmazonS3
&?xml version=&1.0& encoding=&UTF-8&?&
&ListBucketResult xmlns=&/doc//&&
&Name&bucket&/Name&
&MaxKeys&1000&/MaxKeys&
&IsTruncated&false&/IsTruncated&
&Contents&
&Key&my-image.jpg&/Key&
&LastModified&T17:50:30.000Z&/LastModified&
&ETag&&fba9dede5f5a&&/ETag&
&Size&434234&/Size&
&StorageClass&STANDARD&/StorageClass&
&ID&75aa57f09aa0c8caeab4f8c24e99d10f8e7faeebf76c078efc7c6caea54ba06a&/ID&
&DisplayName&&/DisplayName&
&/Contents&
&Contents&
&Key&my-third-image.jpg&/Key&
&LastModified&T17:50:30.000Z&/LastModified&
&ETag&&1b2cf535f645a3985328&&/ETag&
&Size&64994&/Size&
&StorageClass&STANDARD&/StorageClass&
&ID&75aa57f09aa0c8caeab4f8c24e99d10f8e7faeebf76c078efc7c6caea54ba06a&/ID&
&DisplayName&&/DisplayName&
DELETE Bucket没有什么需要特殊说明的。
PUT Object基本操作类似，在Http body中添加Object的内容，这里就需要计算Content-Type等值。与PUT Bucket类似，可以在Http headers中加入x-amz-acl，以控制Object的权限。
在GET Object时，Response headers中会包括这个Object的相关信息，除了Content-Length和Content-Type等，Etag其实就是内容的MD5后的16进制的字符串。而Response body中就是文件的内容。
DELETE操作仍然没有什么特别说明的。
综上，本文主要说明了Amazon S3中对Service的GET，以及对Bucket和Object的PUT、GET和DELETE操作。但是REST API中还有一部分没有提到，这个可以查看具体的文档，其中解释得还是比较详细的。这篇文章还是为了想写Amazon S3客户端调用的同学们提供导向作用。
最后，提及一下当时的项目，项目主要是要实现一个本地的多云存储的备份。我们的项目使用了Python，而Amazon S3有一些第三方的API调用的实现，比较知名的有，但是由于其支持很多云服务，显得过于庞大，最后我决定自己实现，而Amazon
S3这块的中文资料也不是很多，这里分享出来，让入门的同学能够更快的上手，仅此而已。如果想看我们项目中Amazon S3 REST API的客户端实现，可以移步。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：284823次
积分：3377
积分：3377
排名：第8453名
原创：42篇
转载：148篇
评论：22条
(1)(1)(3)(2)(1)(1)(1)(2)(5)(21)(17)(1)(2)(7)(1)(4)(8)(2)(6)(15)(29)(7)(28)(7)(4)(2)(16)Shop Talk于3月19日-22日在美国拉斯维加斯召开，本周荟网将与大家分享这场全球最大的电子商务展中值得中国Amazon卖家关注的亮点。&第一部分：Shop Talk展会介绍在上周的Shop Talk展会中，中国供货商熟悉的Amazon、eBay、Wish， Jet整齐登场，与此同时Walmart、BestBuy也以传统超市与线上结合的成功典范在本次大会中做了精彩分享。Levis更是以全球知名品牌商和制造商的身份，告诉了来自来自全球的卖家，如何能够更加精准的抓住电商市场的巨大机会，让传统企业成功转型。&（图为BestBuy线上运营总监现场问答环节）第二部分：对中国卖家的5大利好对中国卖家重大利好一：以Walmart为首的美国传统零售巨头将向中国供货商开放虽然沃尔玛已经从去年开始在中国进行招商宣传，但是对于绝大多数中国供货商而言现在的限制门槛还很高。虽然注册美国公司和税号并不困难，从整体开户成功的几率来看，Walmart对于中国供货商入驻前在Amazon或其他平台的销售额仍然有一定的要求。针对于这个问题，荟网负责人与Walmart全球招商部门负责人进行了深入的交流，并获知Walmart将在近期对招商政策进行调整，同时将欢迎在Amazon经营6个月以上的商家入驻，对于年销售额的门槛将很有可能取消。同时，荟网将于Walmart紧密合作，为荟员推出Walmart培训、Walmart系统对接等免费资源。&对中国卖家重大利好二：Reviewer（测评师）走入规模化、正规化在Amazon对Review的政策进行调整后，基本现在的批量发布评价的方式已经变得非常不稳定，评价会经常被删除。同时，例如等网站也正在被更多买家用来评估Review的真实性。在这次展会上，荟网获悉美国的测评师群体也在变的越来越大，同时已经开始转入正规化、平台化运营。虽然，现在对于参与测评的产品品质还是有较高要求，但是荟网在展会中已经向美国测评师平台解释了中国卖家现在遇到的具体问题，并争取为荟员尽快取得测评师平台的认可。&对中国卖家的重大利好三：社交红人开始集群化运作社交平台也许是每个中国卖家心中的坎，想做但是做不起来。的确，荟网在做5天社交平台分享的时候可以明显感觉到，对于中国卖家而言，社交平台代表着巨大的客户群、测评师群，以及病毒式的传播力，无数欧美产品借助社交平台迅速走红。如何能够帮助荟员在社交平台上打造高关注度的产品，如何能够让更多红人传播这些产品，是荟网参加此次大会的主要目的。在大会上我们与多家社交媒体进行了交流，并将很快为荟员们推出一系列社交服务。&对于中国卖家的重大利好四：美国折扣网站开始降低门槛虽然SlickDeals似乎还是高高在上，但是美国境内的几大折扣网站已经开始对中国供货商降低门槛。荟网此次与数家折扣网站的营销负责人进行了深入探讨，多家折扣平台表示，对于Amazon卖家账户的FeedBack数量的要求将会大大降低，并欢迎中国供货商递交折扣信息。荟网也将从下月开始为荟员们提供一些列美国本土推广平台资源。&对于中国卖家的重大利好五：更多国家的线上市场将对中国卖家开放除了欧美的主流线上平台和推广方式外，一些小语种国家的线上市场也参加了此次展会。其中一家就是拉丁美洲最大的线上平台，eBay旗下的MecadoLibre。虽然没有专门摆设展台，但是荟网负责人与MecadoLibre招商部门的负责人还是进行了长时间交流，对于中国供货商而言，进驻MecadoLibre的难度主要来自于收款，但是墨西哥的MecadoLibre似乎为这个问题找到了答案。我们将在4月份为荟员进行专门针对MecadoLibre的培训，具体时间请大家查阅4月份荟网服务号的“荟员周刊”。&第三部分：展会亮点回顾亮点1: 线下实体店铺开始全面反击，更多针对于实体店铺的最新互联网和移动端技术将给客户更好的体验。Amazon Go类似的免付款流程的模式将在美国实体店广泛应用。（图为美国实体店使用的最新VR技术，让消费者拿起产品就可以看到使用场景和自己试穿效果）亮点2: 消费数据将被云端储存和共享。智能化线上数据分析成为亮点，很有可能你在网上和线下的所有搜索和购物记录都将被统一分析，以后无论你进入线上市场，还是实体店，也许你不在需要自己找商品，而是直接看到针对于你的喜好推荐的商品。（图为一家为迪士尼等大型企业提供线上数据分析、消费体验服务的数据运营商）&亮点3:Amazon被重重包围，很有可能Amazon会在未来1-2年达到最顶峰后被新的商业模式或市场代替。虽然说出来大家谁都不会相信，但是回想, 和我们以前热衷而现在早已经淡忘的平台，在互联网世界里，有无数一夜成名，众星捧月的平台，但是没有哪一家平台会在不改变商业模式的情况下称霸天下。希望在互联网的快车道上Amazon更好，中国卖家更好！（图为eBay的展台，eBay今年重金在ShopTalk进行宣传，希望能够重拾往日锋芒）第四部分：本周视频-2017全新Amazon店铺功能详解本周视频是Amazon店铺设置的关键一步，我们结合了Amazon在2017年最新的后台功能，并结合高转化率美国卖家的店铺设置方法，让大家知道如何进行几个关键设置让自己的店铺转化率提升10%。2017年Amazon店铺与品牌对卖家有什么不同意义SFP项目详解第三方卖家如何参与Amazon卖家中心哪里是地雷一碰就炸为什么Amazon店铺的2个设置能够提升10%的转化率加入荟网，原来这些都是免费的！荟网在2017年开始进行大范围服务升级，所有荟员可以永久免费享受以下资源：每周最新录制Amazon在线教程每月5天Amazon线下培训免费搭建独立站荟网Amazon销售软件（产品上传、订单管理、Facebook查找买家等）快推网产品推广资源请咨询荟网销售顾问：顾晓梅 (Alishe)手机: 负责地区：广东范秋兰 (Betty)手机:&负责地区：广东冯寒劲 (Johnson)手机:&负责地区：广东、浙江、江苏唐寿荣（Tony）手机：负责地区：江苏陈&Amon&手机：负责地区：福建联系以上荟网顾问，加入荟网，原来这些都是免费的！荟网在2017年开始进行大范围服务升级，所有荟员可以永久免费享受以下资源：每周最新录制Amazon在线教程每月5天Amazon线下培训免费搭建独立站荟网Amazon销售软件（产品上传、订单管理、Facebook查找买家等）快推网产品推广资源请拨打以上荟网顾问电话了解详情&荟网(huistore)
　查看原文
　文章为作者独立观点，不代表好文章阅读网立场
huistore荟 Simple Trade 微信公众号开放啦！您将可以定期收到有关 荟 Simple Trade 网店系统的最新主题、应用通知，更可以与大家一起分享eBay、Amazon网店销售技巧、Google优化经验，现在就加入吧！热门文章最新文章huistore荟 Simple Trade 微信公众号开放啦！您将可以定期收到有关 荟 Simple Trade 网店系统的最新主题、应用通知，更可以与大家一起分享eBay、Amazon网店销售技巧、Google优化经验，现在就加入吧！&&&&文章阅读网：文章
举报邮箱：jubao@xin.beidu.orgCopyright?2017 好文章阅读网
文章　文章网