基于S3的图片处理服务_其他_亚马逊云科技 (Amazon Web Services）



 写点什么

作者：高寅敬徐榆

1.背景介绍

随着移动互联网的快速发展，各种移动终端设备爆发式的增长，社交类 APP 或者电商网站为了提升访问速度、提高用户体验，必须根据客户端的不同性能，不同屏幕尺寸和分辨率提供适当尺寸的图片。这样一来开发者通常需要预先提供非常多种不同分辨率的图片组合，而这往往导致管理难度的提升和成本的增加。

在这篇博客中，我们将探讨一种基于 S3 的图片处理服务，客户端根据基于 HTTP URL API 请求实时生成不同分辨率的图片。

2.解决方案架构

为了保证图片服务的高可用，我们会把所有的图片（包括原图和缩率图）储存于 AWS 的对象储存服务 S3 中，把图片处理程序部署于 AWS EC2 中。大部分的图片请求都会直接由 AWS S3 返回，只有当 S3 中不存在所需缩率图时才会去请求部署于 EC2 上的图片处理服务来生成对应分辨率图片。

业务流程：

用户客户端（通常是浏览器或者 APP）发起请求 200×200 像素的图片
S3 中未存在该尺寸缩率图，于是返回 HTTP 302 Redirect 到客户端
客户端根据 HTTP 302 响应，继续请求部署于 EC2 上的图片处理服务
部署于 EC2 的图片处理服务，会从 S3 获取源图
图片处理服务，根据请求参数生成对应尺寸图片缩率图
图片处理服务将对应的图片返回给客户端
图片处理服务把缩率图存回到 S3 中，加速下一次客户访问

3.架构特点

相较于预先生成所有所需分辨率图片和传统的基于独立图片处理服务器，这种新的处理方式包含以下优点：

更高的灵活性：

当我们的前端开发人员对界面进行改版时，时常会涉及到修改图片尺寸。对所有原始图片进行缩放的批处理是十分耗时，高成本且易出错的。利用这种基于 URL API 的实时处理方式，前端开发者指定新的尺寸后，立即就能生成符合客户访问新的网页和应用对应的图片，提高了前端开发人员的开发效率。

更低的储存成本：

对于传统图片处理方式，在未使用之前预先批量生成所需分辨率图片，占用大量的储存空间，而且利用率并不高。

以按需方式生成图片，能减少不必要的储存空间，降低储存成本。

相对于独立图片处理服务器把图片完全储存于 EC2 的 EBS 卷，储存于 S3 的成本也更低。

我们知道缩率图是属于可再生数据，所以我们在程序上会把缩率图储存为 S3 的去冗余储存类型，再次降低约 13% 的存储成本。

更高的服务可用性：

我们可以看到，独立地部署单台图片服务器，无法支持大并发负载。同时存在单点故障无法保证服务的高可用性，高可扩展性。

而基于 S3 的解决方案，大量的图片请求，由 AWS S3 来完成，S3 会自动扩展性能，因此应用程序的运行速度在数据增加时不会减慢。

只有少量的未生成的图片尺寸才会用到部署于 EC2 的图片服务器，并且我们图片逻辑服务器与图片储存 S3 是解耦合关系，我们还可以针对基于 EC2 的图片处理服务进行横向扩展，比如把图片服务程序加入到 Web 服务器层，配合负载均衡器 ELB、自动伸缩组 AutoScaling 来实现自动伸缩。

4.服务部署

为了服务部署能更接近生产环境，我们以下所有步骤将以创建一个以域名为 images.awser.me 的图片服务为例，来详细介绍如何基于 AWS 来部署。

在 EC2 上部署图片处理服务

1.创建一台 EC2 服务器，并赋予具有 S3 访问权限的IAM 角色，配置正确的安全组开启 HTTP 80 端口访问权限。

示例程序基于 PHP，所以需要确保服务器安装了 Apache 2.4 和 PHP 7.0 以上。以及 PHP 图片处理的相关的组件：ImageMagick、ImageMagick-devel 。

参考基于 Amazon Linux 的安装命令：

yum -y install httpd24 php70 ImageMagick ImageMagick-devel php70-pecl-imagick php70-pecl-imagick-devel

从 github 或者从S3 下载图片处理程序，修改根目录 resize.php 文件，bucketName 变量为你的域名或者是你的储存桶名称，例如：$bucketName=’images.awser.me’。

将程序部署于你的 web 目录底下，并且确保能通过 EC2 公网 IP 进行访问。

例如：http://52.80.80.80/resize.php?src=test_200x200.jpg

最好为你的图片服务器设置一个域名，我们这里设置了 imgpro.awser.me。

例如: http://imgpro.awser.me/resize.php?src=test_200x200.jpg

这里记录下你的 EC2 Web 访问地址，在下一步的 S3 储存桶配置中会用到。

创建和配置 S3 储存桶

创建储存桶

由于我们在生产环境中，需要使用指定的域名来访问 S3 资源。所以我们需要在 S3 控制台创建储存桶时，把储存桶名称设置为我们的域名，如： images.awser.me。

储存桶权限控制

在刚刚创建的 S3 储存桶，权限选项卡中选择储存桶策略填写如下内容（注意修改 images.awser.me 为你的域名或者储存桶名称）开启匿名访问。

Java

{
  "Version":"2012-10-17",
  "Statement":[
    {
      "Sid":"AddPerm",
      "Effect":"Allow",
      "Principal": "*",
      "Action":["s3:GetObject"],
      "Resource":["arn:aws-cn:s3:::images.awser.me/*"]
    }
  ]
}

复制代码

开启静态网站托管

在刚刚创建的 S3 储存桶，属性选项卡中开启 静态网站托管 ，并配置 重定向规则 为以下示例内容（请修改 HostName 为上一步骤所创建的 EC2 Web 访问地址）：

Java

<RoutingRules>
  <RoutingRule>
    <Condition>
      <KeyPrefixEquals/>
      <HttpErrorCodeReturnedEquals>404</HttpErrorCodeReturnedEquals>
    </Condition>
    <Redirect>
      <Protocol>http</Protocol>
      <HostName>imgpro.awser.me</HostName>
      <ReplaceKeyPrefixWith>resize.php?src=</ReplaceKeyPrefixWith>
      <HttpRedirectCode>302</HttpRedirectCode>
    </Redirect>
  </RoutingRule>
</RoutingRules>