写点什么

如何在云上快速搭建 NFS

  • 2019-10-28
  • 本文字数:2503 字

    阅读完需:约 8 分钟

如何在云上快速搭建 NFS

简介

传统架构中我们常使用 NFS 来作为共享文件的存储。那么在搬迁到云中的时候我们该如何快速搭建相应的 NFS 系统?


本文将为您介绍快速搭建 NFS 系统的解决方案的四个关键词,分别是:


· 利用适用于文件的 AWS Storage Gateway 搭建云中 NFS


· 在 EC2 上使用 NFS


· NFS 只在 VPC 内网可连


· 工作于由光环新网运营的 AWS 中国(北京)区域

服务简介

File Gateway

文件网关提供了一个文件接口,让您可以使用行业标准 NFS 文件协议将文件作为对象存储在 Amazon S3 中,并通过 NFS 从您的数据中心或 Amazon EC2 访问这些文件,或通过 S3 API 以对象形式访问这些文件。所有权、权限和时间戳作为与该文件关联的对象的用户元数据,永久存储在 S3 中。当对象传输到 S3 之后,它们可以作为原生 S3 对象进行管理,版本控制、生命周期管理和跨区域复制等存储桶策略将直接应用于存储在存储桶中的对象。


客户使用文件网关 NFS 接口将文件数据存储到 S3 中,这些数据便可以供基于对象的工作负载使用,用作传统备份应用程序的经济高效的存储目标,或者用作应用程序文件存储的云端存储库或存储层。

在 EC2 上使用 File Gateway 作为 NFS


工作方式:


· 对象数据存储在 S3 中,提供数据可靠性和持久性


· Gateway 缓存为一个 EC2 实例,和 S3 定期同步数据


· 使用 NFS 的实例与 gateway 缓存实例交流读写数据

搭建步骤

创建网关

  1. 创建 Storage Gateway, 选择文件网关类型



  1. 选择 Amazon EC2 作为主机平台,按照设置说明配置 VPC,主机类型,添加新 EBS 卷,安全组等。


注意:


1)我们将配置 NFS 服务器只在 VPC 可连,所以请禁用自动分配公有 IP 选项


2)对添加的 EBS 卷,设置大小在 150G 以上


3)在安全组上临时配置安全策略,允许 VPC 内其它机器通过 80 端口访问该机器


4)保证该机器能够访问公网,一般通过 NAT 网关(https://docs.aws.amazon.com/zh_cn/AmazonVPC/latest/UserGuide/vpc-nat-gateway.html)等方式实现。



  1. 等待 EC2 创建完成,点击进入 EC2 详情页,记录下该机器的私有 IP (下文称该 IP 为: Gateway 私有 IP)

链接并激活网关

  1. 在 IAM 中创建新的 EC2 角色,配置拥有 AWS Storage Gateway Full Access




  1. 在同一个 VPC 中创建另外一台临时的 EC2 实例(Amazon Linux),并满足以下条件


a. 能够使用 SSH 登录


b. 绑定上一步中创建的 EC2 角色(ec2-storage-gateway)


  1. SSH 登录到临时 EC2 实例

  2. 运行以下命令得到 gateway 实例的激活码


curl -I [gateway 私有 IP]/?activationRegion=cn-north-1



记录下激活码 activationKey 的值


  1. 运行以下命令激活 file gateway


aws storagegateway activate-gateway –activation-key [activationKey] –gateway-name [gateway name] –gateway-timezone “[time zone]” –gateway-region cn-north-1 –gateway-type FILE_S3 –region cn-north-1



激活成功后命令返回 GatewayARN


  1. 返回 Storage Gateway,检查 my_gateway 是否已经建立



  1. 点击 my_gateway,编辑本地磁盘,将创建时添加的 EBS 卷配置成缓存,并且保存。

关联 S3 和 file gateway

1.点击并创建文件共件



2.配置文件共享设置。


1)选择网关 my_gateway


2)S3 存储段名称填写 s3 存储桶名称,可以为现有的 s3 存储桶,也可以新建一个



  1. 在 S3 存储桶和 file gateway 不在同一账号的情况下,我们也可以关联两者。需要在 S3 存储桶上额外设置存储桶策略。如果只是同一账号的情景,请直接跳到下一步。


注意:以下策略中的 Principal 中配置的角色为上一步中自动创建的新 IAM 角色。可以在 IAM 界面中查询到。


Json

{
                "Version": "2012-10-17",
    "Id": "FGWPolicy",
    "Statement": [
        {
            "Sid": "FGWStmt",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws-cn:iam::[account id]:role/service-role/StorageGatewayBucketAccessRole8e94d222-b375-4f29-ac2a-99d77c1bf3"
            },
            "Action": "s3:*",
            "Resource": [
                "arn:aws-cn:s3:::images-andrew",
                "arn:aws-cn:s3:::images-andrew/*"
            ]
        }
    ]
}


当然,你也可以控制 file gateway 账户只对 S3 存储桶拥有只读权限。


Json

{
    "Version": "2012-10-17",
    "Id": "FGWPolicy",
    "Statement": [
        {
            "Sid": "FGWStmt",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws-cn:iam::[account id]:role/service-role/StorageGatewayBucketAccessRole8e94d222-b375-4f29-ac2a-99d77c1bf3"
            },
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": [
                "arn:aws-cn:s3:::images-andrew",
                "arn:aws-cn:s3:::images-andrew/*"
            ]
        }
    ]
}


4.点击下一步,确认,等待文件共享状态变为可用。


在 Ec2 上使用 file gateway 上的 NFS

  1. 登录已经创建的临时 EC2 实例。我们将在该机器上测试 NFS 的配置。

  2. 运行以下命令


sudo mount -t nfs -o nolock [gateway 私有 IP]:/[s3 存储桶名] [MountPath]



  1. 成功 mount 后,您就可以在/nfs 文件夹看到 s3 存储桶中的内容了。您可以添加,删除,或者查看这些内容。


注意: 您在/nfs 文件夹下的操作会直接映射到 gateway 缓存实例上。缓存实例会定期和 S3 做同步。所以如果您添加了一个文件在/nfs 中,过若干秒就能在 S3 存储桶中看到它了。

注意事项

Gateway 缓存实例在该架构中为一个潜在的单点故障,建议使用一些机制来减小它的影响。比如在该机器上设置自动恢复机制。详情请参考:


https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/ec2-instance-recover.html


作者介绍:


任庆杰


任庆杰,AWS解决方案架构师。负责基于AWS的云计算方案架构的咨询和设计,同时致力于AWS云服务在国内和全球的应用和推广。在加入AWS前,拥有超过7年的软件开发和IT项目管理经验。
复制代码


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-establish-nfs


2019-10-28 08:00941

评论

发布
暂无评论
发现更多内容

直播 | StarRocks 实战系列第二期--导入优化&问题排查

StarRocks

数据库 开源

多款社交黑马海外霸榜,融云全球通信服务护航登顶

融云 RongCloud

什么是网关型堡垒机?与运维审计堡垒机有什么区别?

行云管家

堡垒机 堡垒机网络安全

黑龙江哈尔滨市等保测评机构有五家啦!名单看这里!

行云管家

等保 机构 等保测评 哈尔滨

基于开源IM即时通讯框架MobileIMSDK:RainbowChat v8.4版已发布

JackJiang

即时通讯 即时通讯IM

可靠、稳定、安全,龙蜥云原生容器镜像正式发布!

OpenAnolis小助手

开源 容器 云原生 镜像 龙蜥社区

用Docker在本地搭建nginx静态服务器&反向代理

致知Fighting

Java Docker 后端

程序员超级干货书单:技术人必看

引迈信息

程序员 敏捷开发 书单

飞桨框架v2.4 API新升级!全面支持稀疏计算、图学习、语音处理等任务

百度Geek说

API 框架 3D点云 企业号 2 月 PK 榜 Sparse Transformer

使用 Ingest Pipeline 在 Elasticsearch 中对数据进行预处理

Se7en

炸了!3年图片都没了

艾小仙

国际财务系统基于ShardingSphere的数据分片和一主多从实践

京东科技开发者

数据库 数据分片 ShardingSphere 企业号 2 月 PK 榜 一主多从

瓴羊Quick BI可视化功能,满足企业的数据分析需求

对不起该用户已成仙‖

QCon演讲实录(下):多云管理关键能力实现与解析-AppManager

阿里云大数据AI技术

大数据 运维 多云服务 多云管理

连续两年榜上有名!TDengine 荣获墨天轮“2022 年度时序数据库”奖项

TDengine

数据库 tdengine 时序数据库

百分点科技宣布接入百度文心一言能力 数据科学基础平台获领先AI技术加持

百分点科技技术团队

安全可信| 首批!天翼云智算平台率先通过可信算力服务评估

天翼云开发者社区

Maven Shade插件relocation修改类常量的问题

Laughing

Java 后端 Maven-Shade-Plugin RelocationClass

利用DUCC配置平台实现一个动态化线程池

京东科技开发者

spring 多线程 代码 动态线程池 ducc

WorkPlus即时通讯集成工作平台,提效企业一体化管控

BeeWorks

墨天轮【第二届数据库掌门人论坛】圆满收官 | 含嘉宾精彩观点回顾

墨天轮

数据库 Serverless TiDB oceanbase 国产数据库

大模型为什么是深度学习的未来?

GPU算力

人工智能 深度学习 大模型

使用自定义的初始化方法宏(OC)

刿刀

拥有了瓴羊Quick BI,企业的数据分析变得更好

巷子

电阻为什么都是4.7kΩ、5.1kΩ,而不是整数5kΩ?

元器件秋姐

科普 元器件 元器件知识 电阻 电阻值

完美主义者友好!合合信息旗下扫描全能王“智能擦除”照片中的杂物

合合技术团队

人工智能 图片 文本

飞桨特色产业级模型库助力AI开发与落地更简单

飞桨PaddlePaddle

paddle 开源 模型 飞桨

更专业、安全、可控!政企都选择WorkPlus私有化部署

BeeWorks

关系型数据库的架构演变

石臻臻的杂货铺

数据库 架构

90%企业在探索的敏捷开发怎么做?极狐GitLab总结了这些逻辑与流程

极狐GitLab

DevOps 敏捷开发 持续集成 CI/CD 持续交付

英特尔研究院探索负责任的生成式AI,让AI应用真正惠及大众

科技之家

如何在云上快速搭建 NFS_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章