当用户需要用Google Cloud对象存储GCS对阿里云的OSS存储做存储备份，以保障数据安全，或者便于使用Google Cloud CDN等产品时，可以用本文描述的方法对二者做同步。本文采用GCE的虚机作为同步服务器，安装ossfs和gcsfuse等工具，并使用rsync进行定时同步。

准备工作

1.创建好阿里云OSS桶，本例为青岛区域的aliyun-oss-qd-src
2.创建好Google Cloud GCS桶，本例为台湾区域的gcs-tw
3.在Google Cloud与GCS桶同区域创建一台GCE虚机，分配公网IP使其可以访问公网，本例使用台湾区域的一台g1-small (1C1.7GB) 虚机，并使用Google Cloud官方Ubuntu 16镜像

安装工具和配置同步

1. 安装ossfs

不同Linux发行版的安装步骤可以具体参照阿里云文档

本例的具体步骤如下。

wget http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_ubuntu16.04_amd64.deb
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package

2. 挂载OSS桶

从阿里云控制台获取用户访问密钥access key。

运行下面命令把OSS桶挂载到本地/mnt/ossfs目录。注意把和替换成有效的key。

sudo su -
echo aliyun-oss-qd-src:<accesskey-id>:<accesskey-secret> > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /mnt/ossfs
ossfs aliyun-oss-qd-src /mnt/ossfs -ourl=http://oss-cn-qingdao.aliyuncs.com

往OSS桶里添加一个文件，并查看本地挂载目录是否可见。如果可以说明配置正确。

ls /mnt/ossfs/

3. 安装gcsfuse

gcsfuse是用来把GCS桶挂载到Linux或MacOS的开源工具。具体说明和使用步骤参考代码文档

本例使用以下步骤。命令用root用户执行。

export GCSFUSE_REPO=gcsfuse-`lsb_release -c -s`
echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" | sudo tee /etc/apt/sources.list.d/gcsfuse.list
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
apt-get update
apt-get install gcsfuse

4. 挂载GCS桶

首先到GCP控制台IAM界面把Compute Engine 的默认Service Account (或其他要使用的Service Account) 的角色配置增加 Storage Object Admin。

下载配置好的Service Account的key文件。

将下载的JSON格式key文件上传到前面的虚机上。最方便的方式是使用网页版SSH工具上传。

用下面的命令创建本地文件夹并挂载GCS桶。命令中要指定上面下载的key文件。命令用root用户执行。

mkdir /mnt/gcs-tw
gcsfuse --key-file /home/eugeneyu/project-key.json gcs-tw /mnt/gcs-tw

如果有任何错误，可以增加日志输出，使用下面命令。

gcsfuse --key-file /home/eugeneyu/project-key.json --implicit-dirs --foreground --debug_gcs --debug_fuse gcs-tw /mnt/gcs-tw

5. 创建同步

挂载好后用下面命令测试一下手动同步可以成功。

rsync -avu --delete /mnt/ossfs/ /mnt/gcs-tw

如果没有问题，创建定时任务。每5分钟执行一次。

echo "0,5,10,15,20,25,30,35,40,45,50,55 * * * * root rsync -avu --delete /mnt/ossfs/ /mnt/gcs-tw" > /etc/cron.d/gcs-rsync

配置开机自动挂载存储

上面挂载OSS和GCS存储桶的命令都只在本次启动有效。虚机重启后会丢失挂载。可以创建下面的脚本保证开机自动挂载。

vim /etc/init.d/mount-storage.sh

在mount-storage.sh中填入下面内容。

#!/bin/sh

ossfs aliyun-oss-qd-src /mnt/ossfs -ourl=http://oss-cn-qingdao.aliyuncs.com
gcsfuse --key-file /home/eugeneyu/project-key.json gcs-tw /mnt/gcs-tw

创建不同runlevel的symlink。

update-rc.d mount-storage.sh defaults

重启一下并查看挂载成功。

文章版权归作者所有，未经许可不得转载

创作场景

创建阿里云 OSS 到 GCS 的自动同步