写点什么

如何使用 AZCOPY 同步 Azure Blob 存储

  • 2020-01-25
  • 本文字数:1552 字

    阅读完需:约 5 分钟

如何使用 AZCOPY 同步 Azure Blob 存储

几个月前,我写了一篇关于 如何使用 AzCopy 同步文件到 Azure Blob 存储 的博客。今天针对我在 GitHub 上使用 AzCopy 的一个问题,有了一个激动人心的更新。这意味着您现在可以使用 AzCopy 从 Azure Blob 到 Azure Blob。

Azure Blob <-> Azure Blob (源必须包括共享访问令牌 SAS 或者可公共访问,对于目标可以支持共享访问令牌 SAS 或者 OAuth 认证)

如何在 Azure Blob 存储之间同步

作为准备工作,您将需要 安装并设置 AzCopy ,或者在 Azure Cloud Shell 中使用 AzCopy.


您可以使用下述命令将 Azure blob 存储同步到另外一个 Azure Blob 中。该命令将仅仅同步发生变化和新建的文件。其比较文件的名称和最后修改时间戳。


azcopy sync "https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]" "https://[account].blob.core.windows.net/[container]/[path/to/blob]?[SAS]"
复制代码


对于目标,你既可以使用 SAS 或者 OAuth。为了同步一个存储账号中的整个容器或者文件夹到另外一个账号,你可以使用下述命令:


azcopy sync "https://[account].blob.core.windows.net/[container]?[SAS]" "https://[account].blob.core.windows.net/[container]"
复制代码


作为示例,这里我将从在北欧区的 Azure 存储账号的一个容器中的文件,复制到西欧区的另一个存储账号中。



我使用如下命令来实现:


azcopy sync "https://tomnortheurope.blob.core.windows.net/myfiles?[SAS]" "https://tomwesteurope.blob.core.windows.net/destinationfiles?[SAS]" --recursive=true
复制代码



您可以看到,在第一次运行时,它确实将所有文件从源存储帐户复制到了目标位置。 在第二次运行中,它没有复制任何文件,因为文件已经存在了。



下面是一系列可以使用的参数。您可以在微软 Docs上发现更多的关于 AzCopy sync 的命令。


–block-size-mb 在上传到 Azure 存储或者从 Azure 存储下载时,使用的块尺寸 (以 MiB 为单位) 。默认基于文件尺寸自动计算。支持使用十进制小数(例如:0.25)。


–check-md5 字符串,指定在下载时,如何强制 MD5 散列值用于验证。该选项仅在下载时可用。可用值包括:NoCheck, LogOnly, FailIfDifferent, FailIfDifferentOrMissing. (默认值:‘FailIfDifferent’)。


–delete-destination 字符串。定义是否删除源中没有提供的目标中的其它文件。可以设置为: true, false, 或者 prompt。如果设置为 prompt,在删除文件或者 blob 之前,用户将被要求确认 (默认 false)。


–exclude-attributes 字符串(仅 Windows),排除匹配文件属性的文件。例如:A;S;R


–exclude-pattern 字符串,排除匹配模板列表的文件,例如:.jpg;*.pdf;exactName


-h, –help 使用帮助


–include-attributes 字符串 (仅 Windows),仅包含匹配文件属性列表的文件。例如: A;S;R


–include-pattern 字符串,仅包含匹配模板列表的文件。例如: .jpg;.pdf;exactName


–log-level 字符串, 定义日志文件的日志级别。可用的级别:INFO(所有的请求和响应), WARNING(慢速响应), ERROR(仅仅失败的请求), 以及 NONE(没有输出日志). (默认 INFO). (default “INFO”)


–put-md5 对每个文件创建 MD5 散列,并保存将散列值作为目标 blob 或文件的 Content-MD5 属性。 (默认情况下,创建散列)。仅在上传时可用。


–recursive 默认为 True,当在目录之间同步的时候,递归进入子目录 (默认为 true)。


如果您希望了解更多关于同步本地文件到 Azure blob 存储的内容,请查看我的博客。我希望这可以帮助您快速查看如何使用 AzCopy 同步 Azure blob 存储。如果您希望学习更多内容,请查看微软 Docs 中关于如何 使用 AzCopy 传输数据。如果有任何问题,请留言。


原文链接


https://github.com/azureselected/azureselected/blob/master/content/cloud-advocate/2019-12/how-to-sync-azure-blob-storage-with-azcopy.md


2020-01-25 11:303586

评论

发布
暂无评论
发现更多内容

5gWiFi IPQ6010 vs. IPQ5010 Battle of the WiFi 6 Titans:  - Which One Should You Choose?

wifi6-yiyi

5G wifi

修复各种 iOS 设备TunesKit iOS System Recovery

Mac相关知识分享

情绪稳定!别再让Git合并冲突影响你工作了

禅道项目管理

程序员 代码管理 git 学习 Git Commit git push

人工智能 | 阿里通义千问大模型

测吧(北京)科技有限公司

测试

喜讯|麦杰科技入选首批《上海市重点产业和领域数字化产品和解决方案推荐目录》

麦杰研究院

人工智能 | 阿里通义千问大模型

测试人

人工智能 软件测试

开源向量数据库性能对比: Milvus, Chroma, Qdrant

Zilliz

性能测试 Milvus 向量数据库 Chroma qdrant

儋州市等保测评机构有哪些?在哪里?

行云管家

等保 等保测评机构 澶州

【CST教程】如何在CST中设置自由边界

思茂信息

cst 电磁仿真 边界条件

捷途山海 T2—— 安全堡垒,护航人生

科技热闻

飞码LowCode前端技术(六)

京东科技开发者

Perfectly Clear Video for Mac(AI视频增强工具)

Mac相关知识分享

携手并进,智驭教育!和鲸科技与智谱 AI 签署“101 数智领航计划”战略合作协议

ModelWhale

人工智能 大模型 学科建设 创新人才

基智科技CEO张文战:探索火山引擎数据飞轮模式下的大模型应用新机会

字节跳动数据平台

大数据 大模型

商品详情数据API接口详解与数据应用参考

代码忍者

pinduoduo API API 性能测试

FastRawViewer for mac(Raw查看器)

Mac相关知识分享

实用便捷的音频录制工具TunesKit Audio Capture for mac

Mac相关知识分享

研发数据要不要跟绩效考核挂钩?

思码逸研发效能

DevOps 研发效能 绩效管理 研发效能度量

测试热招职位技能要求拆解公开课 —— 开启你的软件测试进阶之路

测吧(北京)科技有限公司

测试

飞码LowCode前端技术(七)

京东科技开发者

单色相机的原始文件转换为 DNG 格式LibRaw Monochrome2DNG for Mac

Mac相关知识分享

2025云堡垒机公司就选行云绽放!

行云管家

云计算 网络安全 云堡垒机

“特斯拉式”创新,被这家科技卫浴品牌极致演绎

Alter

飞码LowCode前端技术(五)

京东科技开发者

功能强大的视频剪切工具TunesKit Video Cutter for mac(视频分割编辑

Mac相关知识分享

Java 如何确保 JS 不被缓存

威哥爱编程

js Java’

VMware Aria Operations 8.18 发布,新增功能概览

sysin

vmware aria Operations

功能强大的字幕编辑工具TunesKit Subtitle Editor for Mac

Mac相关知识分享

研发效能中的黄金三角与瓶颈突围

思码逸研发效能

研发效能 绩效 绩效管理 效能度量 绩效分析

【FAQ】HarmonyOS SDK 闭源开放能力 —Map Kit(3)

HarmonyOS SDK

HarmonyOS

计算不停歇,百度沧海数据湖存储加速方案 2.0 设计和实践

Baidu AICLOUD

大数据 hdfs 数据湖 对象存储

如何使用 AZCOPY 同步 Azure Blob 存储_容器_Thomas Maurer_InfoQ精选文章