QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Amazon 发布可持续性数据集,可用于多个领域的数据分析

  • 2019-02-12
  • 本文字数:1155 字

    阅读完需:约 4 分钟

Amazon发布可持续性数据集,可用于多个领域的数据分析

Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


Amazon Web Services Open Data(AWSOD)和 Amazon Sustainability(AS)正在合作,为 AWS Simple Storage Service(S3)提供可持续性的数据集,并通过预处理数据集来实现最佳的数据检索,从而消除无差异的繁重工作。可持续性数据集通常来自卫星、地质研究、气象雷达、地图、农业研究、大气研究、政府和很多其他来源。


2018 年 12 月 10 日,AWSOD 和 AS 团队发布了第一组数据集。这些数据集向现有的 AWS Open Data 数据集种添加了一种新数据类别。这些可持续性数据集之前已经被公开,AWS 现在正在改进数据集的访问便利性,例如,将大型存档文件分成可以独立检索的较小的可寻址块。AWS 使用 Simple Storage Service(S3)存储数据,并将存储桶设置为公开可访问。Simple Notification Services(SNS)用于向消费者发起新数据通知,并且在少数情况下使用 CloudFront 通过应用程序编程接口提供数据,以便加快检索速度。


为了进一步促进新数据集的使用,AWS 正在与 Group on Earth Observations(GEO)合作,拨出 150 万美元的 AWS Cloud Credits,以获得有关地球的见解。


AWS 提供了如何使用可持续性开放数据集的文档以及用于搜索数据集的标签。“非洲土壤信息服务(AfSIS)土壤化学”数据集可以用来学习如何将机器学习应用于开放数据。使用开放数据集的社区第三方贡献者发布了一些博文,介绍了如何使用公共数据集:



此外,AWS 的一些客户成功地在云端使用可持续性数据:



负责农业数据分析的 Sebastian Fritsch 参与了 AWS 有关卫星数据集使用的问答,他被问道:“在你看来有什么亮点吗”?他回答说:“只需要修改几行代码就可以将数据产品从相对较小的试点区域扩展到全局,对我们来说,这是一个亮点”。


在可持续性数据集发布之前,AWS Global Open Data 主管 Jed Sundwall 谈到了如何不断改进 AWS 传输 PB 级开放数据的能力。AWS 正在向开放数据集中添加各种索引(包括外部索引、文件命名和内部索引),以增加访问便利性。AWS 的工作人员正在观察社区的情况,并意识到他们可以通过社区构建的数据集处理机制来衡量数据集的成功程度。最后,AWS 提供了一个明确定义的程序,用于支付成本,并让新的贡献者通过AWS提供公共数据集。


查看英文原文:https://www.infoq.com/news/2019/01/amazon-sustainability-datasets


2019-02-12 14:513537
用户头像

发布了 731 篇内容, 共 459.9 次阅读, 收获喜欢 2004 次。

关注

评论

发布
暂无评论
发现更多内容

不是我吹!看完阿里高工码出Java150K字面试宝典,进大厂稳了

Java 程序员 架构 面试

喜讯!腾讯团队Redis技术笔记,下载量已突破30W;附下载方式

Java架构师迁哥

教你一招:让集群慢节点无处可藏

华为云开发者联盟

节点 GaussDB 集群 慢节点 慢实例

你是做敏捷与DevOps的,还是做掉敏捷与DevOps的?

刘华Kenneth

DevOps 敏捷 转型 教练

Nginx通过Cookie做灰度就这么简单

运维研习社

nginx 运维 灰度发布 5月日更

Django 之模板篇

若尘

django Template Pattern Python编程 5月日更 模板

花5分钟手写一个简单的HashMap,搞定挑剔面试官

北游学Java

Java 面试 hashmap

架构师实战营-模块4-设计千万级学生管理系统的考试试卷存储方案

吴建中

架构实战营

架构实战营 - 模块 5- 作业

泄矢的呼啦圈

架构实战营

应用架构步入“无服务器”时代,Serverless技术迎来新发展

华为云开发者联盟

Serverless 华为云 无服务器 可信云 FunctionGraph

iOS开发-60分钟入门

iOSer

ios iOS Document 移动开发 ios开发 iOS Developer

Hive|如何避免数据倾斜

数据社

hive 5月日更

Java岗熬了6年,终成P8,只因搞懂了这七件事

Java架构师迁哥

大厂必问 iOS 面试题 - (上)

原来是泽镜啊

程序员 面试 ios开发

接招吧!最强“高并发”系统设计 46 连问,分分钟秒杀一众面试者

面试 高并发 Java 25 周年

金三银四旗开得胜!春招字节正式批4面,顺利拿到offer

Java 程序员 架构 面试

太顶了!阿里大牛离职带出来的这份“Java架构核心宝典”学习笔记,差距不是一点点

Java 程序员 架构 面试

Mysql InnoDB使用的锁

water

第一次凡尔赛,字节跳动3面+腾讯6面一次过,谈谈我的大厂面经

Java架构师迁哥

从外包辞职再到入职字节那天,我落泪了,没人知道我付出了多少

Java架构师迁哥

领域驱动设计101 - 值对象

luojiahu

领域驱动设计 DDD

模块 4 作业

鲲哥

Github上“Java面试考点大全”被我扒下来了,20+互联网公司,应有尽有

Java架构师迁哥

IDEA中request获取不到getParameter方法

咿呀呀

javaWeb Request getParameter

探索科技手段下的食品安全,区块链冷链追溯平台建设解决方案

源中瑞-龙先生

一次事故,我对MySQL时间戳存char(10)还是int(10)有了全新的认识

华为云开发者联盟

MySQL 索引 时间戳 char int

MySQL数据库事务隔离性的实现

华为云开发者联盟

MySQL 数据库 事务 数据库隔离 事务隔离

架构师成长之路

soho

kube-controller-manager之AD Cotroller源码分析

良凯尔

Kubernetes 源码分析 Ceph CSI

想要成为架构师?你只要满足这些条件就可以

华为云开发者联盟

设计 工程师 架构师 软件系统 软件架构师

iOS面试题--基础篇

ios 程序员 面试 编程之路

Amazon发布可持续性数据集,可用于多个领域的数据分析_数据库_Aslan Brooke_InfoQ精选文章