QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

我离开 Uber,开始自主创业后......

  • 2021-12-24
  • 本文字数:2729 字

    阅读完需:约 9 分钟

我离开Uber,开始自主创业后......

数据监管和用户数据保护可能会成为企业在这十年面临的最大挑战之一,越来越多的国家和地区正在考虑制定数据隐私法案。例如,2020 年美国有 30 个州考虑制定数据隐私法案,这个数字在 2021 年增加到了 38。这波由 GDPR 拉开序幕的立法浪潮始于 2016 年左右,当时世界进入了 Zettabyte(泽字节,相当于 1073741824 TB)时代。从那时起,组织和个人都更多地注意到他们可能会存储在云端的大量数据。到 2025 年,我们预计全球将有近 100 泽字节的云数据,大约是 1000 亿 TB,几乎等于银河系中的恒星数量。


云数据惊人的增长和随之而来的数据隐私法案并非彰显数据监管重要性的唯一征兆。在过去一年的 IPO 热季,随着越来越多公司上市,网络完全和数据保护逐渐成为公司董事会讨论的重要内容。


这意味着数据监管和数据保护成为所有利益相关者关心的领域:用户相信你能小心翼翼地处理好他们的数据以及保护好他们的隐私。董事会希望你避免发生数据泄露事故,因为这对于成长中的业务来说是毁灭性的打击。而归根结底,业务是否能够保持长青,取决于是否能够管理好用户数据以及其他各种敏感数据。


大家都知道,数据泄漏不是件好事。用户数据是神圣不可侵犯的,公司应该尽力保护好用户数据,避免数据泄漏。但是,数据安全问题一直以来都很棘手,特别是对于保存在云端的数据来说。那么,为什么会这样呢?

关于数据安全,我在 Uber 学到了什么


我从 2016 年就开始思考数据安全问题,那个时候我已经在 Uber 了。当时,随着 GDPR 的推出,以云计算为中心的合规环境才刚刚成形。Uber Eats 在短短的两年时间发展到了数十亿美元的规模。毫无疑问,服务数量激增,SaaS 系统和云端的用户数据也随之增长。随着业务的增长,数据增长问题就变得越来越严重,如果我们不及早处理,就越难以下手。


很显然,要解决这个问题,需要三个核心要素。


  • 提高数据可见性。我们要聚合的数据难以识别,在很多情况下,它们是半结构化的数据。我们只是粗略地知道我们想要什么,但不知道该从哪里获得。此外,我们的环境在持续地发生变化,我们知道,敏感数据的类别和存储数据的位置只会越来越多。

  • 改进数据的健康检查。随着团队加入越来越多的工程师,我们很难确保每个人都遵循了可以降低敏感数据泄漏可能性的最佳实践。

  • 纠正过去和未来的不合规行为。事实证明,创建标准化的报告系统用于发现和移除敏感数据是非常耗时的,这个过程需要一定程度的自动化。我们所知道的是,云计算工具的快速发展和采用导致我们很难知道它们是否有在遵循那些确保敏感数据安全性的最佳实践,以及在何时遵循。当我们意识到这个问题时,市场上并没有足够灵活的解决方案,于是我们需要自己构建解决方案来解决这个问题。


我意识到,对于大多数企业来说,我们在 Uber Eats 构建的解决方案并不适合它们,于是,创办 Nightfall 的想法开始在我的脑海里萌芽。

要解决云端数据安全问题需要做些什么


不管是从概念还是技术方面来看,要保护好用户数据(真正的业务敏感数据)是极具挑战性的。第一个障碍是理解数据可见性、数据健康检查和数据纠正之间的关系。除非这三个方面都同时进行,否则是不可能确保敏感数据得到了完整的保护。就像 CIA(Confidentiality、Integrity、Availability,即保密性、完整性和可用性)“铁三角”一样,这三个要素也是紧密相关的。


  • 可见性。获取数据可见性对于了解历史违规来说至关重要。这里指的是那些已经进入到你的环境但还未显现出来的敏感数据。

  • 健康检查。强制实施数据检查对于防止引入违反数据安全的内容来说至关重要。这可以确保以后不会发生违规行为。

  • 纠正。纠正敏感数据泄漏行为对于移除历史违规和确保未来的数据检查违规不会导致数据泄漏事件的发生来说至关重要。对于这个问题,想和做完全是两码事。技术方面的挑战性不容小觑。以上三个要素需要被融合在同一个解决方案当中,而且这个解决方案需要能够被应用到多种不同的云端环境。我和 Uber 的团队仔细思考了如何解决这个问题,但直到我离开 Uber 创办了 Nightfall,我才意识到这个问题的严重性和普遍性。

我为什么离开 Uber 创办了 Nightfall


离开 Uber Eats 后,我开始对云数据安全问题着迷。尽管这个问题涉及的范围很广,我和我的联合创始人还是找到了一个简单而优雅的解决方案:通过 API 进行云端身份验证,然后就可以查看敏感数据,并以一种类似于在本地操作的方式删除数据。这成为现在的 Nightfall 最重要的支柱想法。


发现和解决敏感数据泄露问题需要一个额外的解决方案。这是一个数据分类问题。如果数据能够被准确地检测和分类,安全团队就不需要在数千个表、应用程序和系统之间做繁重的数据映射工作。我和我的联合创始人意识到,监督机器学习可以帮助探测器捕捉到可能存在敏感数据的上下文,而不管它位于何处。


从机器学习和 API 这两个方面可以看到 Nightfall 是如何与 SaaS 应用程序(如 Slack、GitHub、谷歌、Atlassian)进行集成的。我认为这种方法在解决当今的数据管理问题上非常有效,但我认为未来的安全性和合规性要求公司变得更加积极主动。公司不仅要解决现有的敏感数据问题或管理好员工行为,还要从一开始就阻止用户提交某些敏感信息。我们已经看到像 Airbnb 这样的应用程序在其通信工具中自动编校电话号码和其他联系信息。这样的功能不仅保护了用户数据,还降低了公司的数据泄露风险。


我和我的联合创始人都明白这一点,所以一直在努力开发我们的 Nightfall Developer Platform。这个平台充分放开了我们的机器学习检测器,允许用户通过 API 直接将数据发送到我们的检测引擎。你可以使用我们的 API 来识别敏感数据,无论是文件中的字符串、消息还是图像中的内容。

数据安全 API 的“转移”


什么是 Nightfall Developer Platform?其想法很简单:Nightfall 将负责完成检测、分类和修复敏感数据的工作,让开发人员能够专注于构建安全且不会泄漏数据的应用程序。这意味着开发人员可以在他们的应用程序或自定义环境工作流中识别和分类敏感数据,从而删除或以其他方式修复这些数据。


我们的客户已经开始使用我们的 API 在他们的应用程序中构建功能。一些客户正在利用我们的平台来发现和删除日志中的 PII(个人识别信息),还有一些客户使用我们的平台来标记和删除用户通过文本框输入的不恰当的 PII。


因为所有这些都是通过 API 完成的,所以接入是很容易的。你所要做的就是注册一个帐户并创建一个 API 密钥,这可以在几秒钟内完成。然后,你通过网络发送的任何文件或内容都将被解析和分类,并返回 JSON,其中包含了被触发的敏感数据检测器和置信度阈值。你还可以通过多种技术(包括通过 API 替换和加密)识别和编校数据。


想了解更多关于开发者平台的信息,请访问:https://docs.nightfall.ai/


原文链接:https://nightfall.ai/nightfall-ai-developer-platform-history

2021-12-24 19:244389
用户头像
李冬梅 加V:busulishang4668

发布了 1046 篇内容, 共 659.4 次阅读, 收获喜欢 1209 次。

关注

评论

发布
暂无评论
发现更多内容

Alibaba内部出品“Java初学者宝典”,让你就业没压力

Java~~~

Java 面试 JVM 多线程 架构师

市场战略再升级 解析融云的生态平台+纵深发展

融云 RongCloud

网络攻防学习笔记 Day101

穿过生命散发芬芳

态势感知 网络攻防 8月日更

【等保测评】江西等保测评机构只有3家吗?都在哪里?

行云管家

等保 等级保护 等保测评 等保评测

前端性能优化|什么是防抖和节流?

青云技术社区

JavaScript 大前端 防抖节流 函数防抖

教你如何使用FusionInsight SqoopShell

华为云开发者联盟

sqoop Shell FusionInsight 脚本 Loader

价值连城 人工智能的通识课 - 吴恩达Andrew Ng AI For Everyone John 易筋 ARTS 打卡 Week 59

John(易筋)

ARTS 打卡计划

企业上云之前选择服务器类型的几点建议

九河云安全

黑科技解密!实现socket进程间迁移

Java 程序员 架构 面试 架构师

OAuth2.0授权码模式实战

码农参上

OAuth 2.0 8月日更

不安全的服务器和云服务器:远程工作如何增加了黑客可以攻击的攻击面

九河云安全

爱了!Alibaba技术官甩出的SpringCloud笔记,GitHub已标星81.6k

Java~~~

Java 面试 微服务 Spring Cloud 架构师

史上最全的服务器选择指南,这六点你必须知道!

九河云安全

从外卖员到程序员,自学3年终于转行成功,三面“拿下”拼多多

Java~~~

Java spring 面试 微服务 JVM

Qunar 大讲堂问题排查

Qunar技术沙龙

问题处理 问题排查 管理系统 开发管理 问题总结

Java书单-比较全的一篇

汤圆学Java

程序员

模型训练语料少?知识蒸馏解决烦恼

LigaAI

人工智能 神经网络 深度学习 模型训练 nlp

从平台到生态,钉钉、飞书和企业微信的巨头之争

ToB行业头条

钉钉 企业微信 飞书

c++ list 详解

若尘

c++ List 8月日更

完美!腾讯技术官发布Java零基础就业宝典,不用再怀疑人生了

Java~~~

Java spring 面试 微服务 架构师

限量!Alibaba首发“Java成长笔记”,差距不止一点点

Java~~~

Java spring 面试 微服务 架构师

堡垒机价格与什么有关?价格差别大吗?

行云管家

云计算 堡垒机

如果用柔性屏做雨伞,那雨伞就不仅仅是雨伞了

船医特拉法尔加

开发者工具

趁着课余时间学点Python(九)函数的进阶 生成器 装饰器的理解

ベ布小禅

8月日更

耗时三年才总结出了这份Alibaba(P5-P9)学习进阶路线图

Java架构追梦

Java 阿里巴巴 架构 面试 架构成长路线

Alibaba开发十年,写出这本“MQ技术手册”,看完我愣住了

Java~~~

Java kafka 面试 MQ 架构师

如何利用FL Studio进行听湿录干的声音录制

懒得勤快

FastApi-09-模型嵌套

Python研究所

FastApi 8月日更

写作 7 堂课——【5. 结构化写作】

LeifChen

写作技巧 8月日更 结构化

卷向字节码-Java异常到底是怎么被处理的?

why技术

Java JVM

快速发展的互联网通信,站在开发者背后的融云

融云 RongCloud

我离开Uber,开始自主创业后......_文化 & 方法_Rohan Sathe_InfoQ精选文章