写点什么

腾讯安全发布云原生安全数据湖

  • 2023-09-20
    北京
  • 本文字数:1249 字

    阅读完需:约 4 分钟

大小:726.79K时长:04:08
腾讯安全发布云原生安全数据湖

安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程,对日志数据进行追溯分析,可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。

 

随着企业规模增长、数字化程度加深和安全设备的增加,安全日志数量呈指数级增长,而企业现行的日志处理平台在应对今天动辄 PB 级别的安全日志时,要么是需要支付非常高昂的授权费和专业人力成本,要么是性能瓶颈无法支撑 PB 级别体量的日志处理。

 

如何采用一套新的架构,能支撑企业在 PB 级别的数据里实现秒级查询,同时成本又可控?

 

9 月 20 日,腾讯安全发布全新一代云原生安全数据湖,专注海量日志数据分析,助力企业构建一体化云原生数据湖平台,迈向主动安全。据悉,在同等数据规模下,该产品的硬件成本仅为同类开源软件的 1/10,此外在查询性能特别是聚合查询性能方面有了成倍的提升,能实现 PB 级日志的秒级查询。

 


“目前企业的日志处理平台普通使用开源大数据 ELK 等组件快速搭建,以收集告警数据为主,分析数据不全,而且执行长周期数据查询需要分钟级甚至小时级等待,而网络安全是实时对抗的,任何以‘小时’为单位的数据分析产品肯定都不适用。”腾讯安全大数据实验室高级研究员杨浚宇表示。

 

两年前,腾讯安全在服务客户过程中发现,客户普遍反应遇到日志存储成本攀升、查询效率低下的问题,因此腾讯安全大数据实验室基于多年的大数据分析处理能力,前后花费两年时间自主研发了一款面向云原生的安全数据湖产品。

 

腾讯云原生安全数据湖是基于云原生的自研数据分析平台,利用日志数据无需修改、大量字段重复、有时间戳等特性进行了几大创新:

 

  • 架构领先:MPP 架构,采用 Rust 语言开发,针对日志及安全场景进行专项优化

  • 极致降本:使用列存储实现极致压缩比,无索引架构避免索引开销

  • 一体化引擎:通过原子能力实现数据处理、查询、存储、分析一体化

  • 插件式扩展:通过 SQL/SPL 语句支持不同分析场景,支持“插件式”扩容

  • 易运维:面向云原生架构实现存算分离、读写分离、从而实现一键弹性扩容,故障秒级切换

 


依托上述技术创新,腾讯云原生安全数据湖实现了极致的压缩比和数据处理效率,能将企业的安全运营存储成本降低 90%;在底层架构上面向云原生设计,支撑多实例、多用户,能根据企业的实际需求实现弹性扩容。

 

此外,腾讯云原生安全数据湖支持泛安全数据接入、加工、存储、分析、告警、可视化等服务,还具备“插件化”应用开发能力,企业用户可根据需求定制上层应用,并通过平台+APP+合作伙伴构建完整的日志应用生态体系,全面赋能各类安全场景。

 


目前,该数据湖已经集成在腾讯安全 SOC+产品下,为企业安全运营管理提供基座。未来,腾讯安全还会对外提供独立产品,助力企业构建云原生数据湖平台。

 

面向智能化时代,安全运营与管理是企业的安全免疫中枢系统,而安全大数据的智能分析能力将成为企业迈向智能安全的基础。腾讯安全的安全运营产品矩阵始终围绕一件事情,就是如何为客户创造价值。未来,腾讯安全将持续开放技术原子能力,把腾讯领先的技术融合在企业现有的安全能力中,为千行百业的安全实践注入数字安全免疫力。

2023-09-20 18:005522

评论

发布
暂无评论
发现更多内容

netty系列之:不用怀疑,netty中的ByteBuf就是比JAVA中的好用

程序那些事

Netty nio 程序那些事 1月日更

龙智搬迁公告

龙智—DevSecOps解决方案

搬迁

hi 龙蜥小二来了 ,一键@为你答疑解惑

OpenAnolis小助手

Linux 服务

Apache Kylin PMC 马洪宾:开源,就是一场“螺旋上升”的旅程

腾源会

全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族

OceanBase 数据库

数据库 开源 开发者 OceanBase 社区版 产品发布

1月月更|推荐学java——Spring第一课

逆锋起笔

spring SSM框架 Spring MVC Spring Java Spring项目

打造智能全场景,《HarmonyOS Connect系列课》7大BUFF为您助力!

HarmonyOS开发者

热烈庆祝龙智高级咨询顾问叶燕秀获得“Atlassian认证专家”称号

龙智—DevSecOps解决方案

Atlassian认证专家 Atlassian认证

Flink,Spark,Storm,Hadoop框架比较

@零度

flink hadoop spark Storm 大数据开发

无服务器应用DevOps最新实践(内附完整演讲+视频)

亚马逊云科技 (Amazon Web Services)

计算

编程进阶之路,虽无捷径但有长短

程序人生

2021 年 6 个GitHub推荐前端项目

devpoint

vite nextjs tauri 1月月更 Tailwind

当类的泛型相关时,如何在两个泛型类之间创建类似子类型的关系

阿Q说代码

Java泛型 1月月更 子类型

Bruce Eckel教你如何爬出 Gradle 的“坑”?

图灵社区

java 编程

更快的Maven构建工具mvnd和Gradle哪个更快?

王磊

ReactNative进阶(二十二):点击事件.bind(this)引发的思考

No Silver Bullet

1月月更 ReactNative

在 Flutter 中创建自定义 NumPad(数字键盘)

坚果

flutter 1月月更

云图说|图解DGC:基于华为智能数据湖解决方案的一体化数据治理平台

华为云开发者联盟

大数据 数据湖 数据治理 数据服务 数据湖治理中心

用户文章转载:Windows用户都来看看,这个锅P4不背

龙智—DevSecOps解决方案

perforce P4

MySQL性能优化:SQL慢查询优化,索引优化,表优化

Ayue、

MySQL 1月月更

几行代码,把zip文件直接破解

你?

AJAX工作原理及其优缺点

编程江湖

2022年,你还要做开源软件么?

亚马逊云科技 (Amazon Web Services)

计算

vivo 推送平台架构演进

vivo互联网技术

分布式 架构设计 消息推送 平台搭建、

2022 年十大 AI 开源工具和框架

腾源会

开源

云效产品篇:开启敏捷需求管理 |云效快速入门

阿里云云效

阿里云 DevOps 云原生 需求管理 云效

高效时代,是时候过渡到自动化测试了

SoFlu软件机器人

DevOps 软件开发 自动测试

crontab介绍安装及每秒运行

Owen Zhang

Linux crontab

深入分析JUC之Lock接口

编程江湖

lock锁

4种高速安全混合云解决方案,助力您的云迁移之旅!

亚马逊云科技 (Amazon Web Services)

计算

利用物联网技术加速数字化转型

龙智—DevSecOps解决方案

腾讯安全发布云原生安全数据湖_云安全_Tina_InfoQ精选文章