写点什么

OpenSOC: 安全大数据分析框架

  • 2014-09-25
  • 本文字数:1184 字

    阅读完需:约 4 分钟

Solidot 报道,思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:

OpenSOC**** 主要功能包括:

  • 可扩展的接收器和分析器能够监视任何 Telemetry 数据源
  • 是一个扩展性很强的框架,且支持各种 Telemetry 数据流
  • 支持对 Telemetry 数据流的异常检测和基于规则实时告警
  • 通过预设时间使用 Hadoop 存储 Telemetry 的数据流
  • 支持使用 ElasticSearch 实现自动化实时索引 Telemetry 数据流
  • 支持使用 Hive 利用 SQL 查询存储在 Hadoop 中的数据
  • 能够兼容 ODBC/JDBC 和继承已有的分析工具
  • 具有丰富的分析应用, 且能够集成已有的分析工具
  • 支持实时的 Telemetry 搜索和跨 Telemetry 的匹配
  • 支持自动生成报告、和异常报警
  • 支持原数据包的抓取、存储、重组
  • 支持数据驱动的安全模型

OpenSOC官方文档介绍了以下五大优点:

  • 由思科全力支持,适用于内部多用户
  • 免费、开源、基于 Apache 协议授权
  • 基于高可扩展平台(Hadoop、Kafka、Storm)实现
  • 基于可扩展的插件式设计
  • 具有灵活的部署模式,可在企业内部部署或者云端部署
  • 具有集中化的管理流程、人员和数据

当前,OpenSOC**** 运行条件包括

  • 两个网卡(建议使用 Napatech 的 NT20E2-CAP 网卡)
  • Apache Flume 1.4.0 版本及以上
  • Apache Kafka 0.8.1 版本及以上
  • Apache Storm 0.9 版本及以上
  • Apache Hadoop 2.x 系列的任意版本
  • Apache Hive 12 版本及以上(建议使用 13 版本)
  • Apache Hbase 0.94 版本及以上
  • ElasticSearch 1.1 版本及以上
  • MySQL 5.6 版本及以上等。

2014 年被大家公认为是大数据分析应用的落地年,与此同时,近年来频繁发生的信息泄露事件为人们敲响了安全警钟。所以在今年,大数据与安全分析技术的结合成为了信息安全市场的热点话题。OpenSOC 是一个通力合作的开源项目,其目的是提供一个协作互助的开源社区来开发出一个可扩展、稳定、高级的安全数据分析工具,以推动高效的安全分析工作。OpenSOC 开发团队欢迎任何组织和个人对该项目的开发、改进、实施做出贡献。另外,思科曾说到准备在 2014 年夏季开源 OpenSOC,但因为各方面的原因推迟了时间。最近,OpenSOC 在 GitHub 上的官方站点已经可以访问,这说明了它离正式开源的时间又近了一步。OpenSOC 将提供ZIP、TAR 等安装包,关于OpenSOC 的安装说明请查看该工程在GitHub 上的 Wiki 页面,更多相关信息请登陆其官网查看或者观看 BroCON 大会上的演讲幻灯片视频


感谢张天雷对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-25 08:126915
用户头像

发布了 92 篇内容, 共 48.3 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

语言大模型的浮点运算分配优化策略

百度开发者中心

人工智能 机器翻译 语音识别 大语言模型

SD-WAN——企业云网融合的优选

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商 SDWAN

商品智能化 如何节约真金白银?

第七在线

拓展全球市场,OgGame引领游戏全球发行服务

Ogcloud

云游戏 游戏发行 云游戏发行 游戏发行公司

云桌面为何是影视特效制作行业首选?

青椒云云电脑

云桌面 云桌面解决方案

万界星空科技生产管理MES系统在卫浴企业中的应用

万界星空科技

制造业 生产管理系统 mes 万界星空科技 卫浴工厂

兼容互认证+1!TDengine 与 Tapdata Live Data Platform 成功通过测试

TDengine

tdengine 时序数据库

MySQL的varchar水真的太深了——InnoDB记录存储结构

砖业洋__

varchar innodb行格式 dynamic行格式 varchar最大16383

SaaS应用加速:提高企业办公效率,解决业务挑战

Ogcloud

SaaS 网络加速 SaaS应用 SaaS应用加速

ETL的数据脱敏方式

RestCloud

信息安全 ETL 数据脱敏

云电脑一体机是什么?

青椒云云电脑

云电脑 云电脑平台

云审计与大数据审计:区别、优势与应用场景

天翼云开发者社区

云计算 大数据 数据处理 云审计 大数据审计

美股交易系统搭建

GangguHK

人工智能大模型原理与应用实战:自动驾驶技术的飞跃

百度开发者中心

人工智能 自动驾驶 大模型

IP被黑客知道,有哪些安全隐患

德迅云安全杨德俊

JAVA 服务可观测性最佳实践

观测云

Java

云监控告警2.0:革新传统告警机制,引领智能化监控新时代

天翼云开发者社区

云计算 云监控 告警系统

火山引擎VeDI:A/B实验如何应用在APP推荐系统中?

极客天地

MYSQL 主从不一致的原因分析

不在线第一只蜗牛

MySQL 数据库

阿里巴巴中国站获得1688商品详情 API(1688.item_get)快速抓取电商数据

技术冰糖葫芦

API API 测试

火山引擎VeDI:A/B实验如何应用在APP推荐系统中?

字节跳动数据平台

大数据 A/B 测试 企业号 3 月 PK 榜 对比试验 数字化增长

鸿蒙公开课走进东南大学

极客天地

低代码与数据分析:重塑软件开发与数据分析的未来

不在线第一只蜗牛

数据挖掘 数据分析 低代码

OpenSOC:安全大数据分析框架_语言 & 开发_李士窑_InfoQ精选文章