写点什么

OpenSOC: 安全大数据分析框架

  • 2014-09-25
  • 本文字数:1184 字

    阅读完需:约 4 分钟

Solidot 报道,思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC,引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点,它的存储使用开源项目 Hadoop,实时索引使用开源项目 ElasticSearch,在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:

OpenSOC**** 主要功能包括:

  • 可扩展的接收器和分析器能够监视任何 Telemetry 数据源
  • 是一个扩展性很强的框架,且支持各种 Telemetry 数据流
  • 支持对 Telemetry 数据流的异常检测和基于规则实时告警
  • 通过预设时间使用 Hadoop 存储 Telemetry 的数据流
  • 支持使用 ElasticSearch 实现自动化实时索引 Telemetry 数据流
  • 支持使用 Hive 利用 SQL 查询存储在 Hadoop 中的数据
  • 能够兼容 ODBC/JDBC 和继承已有的分析工具
  • 具有丰富的分析应用, 且能够集成已有的分析工具
  • 支持实时的 Telemetry 搜索和跨 Telemetry 的匹配
  • 支持自动生成报告、和异常报警
  • 支持原数据包的抓取、存储、重组
  • 支持数据驱动的安全模型

OpenSOC官方文档介绍了以下五大优点:

  • 由思科全力支持,适用于内部多用户
  • 免费、开源、基于 Apache 协议授权
  • 基于高可扩展平台(Hadoop、Kafka、Storm)实现
  • 基于可扩展的插件式设计
  • 具有灵活的部署模式,可在企业内部部署或者云端部署
  • 具有集中化的管理流程、人员和数据

当前,OpenSOC**** 运行条件包括

  • 两个网卡(建议使用 Napatech 的 NT20E2-CAP 网卡)
  • Apache Flume 1.4.0 版本及以上
  • Apache Kafka 0.8.1 版本及以上
  • Apache Storm 0.9 版本及以上
  • Apache Hadoop 2.x 系列的任意版本
  • Apache Hive 12 版本及以上(建议使用 13 版本)
  • Apache Hbase 0.94 版本及以上
  • ElasticSearch 1.1 版本及以上
  • MySQL 5.6 版本及以上等。

2014 年被大家公认为是大数据分析应用的落地年,与此同时,近年来频繁发生的信息泄露事件为人们敲响了安全警钟。所以在今年,大数据与安全分析技术的结合成为了信息安全市场的热点话题。OpenSOC 是一个通力合作的开源项目,其目的是提供一个协作互助的开源社区来开发出一个可扩展、稳定、高级的安全数据分析工具,以推动高效的安全分析工作。OpenSOC 开发团队欢迎任何组织和个人对该项目的开发、改进、实施做出贡献。另外,思科曾说到准备在 2014 年夏季开源 OpenSOC,但因为各方面的原因推迟了时间。最近,OpenSOC 在 GitHub 上的官方站点已经可以访问,这说明了它离正式开源的时间又近了一步。OpenSOC 将提供ZIP、TAR 等安装包,关于OpenSOC 的安装说明请查看该工程在GitHub 上的 Wiki 页面,更多相关信息请登陆其官网查看或者观看 BroCON 大会上的演讲幻灯片视频


感谢张天雷对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-25 08:126865
用户头像

发布了 92 篇内容, 共 47.8 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

盘点2020 | 干饭人 cxuan 活下来了

苹果看辽宁体育

学习 总结 盘点2020

DeFi平台DAPP软件系统开发

系统开发

JVM 垃圾回收原理

梧桐

阿里 10 年:一个普通技术人的成长之路

阿里巴巴云原生

阿里云 云原生 技术人 自我思考 职场成长

11 组关系带你看清 JVM 全貌

田维常

JVM

MySQL修改账号密码方法大全

Simon

MySQL 七日更

Linux 如何实现定时调度任务

Near

Linux Timer 定时调度

为什么你成为不了团队核心成员

数据社

团队 七日更

业务重要?还是技术重要?

数据社

思考 团队 七日更

Code Shared & Review(20201214-20201220)

刘璐

一文搞懂 CountDownLatch 用法和源码!

苹果看辽宁体育

Java 源码 并发

LeetCode题解:92. 反转链表 II,递归,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

数据结构与算法经典问题解析-Java语言描述

田维常

数据结构

盘点2020 | 21 张图总结我的 2020 年

Geek_z9ygea

盘点2020

蚂蚁集团下架互联网存款产品:互联网金融是天使还是魔鬼

石头IT视角

4. 上新了Spring,全新一代类型转换机制

YourBatman

Spring Framework 类型转换 Converter

测开之函数进阶· 第1篇《递归函数》

清菡软件测试

测试开发

工作3年,看啥资料能月薪30K?

小傅哥

Java 面试 小傅哥 七日更 技术成长

第九周-作业一

ray-arch

vivo 微服务 API 网关架构实践

vivo互联网技术

微服务 API网关 Zuul2

盘点2020|从写程序到写文章,一个宅男程序猿到平台写手的心路历程

罗小龙

程序猿 盘点2020 心路历程 宅男 平台写手

点个外卖,我把「软中断」搞懂了

小林coding

Linux 操作系统

Synchronized用法原理和锁优化升级过程(面试)

叫练

synchronized 轻量级锁 偏向锁 多线程与高并发 同步

ETHERZ流动性挖矿系统软件APP开发

系统开发

《面试官不讲武德》对Java初级程序猿死命摩擦Http协议

Silently9527

面试 https HTTP 图解https

围观|第一代云原生企业米哈游如何让想象发生?

阿里巴巴云原生

阿里云 最佳实践 运维 云原生 游戏开发

IoT数据模型设计

soolaugust

物联网 IoT 数据模型 工业物联网 七日更

第九周总结

小兵

快手基于 Apache Flink 的优化实践

Apache Flink

flink

Java并发编程:AQS的原子性如何保证

李尚智

Java java 并发

UBI波场挖矿系统软件APP开发

系统开发

OpenSOC:安全大数据分析框架_语言 & 开发_李士窑_InfoQ精选文章