OpenSOC: 安全大数据分析框架

据 Solidot 报道，思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC，引起了广泛关注。OpenSOC 是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合, 能够实时的检测网络异常情况并且可以扩展很多节点，它的存储使用开源项目 Hadoop，实时索引使用开源项目 ElasticSearch，在线流分析使用著名的开源项目 Storm。OpenSOC 概念性体系架构如下图所示:

OpenSOC**** 主要功能包括：

• 可扩展的接收器和分析器能够监视任何 Telemetry 数据源
• 是一个扩展性很强的框架，且支持各种 Telemetry 数据流
• 支持对 Telemetry 数据流的异常检测和基于规则实时告警
• 通过预设时间使用 Hadoop 存储 Telemetry 的数据流
• 支持使用 ElasticSearch 实现自动化实时索引 Telemetry 数据流
• 支持使用 Hive 利用 SQL 查询存储在 Hadoop 中的数据
• 能够兼容 ODBC/JDBC 和继承已有的分析工具
• 具有丰富的分析应用, 且能够集成已有的分析工具
• 支持实时的 Telemetry 搜索和跨 Telemetry 的匹配
• 支持自动生成报告、和异常报警
• 支持原数据包的抓取、存储、重组
• 支持数据驱动的安全模型

OpenSOC官方文档介绍了以下五大优点：

• 由思科全力支持，适用于内部多用户
• 免费、开源、基于 Apache 协议授权
• 基于高可扩展平台（Hadoop、Kafka、Storm）实现
• 基于可扩展的插件式设计
• 具有灵活的部署模式，可在企业内部部署或者云端部署
• 具有集中化的管理流程、人员和数据

当前，OpenSOC**** 运行条件包括：

• 两个网卡（建议使用 Napatech 的 NT20E2-CAP 网卡）
• Apache Flume 1.4.0 版本及以上
• Apache Kafka 0.8.1 版本及以上
• Apache Storm 0.9 版本及以上
• Apache Hadoop 2.x 系列的任意版本
• Apache Hive 12 版本及以上（建议使用 13 版本）
• Apache Hbase 0.94 版本及以上
• ElasticSearch 1.1 版本及以上
• MySQL 5.6 版本及以上等。

2014 年被大家公认为是大数据分析应用的落地年，与此同时，近年来频繁发生的信息泄露事件为人们敲响了安全警钟。所以在今年，大数据与安全分析技术的结合成为了信息安全市场的热点话题。OpenSOC 是一个通力合作的开源项目，其目的是提供一个协作互助的开源社区来开发出一个可扩展、稳定、高级的安全数据分析工具，以推动高效的安全分析工作。OpenSOC 开发团队欢迎任何组织和个人对该项目的开发、改进、实施做出贡献。另外，思科曾说到准备在 2014 年夏季开源 OpenSOC，但因为各方面的原因推迟了时间。最近，OpenSOC 在 GitHub 上的官方站点已经可以访问，这说明了它离正式开源的时间又近了一步。OpenSOC 将提供ZIP、TAR 等安装包，关于OpenSOC 的安装说明请查看该工程在GitHub 上的 Wiki 页面，更多相关信息请登陆其官网查看或者观看 BroCON 大会上的演讲幻灯片和视频。

感谢张天雷对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ）或者腾讯微博（ @InfoQ ）关注我们，并与我们的编辑和其他读者朋友交流。