Apache Metron 晋升顶级项目

Hortonworks 和 Apache宣布 Metron 正式晋升为顶级项目。 Metron 是一种多功能的安全遥测数据捕获、流分析和威胁响应平台，代表了安全数据平台的最新发展水平。该项目最早可溯源至 Cisco 的开源大数据系统安全框架项目 OpenSOC 。Metron 提供的功能包括：日志的聚合、对网络包全面捕获的索引和存储、高级行为分析及数据浓缩，并可以将当前的威胁情报信息应用到安全遥测中。Metron 在同一平台中集成实现了所有的这些功能。

Metron 从概念上可划分为四个组件：数据捕获与摄取、实时数据处理、受保证的数据持久化和存储、用于驱动监控和风险报警服务的机器学习模型。

从核心上看 Metron 是 Kappa 架构。Kappa 是 Lambda 架构的一种变体，使用 Apache Kafka 作为统一的数据总线，并使用 Apache Strom 作为处理组件。 Bro 插件提供了将 Bro 日志发送给 Kafka 的能力，这使得 Metron 可以捕获对深度探究数据包尤为有用的数据、借助 Kafka 的可靠性保证捕获并重建数据，以及与其他大数据生态系统进行集成。

数据捕获组件实现将遥测数据发布到 Metron 的消息总线上，进而持久化或经由 Storm 进行实时处理到 HBase 中。Metron 对被捕获的数据提供了多种方法建立搜索索引和进行实时与近实时处理。Metron 提供了数据接口，使得 HBase 可根据情况与 ElasticSearch、 Lucene 和 Solr 进行接口。Metron 默认提供的系统管理和仪表盘接口是基于 Kibana 构建的。

Metron 具有一些不同于新兴数据流水线标准的特征。首先，Metron 是通过 Stellar 与一系列的数据转换功能和 API 进行集成的。Stellar 是一种威胁情报分离和场转换语言，通过 Metron 的 RESTful模型即服务（MaaS，Modeling-as-a-Service）功能进行部署和执行。MaaS 功能使用 Yarn 管理，设计实现为一种实时或近实时的威胁检测和响应机制。其次，数据浓缩工具集提供了管理和加载各种数据浓缩和威胁情报源到Metron 的HBase 数据接收器的功能。通过MaaS 部署的机器学习模型，Metron 实现了对数据浓缩步骤的增强。最后一点，Metron 提供了一系列的分析工具。当实时和近实时的遥测数据进入数据总线以及在HBase 中持久化时，分析工具实现了执行特性抽取和截取数据窗口的机制。

该Apache 项目由 Owen O’Malley 领导，最早正是他负责将 OpenSOC 项目迁移为 Metron 项目。

查看英文原文： Apache Metron Graduates to Top-Level Project