背景说明

应用系统的日志收集与分析工作对运维来说至关重要。常见的系统解决方案中开源技术栈ELK（Elastic Stack: Elasticsearch, Logstash, Kibana）是当前比较流行的选择。下面我们会讨论另一种构建于云原生设计的类似于ELK的解决方案EKK（Amazon Elasticsearch Service, Amazon Kinesis, and Kibana）。

EKK的优势在于组件是AWS托管服务，不必自己安装、运维，并且与AWS的其它服务轻松集成，可以很轻松的部署一套可靠、可扩展、安全、容错以及解耦和基于事件的解决方案。

传统的Elasticsearch中，日志数据的不断膨胀，对数据的生命周期管理越来越重要（应对此需求的新功能ILM(index lifecycle management)在Elasticsearch 7.0中闪亮登场）。本文不介绍ILM，介绍另一种解决方案：使用Lambda配合实现数据的轮换。

创建一个SNS Topic（s3-to-es-by-hour）触发Lambda（s3-to-es-bulk-by-hour）

1. 创建Topic

进入SNS服务页面

2. 订阅事件

3. 测试

消息

{"year":"2019","month":"06","day":"30","hour":"05"}

复制Topic的ARN，下面Lambda会发送消息进来

创建Lambda split-day-to-24-hour

负责把按天ES index的导入事件拆分成24个按小时导入的事件

https://s3.cn-north-1.amazonaws.com.cn/awschinablog/Amazon Elasticsearch Service, Amazon Kinesis, and Kibana82.jpg">

1. 更新代码

替换SNS Topic ARN 为上面创建的Topic

import json

import boto3



sns = boto3.client('sns')



def lambda_handler(event, context):

for record in event['Records']:

msg = json.loads(json.dumps(eval(record['Sns']['Message'])))



# TODO implement

for i in range(0,24) :

msg['hour'] = "%02d" % i

print(msg)



response = sns.publish(

TopicArn='arn:aws-cn:sns:cn-north-1:725362542198:s3-to-es-by-hour',

Message=json.dumps(msg),

)



return {

'statusCode': 200,

'body': json.dumps('Hello from Lambda!')

}

创建SNS Topic 用于触发此Lambda

3. 订阅Lambda

4. 测试

{"year":"2019","month":"06","day":"30"}

2019年6月30日的日志文件，会并发为24个Lambda按小时导入到ES

Athena query data in S3 using SQL

1. 基于S3路径，创建Table

CREATE EXTERNAL TABLE IF NOT EXISTS log.apachelogtest (

'bytes' string,

'datetime' string,

'host' string,

'request' string,

'response' string,

'datetime' string

)

ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'

WITH SERDEPROPERTIES (

'serialization.format' = '1'

) LOCATION 's3://poc-zhnc-hive/log/'

TBLPROPERTIES ('has_encrypted_data'='false');

2. 使用Table查询

作者简介

陈朕，AWS解决方案架构师，负责基于AWS云计算方案架构的咨询和设计，在国内推广AWS云平台技术和各种解决方案。十余年分布式应用、大数据的分布式处理经验。

本文转载自AWS技术博客

原文链接：

https://amazonaws-china.com/cn/blogs/china/ekk-amazon-elasticsearch-service-amazon-kinesis-and-kibana/

创作场景

搭建云上日志收集分析系统 (四)