【云端安全小建议】-使用EMR分析云审计数据
原创
前言
云端安全小建议的系列文章，是由腾讯云账号与权限团队的一线开发人员推出的关于用户安全的小建议。该系列文章旨在帮助腾讯云用户能够充分利用腾讯云提供的产品特性，安全的解决自己在实际生产中的遇到的问题。文章中会提到很多应用场景以及错误的解决方法和正确的安全的解决方法。该系列文章不仅会有场景分析还会有技术分析，所以只要是腾讯云的用户，无论是技术小白用户还是技术大神都可以一起来讨论和实践。对于用户提出的安全问题，我们会第一时间跟进，站在平台方的角度给出安全合理的解决方案。
场景
在实际的工作中，我们经常会遇到用户想定期审计自己的腾讯云账号。每个用户的审计规则不同，审计规则可能会有很多，我们不做详细描述。在这里只举一个简单的例子，一家腾讯云的客户A，客户A拥有一个腾讯云的主账号，同时这个主账号下面还拥有很多的子账号。A的老板想能够随时关注到A的账号下面的资源个子账号们，在什么时候，在哪里操作过什么业务的整体视图？并且自己可以定制审计规则，一旦命中规则可以及时告知到老板。
我们收到了很多类似的需求之后，开始反思云审计应该有什么样开放的特性，才能帮助到用户达到自己的愿望，让客户A的老板能站在上帝的视角俯瞰整个腾讯云账户，只要有不符合预期的风吹草动就能及时感知。（就像《将夜》里面的夫子，俯瞰世界）
后来我们不断的实验和探索，最终找到了一个可持续、可扩展以及可移植的方案，可以帮助客户A的老板能有上帝的视角俯瞰他的腾讯云账号。为了验证这个方案的可用性和健壮性，我们自己已经在现网运行了两个月左右。事实证明，该方案能稳定的运行，并能够分析TB级别的数据。
基本概念
在介绍整体方案之前，我们先介绍几个基本的概念，在了解了这些概念之后。我们再做详细的方案介绍，并在介绍方案的同时附上关键步骤源码，方便客户A的老板的程序员们能够快速的实现老板的需求。毕竟我们都是程序员，程序员何必为难程序员。
什么是云审计
云审计可以获取您腾讯云账号下 API 调用历史记录，包括通过腾讯云管理控制台，腾讯云 SDK，命令行工具和其他腾讯云服务进行的API调用，监控腾讯云中的任何部署行为。可以确定哪些子用户、协作者使用腾讯云 API 时，从哪个源IP地址进行调用，以及何时发生调用。具体内容可以参考云审计的产品页。
什么是跟踪集
跟踪是一种配置，可用于将云审计的事件传送到腾讯云的COS存储桶。简单点讲，跟踪集能够帮助用户，把API调用记录持久化存储到COS的存储桶里。之所以会有这个功能是因为云审计目前只能帮助用户缓存有限时间内的API调用记录，并不能做到持久化存储。
什么是COS
对象存储（Cloud Object Storage，COS）是腾讯云提供的面向非结构化数据，支持 HTTP/HTTPS 协议访问的分布式存储服务，它能容纳海量数据并保证用户对带宽和容量扩充无感知，可以作为大数据计算与分析的数据池。腾讯云 COS 提供网页端管理界面、多种语言的 SDK 以及命令行和图形化工具，并且完全兼容 S3 的 API 接口，方便用户直接使用社区工具和插件，COS 还可以和其他云产品结合，比如利用 CDN 的全球节点提供加速服务，利用数据万象的图片处理能力提供一站式图片解决方案等。具体内容可以参考对象存储的产品介绍页。
什么是EMR
弹性MapReduce （EMR）结合云技术和 Hadoop、Hive、Spark、Hbase、Storm 等社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群，以分析位于集群内数据节点或 COS 上的 PB 级海量数据。具体内容可以参考EMR的产品介绍页。
详细方案
在了解完上述的基本概念之后，有经验的程序员们心里大概知道方案是什么样的了。但是我还是决定把详细的方案仔细的详细的介绍一遍，万一你意想不到的惊喜呢？
首先我们先画一个图，先体验一把作为上帝俯瞰整个方案的快感，作为程序员的你，就能体会到老板为什么想站在上帝的视角来俯瞰自己的云账号了。这样才能更有动力帮助老板实现这个方案。
从上图可以看出，客户A的在腾讯云上的资源很多，员工也很多，分公司也分散在全球各地，员工们也很勤奋。那假如你是这家公司的老板，你是不是想默默的关注着我的全球员工们在云上的工作状态和行为呢，并通过这个视角及时发现安全隐患，并做出及时的调整呢。
以下方案的介绍的重点是，帮助用户快速的搭建起上图描述的方案。所以是假设您已经拥有了以上所需的所有云资源的，比如我在描述到追踪集的格式的时候，我不会去介绍如何去创建追踪集的。也是假设您已经掌握了MapReduce的基本概念的。假如说我在描述Hive的时候，不会详细介绍什么是Hive。
在开始正式的详细方案描述之前，我需要首先说一下这个方案目前的限制。
- COS存储桶必须建在上海区，因为目前云审计仅支持将API的调用记录投递到上海区的COS存储桶中。
- 目前仅支持控制流的日志分析，并不支持数据流的审计分析。
- 虽然COS存储桶仅支持建在上海区，但是各个地区的操作记录都可以被记录。也就是说，我们的数据一定是全的，不会遗留死角。
- 并不是所有的业务的审计日志都会被云审计记录，支持的业务列表可以参考云审计的产品文档。
- EMR的集群也最好建在上海，因为这样可以避免大量的外网流量。
- 在创建EMR集群的时候，有一个关键步骤就是允许EMR可以读取您的COS资源，这个授权很重要，一定不能跳过。
在Hive上基于COS创建数据库
连接Hive数据库
登录到EMR的Master机器上执行以下命令连接Hive。
cd /usr/local/service/hive/bin && ./beeline -u "jdbc:hive2://10.0.0.1:7001" -n hadoop -p xxxxxx(你的Hive的密码)创建基于COS的数据库
连接到hive之后，便可以在上面创建基于COS存储桶的数据库了，可以执行以下命令。
create database cloudaudit location ’cosn://cloudaudit/xxx’;将云审计的核心字段映射到Hive的表中的字段
在创建了基于COS的数据库之后，接下来就是将存储在COS中的云审计数据映射到Hive的表中，这样我们边能够借助MapReduce对云审计的数据进行分析了。（在创建这个映射关系的时候，应当充分了解云审计的字段。在此就不再赘述，用户可以去自行了解）以下是具体的建表语句。
CREATE EXTERNAL TABLE `cloudaudit_logs`(
`useridentity` struct<type:string,principalid:string,accountid:string,username:string,secretid:string> COMMENT '账户信息，其中accountid是主账号，principalid是当前操作账号',
`eventtime` string COMMENT '事件发生的时间',
`eventsource` string COMMENT '事件来源',
`sourceipaddress` string COMMENT '事件发起的IP地址',
`eventregion` string COMMENT '资源的地域',
`eventname` string COMMENT '事件名称，例如：RestartInstances',
`resourcetype` string COMMENT '资源类型，例如：CVM',
`useragent` string COMMENT '调用方Agent',
`errorcode` string COMMENT '错误码，0代表正确',
`errormessage` string COMMENT '错误描述',
`additionaleventdata` struct<loginto:string,logintype:string,mfaused:string> COMMENT '登录才有的额外字段',
`requestid` string COMMENT '请求的唯一ID',
`eventid` string COMMENT '日志的唯一ID',
`eventtype` string COMMENT '请求类型，ConsoleCall代表控制台操作，ApiCall代表API调用，ConsoleLogin代表登录',
`apiversion` string COMMENT 'api的版本',
`actiontype` string COMMENT '动作类型',
`resources` array<string> COMMENT '资源',
`resourcename` string COMMENT '资源名称')
PARTITIONED BY (`dt` string) //这个是分区，很重要。目前是一小时一个分区，一个分区对应COS存储桶下的一个目录
ROW FORMAT SERDE
'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
'ignore.malformed.json'='true')
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'cosn://cloudaudit/xxxx'定时将COS存储桶中的数据映射到Hive表中
上一步已经根据云审计的字段的映射创建了Hive表，那接下来就需要定期（目前是一个小时）将COS目录下的数据映射到Hive表中。以下是核心的Python代码。
lastHour = (datetime.datetime.now() - datetime.timedelta(hours=1)).strftime('%Y%m%d%H')
hive_client = hiveClient.HiveClient(db_host=config.HIVE_CONFIG['host'], port=config.HIVE_CONFIG['port'],
user=config.HIVE_CONFIG['user'], password=config.HIVE_CONFIG['passWord'],
database=config.HIVE_CONFIG['database'],
authMechanism=config.HIVE_CONFIG['authMechanism'])
# 第一步：首先判断要建的分区是否存在，如果不存在的话新建分区
partitionSql = 'show partitions cloudaudit_logs'
result = hive_client.query(partitionSql)
partitions = []
for row in result:
partitions.append(row[0])
if 'dt=' + lastHour not in partitions:
alterPartitionSql = 'ALTER TABLE cloudaudit_logs ADD PARTITION (dt="' + lastHour + '") location"cosn://cloudaudit/xxxx/' + lastHour + '"'
hive_client.queryWithoutReturn(alterPartitionSql)将COS中的冷数据聚合为热数据
这句话的意思不难理解，其实存储在COS的中的日志数据往往是很大的，不能直接作为逻辑开发的数据基础，所以需要将这个里面的数据经过一次聚合，把结果数据存储到Mysql这样的热介质中。
以下是一段核心的Python代码，将Hive的数据进行聚合。
# 第二步：执行数据统计命令
sql = 'select useridentity.accountid,userIdentity.principalId,sourceIPAddress,eventName,resourceType,errorCode,eventType,' \
' count(*) as cnt from cloudaudit_logs where dt = "' + lastHour + '" group by userIdentity.accountid,' \
'sourceIPAddress,userIdentity.principalId,eventName,resourceType,errorCode,eventType'
result = hive_client.query(sql)
hive_client.close()接下来即将发生的事情，我想大家都已经猜到了，就是将result的数据存储到Mysql中。然后就是常规的审计规则，根据老板的需求做出上帝视角的视图。
上帝视角的想象力
或许是这样的
或许是这样的
或许是这样的
....
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
