消息队列 CKafka 应用与实战

  • 6 课时
  • 1.2K 学过
  • 8 分
消息队列 CKafka 版消息队列 CMQ 版云服务器

课程概述

腾讯云消息队列CKafka是一个分布式、高吞吐量、高扩展性的消息系统。CKafka基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。CKafka具有数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合等场景。

本课程是腾讯云消息队列CKafka的实战课程。课程将介绍日志统计流平台、Flume和Spark Streaming。这个实战项目将通过日志流平台的搭建演示CKafka如何接入Flume和Spark Streaming。Web服务器产生的日志将通过Flume收集,然后通过CKafka将消息发送给Spark Streaming进行实时流计算。

【课程目标】

了解Flume的特点和核心组件

了解Spark Streaming的基本功能

在腾讯云CVM上配置Flume和Spark Streaming的环境

搭建日志流平台,将CKafka接入Flume和SparkStreaming

【适用对象】

商务、运维

【课程大纲】

知识模块

简介

消息队列 CKafka 应用与实战

日志统计流平台简介,Flume与Spark Streaming的简介,Ckafka接入flume和Spark Streaming实战一、二、三

机构简介

腾讯产业互联网学堂

腾讯云旗下面向云生态用户的一站式学习成长平台

讲义

本节课将介绍日志统计流平台简介。

日志统计流平台的流程为Web服务器产生日志,通过Flume日志收集框架收集日志,以CKafka作为消息队列,最后将消息发送给Spark Streaming。

本次实验所需的压缩包如图所示:

课程评价(0)

感谢你参加本课程,请你作出评价:
0/300

以下选自学员评价

暂无精选评价