首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Import Kafka data into OSS using E-MapReduce service

Overview Kafka is a frequently-used message queue in open-source communities. Although Kafka (Confluent) officially provides plug-ins to import data directly from Kafka to HDFS's connector, Alibaba Cloud provides no official support for the file storage system OSS. This article will give a simple example to implement data writes from Kafka to Alibaba Cloud OSS. Because Alibaba Cloud E-MapReduce service integrates a large number of open-source components and docking tools for Alibaba Cloud, in this article, the example is directly run in the E-MapReduce cluster. This example uses the open-source Flume tool as a transit to connect Kafka and OSS. Flume open-source components may also appear on the E-MapReduce platform in the future. Scenario example Next we will name a simple example. If you already have an online Kafka cluster, you can directly jump to Step 4. 1. In the Kafka Home directory, start the Kafka service process. Configure the Zookeeper address in the configuration file to the service address emr-header-1:2181 bin/kafka-server-start.sh config/server.properties 2. Create a Kafka topic with a name of test bin/kafka-topics.sh --create --zookeeper emr-header-1:2181 \ --replication-factor 1 --partitions 1 --topic test 3. Write data to Kafka test topic and the data content is the performance monitoring data of the local machine vmstat 1 | bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 4. Configure and start the Flume service in the Flume Home directory Create a new configuration file: conf/kafka-example.conf. In specific, specify the source as the corresponding topic for Kafka, and use sink as the HDFS Sinker. Specify the path as the OSS path. Because the E-MapReduce service implements an efficient OSS FileSystem (compatible with Hadoop FileSystem) for us, the OSS path can be specified directly, and the HDFS Sinker data will be automatically written to OSS. # Name the components on this agent a1.sources = source1 a1.sinks = oss1 a1.channels = c1 # Describe/configure

03

hadoop 学习之路

当前,越来越多的同学进入大数据行业,有的是底层的技术,有的是工程,有的是算法,有的是业务。每个产品、都需要工程化的实现,以前,工程师都是操练着java/python/c等各种语言操纵中各类的软件,比如jquery,spring、mysql,实现产品的业务逻辑。在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark、hbase、jstorm等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前base在E-Mapreduce。在这,笔者尽可能梳理下,本文是围绕hadoop的。对于算法、机器学习是另一个范畴,本篇不涉及,不过从事机器学习算法的研发,能力最好在中级之上。

02
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    火山引擎数智平台VeDI发布《数据智能知识图谱》

    大数据文摘作品 近日,火山引擎数智平台(VeDI)正式发布《数据智能知识图谱》(以下简称「图谱」),内容覆盖了包括数据存储计算、数据分析加速、数据研发治理、数据洞察分析,数据辅助决策、数据赋能营销等企业数据全生命周期的管理与应用。 点击文末「阅读原文」,下载高清图谱。 更强劲的数据基座能力 随着企业数字化转型的需求愈加强烈,数据存储计算作为转型最底层的基座也更加受到关注。过去,传统湖仓一体时常发生数据源数据入湖时效性差、多源数据管理难等问题;而在批流一体方面,由于批流存储引擎不统一导致批流任务分开处理

    05

    FinOps-公有云资源管理

    在用户上云初期,对于云资源的管理通常处于较为松散的状态。而随着资源用量的增加以及使用到的产品种类的多样化,云上成本支出日益激增 ,企业对于成本精细化管理的诉求也愈发强烈。从使用云产品维度看,成本的计算方式从服务器计算、存储以及网络的开销用量的简单场景,演进成了不同场景化的云原生PaaS服务。对于云平台管理人员来说,使用完全托管的PaaS服务能够在免除部署运维管理成本的情况下,通过云平台工具直接对资源及上层应用统一管理,例如云监控、云安全中心、资源编排、ARMS调用链工具、SLS日志服务等。在新的平台架构下,当线上出现故障时,工程师需要有对应的服务使用权限,并对这些云平台工具快速排查定位问题。

    07
    领券