前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >DataX单节点部署

DataX单节点部署

原创
作者头像
弟大翻着洗
发布2024-08-08 00:19:18
980
发布2024-08-08 00:19:18
举报
文章被收录于专栏:大数据组件部署

介绍

DataX 是一个开源的数据传输工具,主要用于在不同的数据源之间进行数据的同步和迁移。通俗来说,DataX 就像一个“数据快递员”,负责把数据从一个地方送到另一个地方。

例子:

想象一下一个快递公司。

数据迁移:一家商店决定将库存数据从一个旧的管理系统转移到新的系统。快递公司负责把这些数据“打包”并送到新的管理系统,这就像 DataX 进行数据迁移。

数据同步:商店每天会有新的商品进货,快递公司会定期来收集这些更新的信息,并把它们送到新的系统,确保库存信息始终是最新的。这就类似于 DataX 的数据同步功能。

支持多种数据源:快递公司不仅可以送包裹,还可以送文件、食品等各种类型的货物。DataX 也是如此,它可以处理不同类型的数据源,灵活地进行数据传输。

前提工作

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

代码语言:shell
复制
cd /opt/module

# 解压
tar -zxvf datax.tar.gz

检查

代码语言:shell
复制
# 执行脚本
python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

# 出现如下内容,则成功
2023-11-12 12:21:18.315 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-10-12 21:51:02
任务结束时刻                    : 2021-10-12 21:51:12
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 介绍
  • 前提工作
  • 检查
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档