- 综合排序
- 最热优先
- 最新优先
- 来自专栏ET
ETL国产化替代进程及思考
ETL国产化替代的背景与动因近年来，随着企业对数字化转型需求的不断加深，以及国家对国产化替代的政策推动，ETL（数据抽取、转换、加载）工具的国产化替代需求逐渐浮出水面。 尤其是在企业级市场，许多早期产品在性能、兼容性与稳定性方面并不突出，导致客户观望情绪浓厚。 阶段三：成熟期随着技术的发展，国产ETL工具逐步迈入成熟期，不仅在基础功能上赶超国外产品，更在灵活性、可扩展性、以及云原生架构支持等方面做出了重要突破。 在此之前很多国产ETL工具大部分采用kettle、datax等开源产品包装而成，要不就是技术比较老旧、单体架构，要不功能比较单一只解决某一类问题，作为新一代国产ETL工具，ETLCloud不仅解决了传统工具的性能瓶颈 国外产品在使用过程中是否已存在局限性，存在换代的需求?国产ETL工具在试用后是否能完全满足现有技术要求?性能及速度是否相当?是否更具性价比?
31810编辑于 2024-09-23 - 来自专栏用户8369250的专栏
ETL产品、ETL工具、E T L技术 三者啥关联？
一、概念：产品、工具、技术 、E T L 1、产品—为了满足市场需要，而创建的用于运营的功能及服务”就是产品。产品是以使用为目的物品和服务的综合体。产品分类：服务、软件、硬件、流程性材料。 3、ETL产品—与ETL技术、ETL工具对比，产品中最大区别不仅有成熟物品还有服务。 所以必须满足以下三要素，方可称之为ETL产品：包含有： ①一套成熟 数据集成工具 ②一套成熟 数据集成实施方法 ③一支足够强有力的 执行技术团队 三、诞生时间、缘由、过程 ETL技术： 跟随数据库诞生而诞生 定制ETL开发工具：或写代码、或写储存，或拿来主义（自行研究学习使用开源、包装开源）类似于“冷兵器时代” ETL产品 历史数据海量，无法进行战略决策 用手工编程解决只可能将企业信息系统之间做成一个纷繁复杂的蜘蛛网 购买商用ETL产品，采购重点是成熟自研工具和服务的综合体！ 如：Informatica 北京灵蜂Beeload &BeeDI
1.3K10发布于 2021-03-08 - 来自专栏国产ETL工具
为什么要用专业国产化ETL工具？(非开源&非包装）
如果数据转换的频率或者要求不高可以手动实现ETL的功能；反之，如果对数据转换的要求比较高的话，就需要专门的ETL工具. 1.部署要求 1.1.平台支持： 支持主流平台Linux, Windows以及国产操作系统 ，不同平台间具备可移植性（包含不同平台间移植以及从相同平台开发环境到生产环境间的移植）；提供独立的运行框架，不依赖特定的数据库产品。 主要为：统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库（人大金仓、达梦等）。 1.3.跨平台移植和向下兼容 工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。 2. 专用ETL通常通过图形化的配置方式，简单，灵活，使得用户无需过分关心数据库的各种内部细节，而专注于其功能实现。 2.4集成性 集成数据标准转换和数据清洗功能。 3.2 可用性 改善数据运维的方式，运维人员经过基本培训后，简单操作即可满足ETL作业上线、部署等需求。
35910编辑于 2024-06-21 - 来自专栏国产ETL工具
国产etl工具BeeDI产品 经典功能-数据联邦
无需落具体落地到某一数据库，直接在ETL服务内存进行数据访问、运算...... 从而加快数据抽取速度，减少 IT 基础架构成本和复杂度、提高企业整个灵活性。 二、为什么ETL工具BeeDI 产品需要 数据联邦功能组件1、加速开发过程企业数据中心可以直接链接多个数据源中的数据，无需实际将具体数据迁移到大数据中央就可创建即时的联邦视图。
63730编辑于 2022-09-05 - 来自专栏全栈程序员必看
ETL是什么_ETL平台
随着企业的发展，各业务线、产品线、部门都会承建各种信息化系统方便开展自己的业务。 ---- 三、ETL的流程 ETL如同它代表的三个英文单词，涉及三个独立的过程：抽取、转换和加载。工作流程往往作为一个正在进行的过程来实现，各模块可灵活进行组合，形成ETL处理流程。 在ETL架构中，数据的流向是从源数据流到ETL工具，ETL工具是一个单独的数据处理引擎，一般会在单独的硬件服务器上，实现所有数据转化的工作，然后将数据加载到目标数据仓库中。 ---- 4、ETL日志与警告发送 （1）ETL日志 记录日志的目的是随时可以知道ETL运行情况，如果出错了，出错在那里。 如果使用ETL工具，工具会自动产生一些日志，这一类日志也可以作为ETL日志的一部分。
2.3K31编辑于 2022-09-20 - 来自专栏架构之巅
ETL
ETL ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 ，所以ETL可以定时进行。 而ETL则是主要的一个技术手段。如何正确选择ETL工具？如何正确应用ETL？ 实现ETL，首先要实现ETL转换的过程。 ETL体系结构 下图为ETL体系结构，它体现了主流ETL产品框架的主要组成部分。
6.8K32发布于 2020-11-09 - 来自专栏ET
制造业数仓建设之ETL工具选型实战指南
面对这一困境，越来越多的制造企业将目光投向ETL工具。但市面上产品众多，功能各异，该如何选择？本文基于实地调研和案例分析，为您深度解析制造企业最值得关注的5款ETL工具。 本土化支持：在当前环境下，国产化替代和本地化服务的重要性不言而喻。 企业大数据平台典型架构适合制造业ETL工具深度对比1.ETLCloud - 国产化制造业专用解决方案核心优势：专门针对制造业场景设计，ETLCloud内置50多个制造业系统连接器 适用场景：追求国产化安全 场景四：质量全链路追溯现状痛点：产品质量问题追溯需要跨越LIMS、MES、采购系统，人工查找耗时3-5天。解决方案：ETL整合检验数据、工艺参数、原材料批次信息，建立质量追溯数据模型。 场景五：客户反馈驱动产品优化现状痛点：售后服务、客户投诉、产品使用数据分散在CRM、呼叫中心、IoT平台中，难以指导产品改进。
19210编辑于 2025-08-06 支持实时ETL的品牌产品，腾讯云 Oceanus 为何稳居榜首？
摘要 实时ETL（抽取-转换-加载）已成为企业数据实时化的第一道关口。 本文基于 2025 年 8 月 21 日腾讯云官网最新信息，横向对比主流实时ETL品牌，围绕连接器、延迟、弹性、成本四大维度给出量化结论，并重点解析腾讯云流计算 Oceanus 的实时ETL特性、价格与活动 一、实时ETL的 4 个硬指标 源→目标端到端延迟 <1 秒，保证业务实时性； 丰富且官方维护的 Connector，减少二次开发； 弹性伸缩，应对流量洪峰； 成本可控，按需计费优于包月浪费。 5 大杀手锏 一键式ETL模板 WebIDE 提供“源→转换→目标”拖拽式模板，自动生成 Flink SQL，10 分钟完成实时链路上线。 如果你正寻找“能省、能快、能稳”的实时ETL产品，现在访问 https://cloud.tencent.com/product/oceanus 领取免费额度，3 分钟跑通第一条实时链路。
16510编辑于 2025-08-21- 来自专栏etl
ETL工具选型 需要考虑哪些因素
如何选型 ETL产品的选型工作一直以来都是困扰架构师的一块心病，国外付费产品用不起，国外免费产品学习成本高、不易实施。 多数软件又为什么逐渐国产化？ 长期以来，国内数据技术都由海外厂商主导。 为确保国家信息安全，政府部门出台了一系列的相关政策以支持IT系统的国产化。 落地项目中真正的需求又是什么？ 完善的ETL解决方案，提供可视化任务设计器、调度配置及日志查看功能。 为方便实施与监控需要有图形化功能来支撑。 /releases) [etl-engine使用手册](https://github.com/hw2499/etl-engine) [etl-crontab使用手册](https://github.com /hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6) [嵌入脚本开发](https://github.com/hw2499/etl-engine
62440编辑于 2023-02-20 - 来自专栏大数据进阶
flink etl
这种 join 方式需要去保留两个流的状态，持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的，所以数据就需要持续性的存在state里面，那么 state 又不能存的过大，因此这个场景的只适合有界数据流或者结合ttl state配合使用。它的语法可以看一下，比较像离线批处理的 SQL
1.2K40发布于 2021-07-14 - 来自专栏etl
ETL 是什么 ETL 工具有哪些 ETL 数据交换系统
ETL简介ETL是英文Extract-Transform-Load的缩写。用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 ETL重要性ETL是实现商务智能(Business Intelligence,BI)的核心。一般情况下,ETL会花费整个BI项目三分之一的时间，因此ETL设计得好坏直接影响BI项目的成败。 ETL工具有哪些datastage （收费） 最专业的ETL工具， 2005年被IBM收购，目前发展到11.7版本。 https://github.com/hw2499/etl-engine/releases) [etl-engine使用手册](https://github.com/hw2499/etl-engine ) [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6) [嵌入脚本开发
2.3K10编辑于 2023-02-01 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。 数据服务工程师，主要是基于数据构建应用，比如用Java语言实现一个战场沙盘等数据产品等等，类似后段开发工程师。
2.3K50编辑于 2022-05-05 部署 及 使用 etl crontab 和 etl engine
(环境配置文件，使用etl_crontab必须) etllog_mysql.sql (日志表结构文件，使用etl_crontab必须) etl_crontab.exe (管理端，用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能) etl_engine.exe (ETL引擎，用于解析执行ETL任务，必须) engineFile 引擎文件存放位置（默认配置 d:/etl_crontab/etl_engine.exe） confDir etl任务配置文件所在目录（默认配置d:/etl_crontab 4、启动etl_crontab（管理端） 执行以下命令： etl_crontab.exe -fileUrl conf.cron etl_crontab.exe运行后 5、执行etl_engine（根据实际情况使用） 1）由etl_crontab调度负责调用etl_engine执行，不需要人为干预。
23410编辑于 2024-12-30- 来自专栏数据科学与人工智能
【ETL工程】大数据技术核心之ETL
大数据技术之数据采集ETL： 这里不过多的说数据采集的过程，可以简单的理解：有数据库就会有数据。 这里我们更关注数据的ETL过程，而ETL前期的过程，只需要了解其基本范畴就OK。 在数据挖掘的范畴了，数据清洗的前期过程，可简单的认为就是ETL的过程。ETL的发展过程伴随着数据挖掘至今，其相关技术也已非常成熟。这里我们也不过多的探讨ETL过程，日后如有涉及，在细分。 导致上面的原因，往往是在项目初期没有正确的估计ETL的工作，没有认真的考虑其与工具支撑有很大的关系。 在做ETL产品选型的时候，任然必不可少的要面临四点（成本、人员经验、案例和技术支持）来考量。 在做ETL的过程中，也随之产生于一些ETL工具，如Datastage、Powercenter、ETLAutomation。 异常处理 在ETL的过程中，必不可少的要面临数据异常的问题，处理办法： 1. 将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。中断ETL，修改后重新执行ETL。原则：最大限度接收数据。
3.3K100发布于 2018-02-27 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。 数据服务工程师，主要是基于数据构建应用，比如用Java语言实现一个战场沙盘等数据产品等等，类似后段开发工程师。
1.2K30编辑于 2022-06-21 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（一）：ETL与Kettle
自动化调度组件的作用是自动定期重复执行ETL过程。不同角色的数据仓库用户对数据的更新频率要求也会有所不同，例如财务主管需要每月的营收汇总报告，而销售人员想看到每天的产品销售数据。 例如，产品单价 * 购买数量 = 金额。 基于某些规则重新排序以提高查询性能。 合并多个数据源的数据并去重。 预聚合。例如，汇总销售数据。 行列转置。 将一列转为多列。 随之出现了Prism、Carlton、ETI等产品。代码生成最大的弊端是大多数代码生成仅能用于有限的特定数据库。不久之后，就在代码生成技术广泛应用之时，新的基于引擎架构的ETL工具出现了。 ETL的设计过程和直接用开发语言写程序很相似，也就是说在写程序时用到的一些步骤或过程同样也适用于ETL设计。测试也是ETL设计的一部分。 三、Kettle简介 Kettle是Pentaho公司的数据整合产品，它可能是现在世界上最流行的开源ETL工具，经常被用于数据仓库环境，并可用来操作Hadoop上的数据。
5.4K79发布于 2020-08-17 - 来自专栏Tapdata
Tapdata 与麒麟软件完成兼容性互认证，国产化生态布局再跃步
同样关注基础设施国产化进程，积极牵手基础软件国产替代的 Tapdata，从创立之初，就拥有“纯国产自研”的基因优势，手握自主知识产权，对国产数据库更友好，技术更加可控。 此番 Tapdata 与麒麟软件完成兼容性互认证，标志着双方将共同构建完整的自主创新生态链，推动信创行业国产化建设更进一步。 道阻且长，行则将至。 未来，Tapdata 将充分利用自身的完全自研优势，和实时数据技术的时代力量，不断深化国产化生态布局，积极联动行业伙伴，继续推进与上下游国产化基础设施的兼容适配，持续为用户提供安全可靠的产品、整体解决方案和技术服务 、麒麟云、操作系统增值产品为代表的产品线。 核心覆盖的场景包括：实时数据同步、开发和 Fluent ETL，具备全量和增量复制，异构数据库间的同步与转换，表级同步以及任务监控等能力。
69430编辑于 2022-12-06 - 来自专栏技术杂记
ETL CSV to Elasticsearch
record): for i in record: record[i]=str(record[i]).encode('utf-8') return record def etl_csv_to_es es.indices.flush(index=[indexName]) return (True,count) #main if __name__ == "__main__": res,num = etl_csv_to_es
2.6K30发布于 2021-08-11 - 来自专栏etl
hive etl 通过 ETL engine 读取 Hive 中的数据
etl-engine支持对Hive的读取，并输出到以下目标数据源： 消息中间件（Kafka | RocketMQ）; 关系型数据库（ Oracle | MySQL | PostgreSQL | Sqlite ）; NoSQL（Elasticsearch | Redis）; 时序数据库（ InfluxDB | ClickHouse | Prometheus）; 文件（ Excel ）； etl-engine支持 参考资料 [免费下载](https://github.com/hw2499/etl-engine/releases) [etl-engine使用手册](https://github.com/hw2499 /etl-engine) [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA %A6) [嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%
2.5K50编辑于 2023-02-28 - 来自专栏Tapdata
实录：电话咨询数据库数据迁移“100” 个问题
不乏一些老的系统，软件没人维护，之前编写软件的开发人员已经找不到踪影，应用系统的数据一直增长上涨，这些客户共同的特点，数据库要国产化，导致数据迁移的问题，说难不难，说简单也不简单，要求系统不停机，业务连轴转 比如“阿里云 DTS ” ，在央国企项目里面不能有国外产品，什么 OGG、Kettle 这些ETL软件不能出现在项目的名单上，产品涉及政治政策问题是不能妥协的，技术中有些开源的产品如 Datax,Canal 2 Kettle 国外的ETL软件： 这不符合国内央国企的，项目中的软件全面国产化的硬性要求。 以上这些软件和方案无法满足国产化项目中的数据同步或迁移工作的通用性方案 在为央国企大型客户服务的过程中，ETL 软件在整体项目中的作用不容忽略，甚至这是整体项目能否成功的关键因素之一，这些是数据库人需要考量和思虑的问题 3 TapData 开源版本：TapData 开源 ETL 产品目前支持开源数据库产品之间的数据同步和迁移，其他部分未做任何限制。
17610编辑于 2024-11-08
腾讯云开发者
