## LogMiner vs 裸日志解析（二）：明明是很常见的数据类型，却抓不到

接着上一篇聊。

30字符表名限制只是LogMiner众多坑里的一个。今天说第二个——**数据类型支持**。

这个问题比表名限制更常见，也更让人头疼。因为表名太长可以改，但数据类型是业务决定的，你说改就改？

### 先看看哪些类型不支持

LogMiner官方文档里列了一长串不支持的数据类型：

- **BLOB**：二进制大对象，存图片、附件、文件内容
- **CLOB**：字符大对象，存大文本、JSON、XML文档
- **NCLOB**：国家字符集大对象
- **LONG / LONG RAW**：Oracle的老式大对象类型
- **XMLTYPE**：XML类型，很多政务、金融系统在用
- **BFILE**：外部文件引用
- **ROWID / UROWID**：行标识符
- **嵌套表、VARRAY**：集合类型
- **自定义对象类型（UDT）** ：用户定义的对象类型
- **ANYDATA**：可以存任何类型的数据
- **虚拟列**：计算列

遇到这些类型，LogMiner的处理方式基本就两种：**要么把值替换成NULL，要么直接标记为UNSUPPORTED**。

你拿到解析结果一看，字段在，值是空的。或者压根就没有这个字段。

### 为什么不行？

数据类型支持范围是由LogMiner的内置实现决定的，你改不了。

LogMiner的核心逻辑是：读取redo log，把Change Vector翻译成SQL语句，然后通过`V$LOGMNR_CONTENTS`视图输出。这个翻译过程中，需要知道每个字段的数据类型，才能正确地把二进制数据转换成可读的值。

但问题是，**LogMiner的翻译层对很多数据类型的处理是缺失的**。

以BLOB为例。redo log里记录的BLOB变更不是完整的BLOB数据——它记录的是**BLOB locator**（定位器），真正的数据可能分散在多个数据块里。LogMiner在翻译的时候，拿到locator之后不知道怎么去关联和组装完整的BLOB数据，所以干脆标记为不支持。

CLOB也是一样。CLOB在redo里可能被拆成多个片段，每个片段有独立的redo记录。LogMiner需要把这些片段按正确的顺序拼起来，还要处理字符集转换——这些逻辑它没实现。

XMLTYPE更复杂。XMLTYPE底层可能存储为CLOB，也可能存储为对象关系格式（OR），还有二进制XML格式。每种格式的redo记录方式都不一样，LogMiner处理不了。

虚拟列的问题更特殊——它不是数据类型的问题，而是**LogMiner根本不捕获虚拟列的变更**。虚拟列的值是由表达式计算出来的，redo log里本来就不记录虚拟列本身的值。但问题是，很多CDC方案需要同步虚拟列，LogMiner直接忽略了。

### 麻烦在哪？

这些类型在业务表里非常常见。

**大文本类**：日志表、消息表、工单表，几乎都有CLOB字段。客户的各种附件、扫描件、图片，存在BLOB里。政务系统的公文、审批意见，很多是CLOB。

**JSON列**：现在很多系统用JSON存储半结构化数据，Oracle里一般用CLOB或者VARCHAR2存。如果是CLOB，LogMiner抓不到。

**XMLTYPE**：金融、政务、医疗行业的很多老系统还在用XMLTYPE。

**虚拟列**：很多系统用虚拟列做计算字段、派生字段，比如`total_amount AS (quantity * price)`。LogMiner不抓虚拟列，下游拿不到这些字段的值。

**嵌套表和VARRAY**：在Oracle对象关系模型中很常见，但LogMiner不支持。

遇到这些类型，增量同步链路的结果只有两种：

**第一种：直接断掉。** 你配好了同步任务，跑起来发现字段全是NULL。或者任务直接报错，说某个类型不支持。

**第二种：被迫妥协。** 把不支持的字段排除掉，只同步其他字段。但业务要的就是这些字段里的数据——你把BLOB排除了，图片怎么同步？把CLOB排除了，大文本怎么同步？排除掉还有什么意义？

更麻烦的是，**这些限制不是你能绕过的**。

Debezium的文档里写得很清楚：Oracle连接器使用LogMiner的`DBMS_LOGMNR`包来读取redo log。LogMiner支持什么类型、不支持什么类型，直接决定了Debezium能同步什么类型。社区里有人提过Issue要求支持CLOB，回复是：**底层LogMiner不支持，我们也没办法。**

Flink CDC也是一样。它的Oracle连接器底层也是Debezium，Debezium底层也是LogMiner。链路是一样的，限制也是一样的。

有些方案尝试绕过去——比如把CLOB转成VARCHAR2，把BLOB转成RAW。但这些转换有长度限制，VARCHAR2最大4000字节，大一点的CLOB根本装不下。而且转换过程中可能丢失数据。

### 裸日志解析怎么做？

直接解析二进制，数据类型支持的范围由自己控制。

redo log里存的不是“类型”，是**数据块的物理变更**。一个BLOB字段的修改，在redo里可能体现为几个Change Vector：一个修改BLOB数据块，一个修改LOB索引，一个修改表数据块里的locator。这些Change Vector的Body里存的是二进制数据——我们自己解析这些二进制，按每种类型自己的编码规则去解码。

具体来说，几种主要类型的处理方式：

**BLOB/CLOB**：redo里记录的是locator（定位器），但locator里包含了足够的信息去定位实际的LOB数据块。解析器需要跟踪LOB的变更链路——先找到locator的变更，再根据locator去关联对应的LOB数据块变更，把完整数据拼出来。CLOB还要处理字符集转换（US7ASCII、AL32UTF8、ZHS16GBK等）。

**XMLTYPE**：需要先识别XMLTYPE的底层存储格式——是CLOB、对象关系还是二进制XML。每种格式的解析逻辑不一样，但本质上都是二进制数据的解码问题。

**虚拟列**：LogMiner不抓虚拟列，是因为它只处理redo里明确记录的列变更。但redo里其实记录了计算虚拟列所依赖的原始列的值——拿到原始列的值之后，按照虚拟列的定义表达式，可以自己计算出虚拟列的值。这需要解析器知道表上虚拟列的定义。

**嵌套表和VARRAY**：这些类型底层有独立的存储段，redo里会记录对应的数据块变更。解析器需要跟踪这些段的变化，把嵌套的数据结构还原出来。

**ROWID**：这个最简单——ROWID就是数据块的物理地址，Change Vector的头部本来就有DBA（数据块地址），直接就可以导出ROWID。

**BFILE**：BFILE存的是外部文件的路径和文件名，redo里记录的是路径字符串。LogMiner之所以不支持，是因为它没法访问外部文件系统，拿不到文件内容。但如果只是同步路径信息，裸日志解析可以直接从redo里把路径字符串解析出来。

**自定义对象类型（UDT）** ：UDT底层有对应的类型定义，redo里记录的是按照UDT结构编码的二进制数据。解析器需要先解析UDT的类型定义，然后按定义逐字段解码。

**ANYDATA**：ANYDATA的redo里带了类型描述符，解析器需要先解析类型描述符，再根据类型描述符去解码实际数据。

整个链路从日志读取到块解析到事务还原，全部自己控制。类型支持的范围由自己的解析器决定，不受LogMiner的限制。

> 目前TLA已经跑通了Oracle版本，BLOB、CLOB、XMLTYPE这些LogMiner不支持的类型都能处理。后续MySQL、PG和国产数据库的支持也在推进中。

### 说句实在话

数据类型支持这件事，表面上是一个技术细节，实际上是**控制权在谁手里的问题**。

套壳方案用的是LogMiner，LogMiner支持什么类型，你就能同步什么类型。LogMiner不支持的类型，你只能排除、只能妥协、只能等Oracle更新。

全自研方案自己实现解析器，类型支持的范围由自己决定。遇到新类型，加解析逻辑就行，不用等任何人。

这是“LogMiner vs 裸日志解析”系列的第二篇。后面会陆续聊其他几个坑——大事务OOM、SCN追不上、在线日志读写冲突，等等。

如果你也遇到过数据类型同步的问题，欢迎交流。

30字符表名限制只是LogMiner众多坑里的一个。今天说第二个——数据类型支持。

LogMiner vs 裸日志解析（二）：明明是很常见的数据类型，却抓不到

数据库

后端

架构设计

Oracle LogMiner对BLOB、CLOB、XMLTYPE等常见数据类型支持缺失，导致增量同步字段变NULL或报错。裸日志解析可自主解码redo二进制，支持全部类型，包括虚拟列计算和嵌套表还原，不受官方限制，实现全量同步。

结构化数据

数据转换

数据结构

文件系统

MySQL

JSON

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

LogMiner vs 裸日志解析（二）：明明是很常见的数据类型，却抓不到-腾讯云开发者社区-腾讯云

LogMiner vs 裸日志解析（二）：明明是很常见的数据类型，却抓不到

LogMiner vs 裸日志解析（二）：明明是很常见的数据类型，却抓不到

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐