## 把文件行号当作排查线索

处理逐行保存的 JSON 记录时，最麻烦的往往不是发现解析错误，而是错误发生后找不到对应的原始数据。直接把空行过滤掉，再给剩余记录重新编号，会让日志里的行号与编辑器显示的行号不一致；捕获异常后只写一句“读取失败”，也无法判断是格式、类型还是字段内容出了问题。

一种适合小文件的做法，是先做完整检查，再决定是否启动业务导入。每条结果都记录原始物理行号，失败记录分类保存，原始输入保持不变。下面的示例约定一行对应一个对象，并要求 record_id 是非空字符串。这些是示例的业务规则，实际项目需要按数据契约调整。

![逐行文件检查流程：读取原始行、分类记录、统一验收](https://developer.qcloudimg.com/http-save/10037525/c13f6455de2c631426d6870eb8dff1cb.jpg)

## 明确区分几类失败

| 错误分类 | 本例如何处理 | 排查时关注什么 |
| --- | --- | --- |
| 空白行 | 记为 blank_line | 是否有多余换行或漏写记录 |
| 无法解析 | 记录行号和列号 | 引号、逗号、转义是否完整 |
| 顶层不是对象 | 记为 expected_object | 上游是否输出了数组或其他类型 |
| 编号不符合约定 | 记为 invalid_record_id | 是否为空、是否被转换成数字 |

这里不把数字编号自动转成字符串。例如数字 7 无法告诉程序原来的编号究竟是“7”还是“0007”。对于身份编码，保留原始字符串通常比事后补齐位数更容易追溯。空白行是否算错误也应明确约定，本例采用严格策略，不悄悄跳过。

## 一个只检查、不提交的实现

```python
import json

def inspect_lines(lines):
    accepted, errors = [], []
    for line_number, raw in enumerate(lines, start=1):
        if not raw.strip():
            errors.append({"line": line_number, "kind": "blank_line"})
            continue
        try:
            record = json.loads(raw)
        except json.JSONDecodeError as exc:
            errors.append({"line": line_number, "kind": "invalid_json",
                           "column": exc.colno})
            continue
        if not isinstance(record, dict):
            errors.append({"line": line_number, "kind": "expected_object"})
            continue
        identifier = record.get("record_id")
        if not isinstance(identifier, str) or not identifier.strip():
            errors.append({"line": line_number, "kind": "invalid_record_id"})
            continue
        accepted.append({"line": line_number, "record": record})
    return accepted, errors

if __name__ == "__main__":
    with open("records.jsonl", encoding="utf-8") as stream:
        accepted, errors = inspect_lines(stream)
    print(json.dumps({"accepted_count": len(accepted), "errors": errors},
                     ensure_ascii=False, indent=2))
    if errors:
        raise SystemExit("Validation failed; no business records submitted")
```

示例在遍历原始输入时直接从 1 开始计数，没有在计数前过滤空行。语法错误保存解析器给出的列号，但不把整行内容写入日志，以免业务字段中夹带个人信息或访问凭据。对格式合法但结构不符合约定的记录，则使用独立的错误类别。

## 用混合样本检查行号是否准确

可以准备七行输入：第 1 行为编号“0007”的正常对象，第 2 行为空白，第 3 行为破损 JSON，第 4 行为数组，第 5 行将编号写成数字，第 6 行编号只有空格，第 7 行为编号“0008”的正常对象。示例已用这个样本验证：正常结果对应第 1、7 行，错误对应第 2 至 6 行，编号前导零保持原样。

检查报告生成后，不要只看正常数量，还要确认输入总行数与两类结果数量之和相等。这个对账只能证明每一行都走过了检查分支，不能证明业务记录没有重复；重复编号检查需要额外的规则和索引。

## 小文件示例与生产任务的边界

该实现把正常记录和错误列表都放在内存中，适合有限规模的本地检查。面对大文件，应把检查结果写入独立输出文件或数据库，并限制单行大小、总文件大小以及错误报告数量。仅仅使用逐行读取，并不意味着内存使用天然有上限，一条特别长的记录仍然可能占用大量内存。

这个函数也没有提供完整 JSON Schema 校验、重复键检查或非有限数值限制。它只验证当前约定的对象形状和编号字段。需要更严格约束时，应在解析和业务校验层分别补齐。读取文件时的编码、权限和磁盘错误仍会向调用者抛出，调用端应将它们作为文件级失败处理。

正式导入前，建议先修正错误，再用同一份数据重新检查。不要在存在错误时默默提交“成功的那一部分”，除非产品已经明确支持部分成功，并能让使用者追踪每条记录的结果。本例有错误就以失败退出，且始终不执行业务提交。

参考：[Python 官方 json 文档](https://docs.python.org/3/library/json.html)。示例代码为独立编写，并已核对正常、空行、语法、类型与编号错误五类输入。

说明：本文由 AI 辅助撰写，配图为自制流程示意，输入数据仅作教学演示。

处理逐行保存的 JSON 记录时，最麻烦的往往不是发现解析错误，而是错误发生后找不到对应的原始数据。直接把空行过滤掉，再给剩余记录重新编号，会让日志里的行号与编辑器显示的行号不一致；捕获异常后只写一句“读取失败”，也无法判断是格式、类型还是字段内容出了问题。

按行处理 JSONL：让坏记录可定位而不悄悄丢失

保留原始行号，区分语法、结构与字段错误，以可追踪的检查报告决定是否启动批处理，并明确小文件实现的内存边界。

编程语言

大数据

后端

采用逐行校验机制，每条记录保留原始物理行号，严格区分空白行、JSON语法错误、非对象结构和无效编号，错误分类保存且不修改原始输入。检查通过后才提交业务导入，失败即整体退出，避免部分成功导致数据混乱。示例验证了前导零编号、空行等边界场景，确保排查线索清晰可追溯。

代码解释

数据库

Python

JSON

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

按行处理 JSONL：让坏记录可定位而不悄悄丢失-腾讯云开发者社区-腾讯云

按行处理 JSONL：让坏记录可定位而不悄悄丢失

按行处理 JSONL：让坏记录可定位而不悄悄丢失

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐