OpenRefine 单节点部署

介绍

OpenRefine 是一款开源的数据清洗和转换工具，适用于处理和整理大规模数据集。它允许用户轻松地清理、变换、探索和可视化数据，特别适合非结构化或半结构化的数据。

主要功能

• 数据清洗： 去除重复值，填补缺失数据。格式化不一致的条目，比如统一日期格式或地址格式。
• 数据转换： 从一种格式转换为另一种格式，例如从 CSV 转换为 JSON。使用表达式和函数对数据进行操作。
• 数据探索： 通过筛选、聚合和分组功能深入分析数据。
• 数据导出： 可以将清理后的数据导出为多种格式，如 CSV、Excel、JSON 等。

例子

• 整理联系人信息： 假设你有一个联系人列表，里面包含了很多不一致的姓名格式（如“张三”、“zhang san”）。使用 OpenRefine，你可以快速统一格式，使其一致（例如全部改为“张三”）。
• 处理产品清单： 如果你有一个包含商品信息的 Excel 表格，其中有些商品类别被拼错（如“电子产品”、“电子”的拼写不一致），你可以用 OpenRefine 轻松找到并修正这些错误。
• 分析调查数据： 在一次调查中，参与者可能会用不同的方式填写相同的问题（如“非常满意”、“满意”、“不满意”等）。使用 OpenRefine，可以将这些不同的回应归类为标准化的选项，以便进行分析。
• 清理历史数据： 假设你正在处理一份包含多年历史销售记录的数据集，日期格式可能混乱（如“2024/01/01”、“01-01-2024”等），通过 OpenRefine，你可以将这些日期格式统一，方便后续的时间序列分析。

链接：https://openrefine.org/download

前提准备

# 解压缩
tar -zxvf openrefine-linux-3.0.tar.gz

修改配置文件

• 将refine.ini文件的以下内容修改
• 此为web端访问地址配置

vim refine.ini

no_proxy="master,192.168.10.30"
REFINE_PORT=3333
REFINE_HOST=192.168.10.30

启动

• openrefine根目录下输入启动脚本命令

./refine

检查结果

• 浏览器输入配置文件配置的地址以及对应的端口号