pig 单节点部署

介绍

Apache Pig 是一个用于处理大数据的高层次平台，主要用于在 Hadoop 上进行数据流处理。它的核心是 Pig Latin，一种类似于 SQL 的脚本语言，允许用户以更简单的方式编写数据处理程序。

原理

Pig 的工作原理可以分为以下几个步骤：

1. 数据加载：Pig 可以从多种数据源（如 HDFS、HBase、Hive 等）加载数据。
2. 数据处理：使用 Pig Latin 语言编写数据处理逻辑，包括过滤、连接、分组、排序等操作。
3. 执行计划生成：Pig 将 Pig Latin 脚本转换为执行计划，生成 MapReduce 任务。
4. 执行：通过 Hadoop 执行生成的 MapReduce 任务，处理数据并输出结果。

作用

Pig 的主要作用是简化大数据处理的复杂性，使得数据分析师和开发者能够更容易地处理和分析大规模数据集。它适合于数据清洗、数据转换和数据分析等任务。

例子

1. 数据加载：想象你在超市购物，首先需要将购物清单（数据）从家里带到超市（数据源）。Pig 就像是一个助手，帮助你把清单带到超市。
2. 数据处理：在超市里，你可能会根据不同的类别（如水果、蔬菜、饮料）来整理你的购物清单。Pig Latin 就是你用来整理清单的语言，帮助你快速找到需要的商品。
3. 执行计划生成：当你决定好购物路线后，你会制定一个计划，决定先去哪个货架。Pig 会将你的购物清单转换为一个执行计划，确保你能高效地完成购物。
4. 执行：最后，你按照计划在超市中购物，收集所有需要的商品。Pig 则通过 Hadoop 执行你的计划，处理数据并生成结果。

前提工作

cd /opt/module

# 解压
tar -zxvf pig-0.17.0.tar.gz
# 重命名
mv pig-0.17.0 pig

环境变量

# 编辑配置文件
vim /etc/profile

# PIG_HOME
export PIG_HOME=/opt/module/pig
export PATH=:$PIG_HOME/bin:$PATH

# 加载环境变量使其生效
source /etc/profile

检查结果

pig -x local

pig -x mapreduce