用 Python 清洗多平台电商商品数据：SKU 标准化、去重与映射校验

各平台导出表 ──> 合并
              ──> 文本标准化（全角转半角、大写、去空格）
              ──> 规格解析（颜色、尺码）
              ──> 编码规范化（统一成 品类-款号-颜色-尺码）
              ──> 缺失编码推断（按同款已知编码 + 规格补全）
              ──> 映射校验（未映射 / 推断待确认 / 规格冲突）
              ──> 输出 SKU 映射表

import re
import unicodedata
import pandas as pd

# 1. 模拟三个平台导出的商品数据（实际使用时换成 pd.read_excel 读取各平台导出文件）
taobao = pd.DataFrame({
    "平台": "淘宝",
    "商品标题": ["纯棉短袖T恤 男女同款", "纯棉短袖T恤 男女同款", "保温杯500ml"],
    "规格": ["白色/M", "白色/L", "黑色"],
    "商家编码": ["FZ-001-WH-M", "FZ-001-WH-L", "BW-500-BK"],
})
pdd = pd.DataFrame({
    "平台": "拼多多",
    "商品标题": ["纯棉短袖Ｔ恤（男女同款）", "保温杯 500ML"],
    "规格": ["白色 M码", "黑色"],
    "商家编码": ["", "bw500bk"],
})
douyin = pd.DataFrame({
    "平台": "抖店",
    "商品标题": ["纯棉 短袖T恤", "纯棉 短袖T恤"],
    "规格": ["白-M", "白-XL"],
    "商家编码": ["FZ001WHM", " FZ-001-WH-XL "],
})
raw = pd.concat([taobao, pdd, douyin], ignore_index=True)

# 2. 文本标准化：全角转半角、统一大小写、去多余空格
def norm_text(s):
    if pd.isna(s):                     # 读 Excel 时空单元格是 NaN，要先处理
        return ""
    s = unicodedata.normalize("NFKC", str(s))
    return re.sub(r"\s+", " ", s).strip().upper()

# 3. 规格解析：把各平台五花八门的写法统一成 颜色 + 尺码
COLOR_MAP = {"白色": "WH", "白": "WH", "黑色": "BK", "黑": "BK"}
SIZES = ["XXL", "XL", "L", "M", "S"]

def parse_spec(spec):
    spec = norm_text(spec)
    color = next((code for word, code in COLOR_MAP.items() if word in spec), "")
    size = next((sz for sz in SIZES if re.search(rf"(?<![A-Z]){sz}(?![A-Z])", spec)), "")
    return color, size

# 4. 商家编码标准化：去空格、去分隔符后重新按段拼接
def norm_code(code):
    c = re.sub(r"[^A-Z0-9]", "", norm_text(code))
    # 正则对应本文的编码规则，换成自己的规则时同步修改
    m = re.fullmatch(r"([A-Z]{2})(\d{3})([A-Z]{2})([A-Z]{0,3})", c)
    if not m:
        return ""
    return "-".join(p for p in m.groups() if p)

df = raw.copy()
df[["颜色", "尺码"]] = df["规格"].apply(lambda s: pd.Series(parse_spec(s)))
df["标准编码"] = df["商家编码"].apply(norm_code)

# 5. 编码缺失的行：按 款号 + 颜色 + 尺码 从同款已知编码中推断
known = df[df["标准编码"] != ""].copy()
known["款号"] = known["标准编码"].str.extract(r"^([A-Z]{2}-\d{3})")
style_by_title = {}
for _, r in known.iterrows():
    key = re.sub(r"[^一-龥A-Z0-9]", "", norm_text(r["商品标题"]))
    style_by_title.setdefault(key, r["款号"])

def infer_code(r):
    if r["标准编码"]:
        return r["标准编码"], "原编码"
    key = re.sub(r"[^一-龥A-Z0-9]", "", norm_text(r["商品标题"]))
    style = next((v for k, v in style_by_title.items() if k in key or key in k), None)
    if style and r["颜色"]:
        return "-".join(p for p in [style, r["颜色"], r["尺码"]] if p), "推断"
    return "", "无法推断"

df[["系统编码", "来源"]] = df.apply(lambda r: pd.Series(infer_code(r)), axis=1)

# 6. 映射校验
unmapped = df[df["系统编码"] == ""]
inferred = df[df["来源"] == "推断"]
sku_list = df[df["系统编码"] != ""]["系统编码"].drop_duplicates().sort_values()

# 冲突校验：同一个系统编码，解析出的颜色/尺码必须一致
spec_cnt = df[df["系统编码"] != ""].groupby("系统编码")[["颜色", "尺码"]].nunique()
conflict = spec_cnt[(spec_cnt["颜色"] > 1) | (spec_cnt["尺码"] > 1)]

print("清洗后的映射表：")
print(df[["平台", "规格", "商家编码", "系统编码", "来源"]].to_string(index=False))
print(f"\n去重后的系统SKU：{len(sku_list)} 个 -> {', '.join(sku_list)}")
print(f"需人工确认的推断编码：{len(inferred)} 条；无法映射：{len(unmapped)} 条；规格冲突：{len(conflict)} 个")

# 7. 导出结果，供导入ERP前人工复核（需安装 openpyxl）
# df.to_excel("SKU映射表.xlsx", index=False)

清洗后的映射表：
 平台    规格           商家编码         系统编码  来源
 淘宝  白色/M    FZ-001-WH-M  FZ-001-WH-M 原编码
 淘宝  白色/L    FZ-001-WH-L  FZ-001-WH-L 原编码
 淘宝    黑色      BW-500-BK    BW-500-BK 原编码
拼多多 白色 M码                 FZ-001-WH-M  推断
拼多多    黑色        bw500bk    BW-500-BK 原编码
 抖店   白-M       FZ001WHM  FZ-001-WH-M 原编码
 抖店  白-XL  FZ-001-WH-XL  FZ-001-WH-XL 原编码

去重后的系统SKU：4 个 -> BW-500-BK, FZ-001-WH-L, FZ-001-WH-M, FZ-001-WH-XL
需人工确认的推断编码：1 条；无法映射：0 条；规格冲突：0 个