【数据去重】

贺公子之数据科学与艺术

发布于 2025-08-29 19:41:37

21000

代码可运行

运行总次数：0

代码可运行

数据去重的基本思路

数据重复问题通常分为两类：完全重复（所有字段相同）和部分重复（关键字段相同）。解决思路围绕识别、标记或删除重复项展开，需根据业务场景选择保留策略（如保留最新记录或合并数据）。

基于哈希或唯一标识的去重

为每条数据生成唯一标识（如MD5哈希），通过比对标识快速定位重复项。适用于结构化数据表或文件去重。

import hashlib

def generate_hash(row):
    # 将数据行转换为字符串并生成哈希
    row_str = ''.join(str(value) for value in row.values())
    return hashlib.md5(row_str.encode()).hexdigest()

数据库层面的去重

使用SQL语句直接去重，适用于关系型数据库。例如使用GROUP BY或DISTINCT：

-- 保留每组重复数据中的第一条
DELETE FROM table
WHERE id NOT IN (
    SELECT MIN(id)
    FROM table
    GROUP BY column1, column2  -- 关键字段
);

基于相似度算法的部分去重

对于文本或非结构化数据，可采用相似度算法（如Levenshtein距离、TF-IDF余弦相似度）识别近似重复项。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def find_similar(texts, threshold=0.8):
    vectorizer = TfidfVectorizer()
    tfidf_matrix = vectorizer.fit_transform(texts)
    similarities = cosine_similarity(tfidf_matrix)
    return np.where(similarities > threshold)

分布式环境下的去重方案

在大数据场景下，使用布隆过滤器（Bloom Filter）高效判断数据是否存在。适合实时流水线去重。

// 使用Guava的BloomFilter
BloomFilter<String> filter = BloomFilter.create(
    Funnels.stringFunnel(Charset.defaultCharset()), 
    1000000, 
    0.01
);

if (!filter.mightContain(data)) {
    filter.put(data);
    // 处理新数据
}