如何将dataframe中的部分重复项设置为null

import pandas as pd
import numpy as np

# 创建一个示例DataFrame
data = {
    'A': [1, 2, 2, 3, 4, 4],
    'B': ['a', 'b', 'b', 'c', 'd', 'd']
}
df = pd.DataFrame(data)

# 显示原始DataFrame
print("原始DataFrame:")
print(df)

# 找到重复项并设置部分重复项为null
threshold = 0.5  # 设置重复项的比例阈值
mask = df.duplicated(subset=['A', 'B'], keep=False)
duplicates_count = mask.sum()
if duplicates_count / len(df) > threshold:
    df.loc[mask, :] = np.nan

# 显示处理后的DataFrame
print("\n处理后的DataFrame:")
print(df)