删除python vaex中的重复行

import vaex

# 读取数据
df = vaex.from_csv('your_data.csv')

# 删除基于所有列的重复行
df_unique = df.drop_duplicates()

# 如果只想基于特定列判断重复，例如 'column1' 和 'column2'
df_unique = df.drop_duplicates(['column1', 'column2'])

# 将结果保存到新的 CSV 文件
df_unique.export_csv('your_data_unique.csv')

import vaex

df = vaex.from_csv('your_data.csv')

# 基于所有列去重，保留每组的第一条记录
df_unique = df.groupby(df.columns.tolist(), agg={'__index_level_0__': 'first'}).drop(columns=['__index_level_0__'])

# 或者基于特定列去重，例如 'column1' 和 'column2'
df_unique = df.groupby(['column1', 'column2'], agg={'__index_level_0__': 'first'}).drop(columns=['__index_level_0__'])

# 导出结果
df_unique.export_csv('your_data_unique.csv')

import vaex

df = vaex.from_csv('your_data.csv')

# 获取 'column_name' 列的唯一值
unique_values = df['column_name'].unique()

# 根据唯一值过滤原数据
df_unique = df[df['column_name'].isin(unique_values)]

# 导出结果
df_unique.export_csv('your_data_unique.csv')

import vaex

df = vaex.from_csv('your_data.csv')

# 重置索引
df_reset = df.reset_index()

# 删除重复行（基于所有列）
df_unique = df_reset.drop_duplicates()

# 如果基于特定列去重，可以结合使用 `drop_duplicates`
df_unique = df_reset.drop_duplicates(subset=['column1', 'column2'])

# 导出结果
df_unique.export_csv('your_data_unique.csv')