,可以通过以下步骤实现:
import pandas as pd
import glob
glob
模块获取所有CSV文件的文件路径:file_paths = glob.glob('*.csv')
merged_data = pd.DataFrame()
merged_data
中:for file_path in file_paths:
data = pd.read_csv(file_path)
merged_data = pd.concat([merged_data, data], axis=0)
merged_data = merged_data.drop_duplicates(subset=['column1', 'column2'])
至此,多个CSV文件的数据已经合并到了一个唯一的数据框merged_data
中,并且根据共享的两列进行了去重操作。
对于这个问题,腾讯云提供了一系列适用于数据处理和分析的产品和服务,其中包括云数据库 TencentDB、云服务器 CVM、云原生容器服务 TKE、人工智能平台 AI Lab 等。具体推荐的产品和产品介绍链接如下:
以上是腾讯云提供的一些适用于数据处理和分析的产品和服务,可以根据具体需求选择相应的产品进行数据处理和存储。
领取专属 10元无门槛券
手把手带您无忧上云