如何从S3中的130,000+ Json文件中快速提取信息？

import boto3
import pandas as pd

# 初始化S3客户端
s3_client = boto3.client('s3')

# 定义存储桶名称和前缀
bucket_name = 'your-bucket-name'
prefix = 'your-prefix/'

# 列出所有文件
response = s3_client.list_objects_v2(Bucket=bucket_name, Prefix=prefix)

# 提取文件键
file_keys = [item['Key'] for item in response.get('Contents', [])]

# 并行处理文件
for key in file_keys:
    # 下载文件
    obj = s3_client.get_object(Bucket=bucket_name, Key=key)
    data = obj['Body'].read().decode('utf-8')
    
    # 解析JSON
    json_data = pd.read_json(data)
    
    # 提取信息（示例：提取所有'name'字段）
    extracted_info = json_data['name'].tolist()
    
    # 存储提取的信息（示例：保存到新的S3存储桶）
    s3_client.put_object(Bucket='destination-bucket', Key=key + '_extracted_info.json', Body=str(extracted_info))