使用pandas将时间戳插入bigquery表

要将时间戳数据插入 Google BigQuery 表中，您可以使用 Python 的 pandas 库结合 google-cloud-bigquery 库。以下是一个完整的示例，展示如何将包含时间戳的 DataFrame 插入到 BigQuery 表中。

步骤

1. 安装所需库： 确保您已经安装了 pandas 和 google-cloud-bigquery。您可以使用以下命令安装它们：

pip install pandas google-cloud-bigquery

• 设置 Google Cloud 凭据： 确保您已经设置了 Google Cloud 的服务账户凭据。您可以通过设置环境变量 GOOGLE_APPLICATION_CREDENTIALS 来指定 JSON 凭据文件的路径：

export GOOGLE_APPLICATION_CREDENTIALS="path/to/your/service-account-file.json"

1. 创建 DataFrame 并插入到 BigQuery： 下面是一个示例代码，展示如何创建一个包含时间戳的 DataFrame，并将其插入到 BigQuery 表中。

import pandas as pd
from google.cloud import bigquery

# 创建 BigQuery 客户端
client = bigquery.Client()

# 创建一个示例 DataFrame
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'timestamp': [pd.Timestamp('2023-01-01 10:00:00'),
                  pd.Timestamp('2023-01-02 11:30:00'),
                  pd.Timestamp('2023-01-03 12:45:00')]
}

df = pd.DataFrame(data)

# 指定 BigQuery 表的完整路径
table_id = 'your_project.your_dataset.your_table'

# 将 DataFrame 插入到 BigQuery 表中
# 如果表不存在，可以使用 `write_disposition` 参数设置为 `bigquery.WriteDisposition.WRITE_TRUNCATE` 或 `bigquery.WriteDisposition.WRITE_APPEND`
job = client.load_table_from_dataframe(df, table_id)

# 等待作业完成
job.result()

print(f'Loaded {job.output_rows} rows into {table_id}.')

代码说明

• 创建 DataFrame：我们创建了一个包含 name 和 timestamp 列的 DataFrame。timestamp 列使用 pd.Timestamp 来确保数据类型正确。
• BigQuery 客户端：使用 bigquery.Client() 创建一个 BigQuery 客户端。
• 指定表 ID：您需要将 table_id 替换为您自己的项目、数据集和表的名称。
• 插入数据：使用 load_table_from_dataframe 方法将 DataFrame 插入到指定的 BigQuery 表中。
• 等待作业完成：调用 job.result() 来等待插入作业完成。

注意事项

1. 时间戳格式：确保 DataFrame 中的时间戳列是 datetime 类型，pandas 会自动处理时间戳格式。
2. BigQuery 表结构：确保 BigQuery 表的结构与 DataFrame 的列匹配，特别是时间戳列的类型应为 TIMESTAMP。
3. 权限：确保您的服务账户具有对 BigQuery 的写入权限。