腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1924)
视频
沙龙
5
回答
Pandas
/
Google
BigQuery
:
模式
不
匹配
导致
上传
失败
、
、
我的
google
表中的
模式
如下所示: price_datetime : DATETIME,bid_open : FLOAT,ask_high : FLOAT,ask_close : FLOAT 在我执行
pandas
.read_gbq通过执行以下操作: df['price_datetime'] = df['pric
浏览 44
提问于2017-07-06
得票数 4
回答已采纳
1
回答
使用
BigQuery
与数字数据类型的谷歌load_table_from_dataframe
模式
冲突(吡箭头错误)
、
、
、
当我将数字数据(int64或float64)从
Pandas
数据Type
上传
到“数字”谷歌
BigQuery
数据类型时,我得到了以下错误: df_data_f['tt'] = df_data_f['tt'].astype('float64')df_data_f['tt'
浏览 4
提问于2020-04-25
得票数 3
回答已采纳
2
回答
向
BigQuery
写入数据的GCP云函数成功运行,但数据未出现在
BigQuery
表中
、
、
但是,当我查询
BigQuery
时,没有添加任何数据。我没有错误,也没有迹象表明它不起作用。from
google
.cloud import
bigquery
Row_list.append(my_list) client =
bigquery
.Client打印出-&
浏览 0
提问于2020-03-25
得票数 3
1
回答
REGEX_MATCH
模式
适用于除
Google
Data Studio以外的任何地方
、
、
、
我正在尝试理解在
Google
Data Studio的REGEX_MATCH中使用的REGEX的实现。我有一个非常简单的
模式
,它在
Google
Data Studio中不会
匹配
,但在
BigQuery
和等站点上会成功some.job.run | SUCCESS: [{"object_1":20}, {"object_2":0}] (列表中有更多项目) 在
BigQuery
中,我可以用以下命令
匹配</
浏览 4
提问于2018-12-13
得票数 1
回答已采纳
3
回答
使用
Pandas
或命令行
上传
到
BigQuery
时出现奇怪的重复字段错误。所有字段唯一
、
、
我还为json格式的数据创建了一个
模式
。我将其存储为python字典,并将其写入文件。21 QUAL QUAL23 RS RS 使用
Pandas
/upload/
bigquery
/v2/projects/eacri-genomics/jo
浏览 4
提问于2020-10-22
得票数 2
回答已采纳
1
回答
从Python到
BigQuery
重复字符串
、
我正在使用
BigQuery
应用程序使用
Google
。 bq.SchemaField("keywords", "STRING", mode="REPEATED")这是我的密码:from datetime import date from
google
.cloud im
浏览 0
提问于2019-04-11
得票数 2
回答已采纳
2
回答
使用
Google
-Colab (python)追加到
Bigquery
表
、
、
、
我正在尝试使用Colab将数据
上传
到GCP
bigQuery
表。然而,在初始
上传
之后,我很难添加额外的数据。主要如bq所说,我的数据与
模式
不
匹配
。我希望得到一些帮助,如何下载表
模式
并使用它来
上传
数据?谢谢
浏览 3
提问于2021-09-23
得票数 0
1
回答
Bigquery
(和熊猫)-确保数据-插入一致性
、
、
、
、
在我的python项目中,我需要用关系数据填充
bigquery
表。在从头开始创建一个新表时,我遇到了很大的困难,并且确信我
上传
到它的第一批数据实际上已经放到了表中。有人知道如何确保在
bigquery
新创建的表中完全插入DataFrame吗?谢谢
浏览 1
提问于2017-12-11
得票数 2
回答已采纳
1
回答
Google
BigQuery
:在Python中,列加法使所有其他列都为空
、
我有一个已经存在于以下
模式
中的表: "schema": { { "name":{'full_name': 'Karen Walker', 'zipcode': '63021'} 我的代码
浏览 1
提问于2020-06-19
得票数 0
回答已采纳
1
回答
如何将字符串值数组从
Pandas
写入
、
、
、
、
我目前正在尝试将(Python3.x)写入
Google
。该表有一个带有dtype对象的列,该列包含一个字符串值数组。I的目标是创建一个BQ表,该表维护嵌套的表结构,如下所示:和以下
模式
:所用代码: 根本不提
浏览 3
提问于2020-03-06
得票数 6
1
回答
如何使用Python中的API将引号(“)上载到
BigQuery
表
、
我需要
上传
一个记录从平面文件到
BigQuery
表。(“),因为它而
导致
上传
失败
。
bigquery
_client =
bigquery
.Client()table = dataset.table# See https://cloud.
google
.com/
bigquery
浏览 1
提问于2017-08-14
得票数 1
回答已采纳
1
回答
谷歌
BigQuery
在加载作业上的ignoreUnknownValues选项上的意外行为(接收额外列的错误)
、
、
在
Google
BigQuery
中,我使用气流触发负载作业。源文件由多个NDJSON文件组成。 例外情况:
BigQuery
作业
失败
。最后一个错误是:{“原因”:“无效”,“消息”:“提供的架构与表私有
不
匹配
。无法添加字段(字段:source_fingerprint)”}。无法添加字段(字段: source_fingerprint)'},‘错误’:[{‘原因’:
浏览 8
提问于2020-02-14
得票数 0
1
回答
使用命令行将多个CSV从本地源
上传
到GBQ
、
、
、
、
我在
Google
Cloud SDK Shell上组装了一个for循环,它将把当前目录(在我的本地计算机上)中的每个CSV
上传
到一个单独的谷歌
BigQuery
表中,所有这些都在同一个数据集中。
浏览 3
提问于2020-04-20
得票数 0
9
回答
将
Pandas
DataFrame写到或
BigQuery
、
、
、
我正在
Google
平台/ Datalab中开发一个木星笔记本。我已经创建了一个
Pandas
DataFrame,并且希望将这个DataFrame写到(GCS)和/或
BigQuery
中。bucket_path = bucket_name bucket.exists() 我尝试过基于
Google
文档的各种方法,但仍然
失败
。
浏览 14
提问于2016-03-30
得票数 47
回答已采纳
1
回答
将python3.10与venv一起使用时,脚本
失败
: ModuleNotFoundError:没有名为'
google
‘的模块
我想使用python3.10作为
匹配
模式
特性。我之前在带有wsl2的ubuntu20.04上使用python3.8,没有问题。使用python3.10时,从
google
.cloud导入脚本
失败
为了安装python3.10,我这样做了:添加sudo add- apt -repository ppa:deadsnake/ppa/usr/bin/python3.10# Constru
浏览 71
提问于2021-05-11
得票数 0
1
回答
BigQuery
无法解析avro文件
、
我需要在
Google
的大查询中使用avro
模式
文件创建一个空表,但是没有这样做.我已经编写了以下示例
模式
文件 "namespace": "tutorialspoint.com", "name": "emp", {"name": "name", "type&
浏览 0
提问于2019-05-26
得票数 0
1
回答
将可变结构的JSON加载到
Google
BigQuery
中,重复和可空的问题
我正在尝试将
Google
JSON文件加载到200k+
BigQuery
中。数据集是出纳员数据,在一些交易中使用一张折扣凭证,在一些交易中使用一张以上的凭证,而在其他交易中不使用凭证。加载时,我得到一个错误:'***': Invalid schema update.Field PromoPtn has changed mode from REPEATED to NULLABLE 如何在
BigQuery<
浏览 2
提问于2017-05-04
得票数 0
1
回答
使用load_table_from_dataframe()用datetime对象存储数据文件时的
模式
冲突
、
、
、
我正在尝试将数据从
Pandas
DataFrame加载到
BigQuery
表中。DataFrame有一个dtype datetime64[ns]列,当我尝试使用load_table_from_dataframe()存储df时,我得到 CREATE TABLE `[table name]` (.values.astype('datet
浏览 0
提问于2018-11-16
得票数 1
回答已采纳
2
回答
如何使用to_gbq()将数据帧写入数据分区BQ表的特定分区
、
我有一个数据帧,我想把它写到分区的BQ表中。我使用to_gbq()方法来做这件事。我可以替换或追加现有的表,但不能使用to_gbq()写到表的特定分区
浏览 3
提问于2018-06-24
得票数 4
2
回答
来自数据流的
BigQuery
流以静默方式
失败
、
、
、
、
我有一个成功的管道,使用在计算实例上运行的云dataflow将数据从pub/sub传输到
bigquery
,而不是在实际的dataflow运行器上运行。今天我已经更新了BQ表
模式
,似乎没有发生新的插入。我可以查看机器上的日志,一切正常- dataflow没有报告任何错误。 有没有办法从
bigquery
访问流日志以检查错误。编辑:总结我的问题是,我是否能够从apache beam SDK或
bigquery
获得更详细的日志记录,以查看这些数据的结束位置。
浏览 22
提问于2019-11-22
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
从Lambda到无Lambda,领英吸取到的教训
SHOPLINE推出Feed管理工具“Smart Feed”,促进店铺流量获取
5个机器学习API
正则表达式灾难性回溯
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券