我已经上传了一个.avro文件到谷歌云存储，大约100MB。它是从800MB的.csv文件转换而来的。在BigQuery web界面中尝试从该文件创建表时，几秒钟后出现以下错误：
script: Resources exceeded during query execution: UDF out of(error code: resour
浏览 3提问于2016-07-20得票数 2
我正在使用java，试图将avro文件中的数据加载到BigQuery中。创建外部表时，BigQuery会自动从.avro文件中检测架构。在为要加载的数据创建常规BigQuery表时，是否有一种方法在GCS中指定模式/数据文件？
先谢谢你
浏览 1提问于2018-08-23得票数 0
回答已采纳
3回答
我正在尝试在Hive中创建一个外部表，并在BigQuery中创建另一个表，使用与Spark编写的Avro格式存储在Google Storage中的相同数据。我使用的是带有Spark 2.2.0、Spark-avro 4.0.0和Hive 2.1.1的Dataproc集群
Avro版本/包之间有相同的差异，但如果我使用Hive创建
浏览 30提问于2017-12-18得票数 1
我需要在Google的大查询中使用avro模式文件创建一个空表，但是没有这样做.我已经编写了以下示例模式文件 "namespace": "tutorialspoint.com", "name": "emp", {"name": "name&
浏览 0提问于2019-05-26得票数 0
在尝试将json文件加载到bigquery时。我得到以下错误：“发生内部错误，无法完成请求。错误: 8822097”。这是与达到bigquery每日负载限制有关的错误吗？如果有人能给我一个错误的词汇表，那就太棒了。
浏览 3提问于2018-08-30得票数 1
最近，我想在bigquery中运行一个查询，在某些表(表名适合xxx_mst_yyyymmdd)上使用"group“，.The行将超过1000万行。不幸的是，查询失败了，出现了以下错误：
查询失败错误:在查询执行期间超出了资源。我用我的查询语言做了一些改进，随着数据的增加，这个time.But可能不会发生错误，这个错误也会出现在我检查了最新版本的Bigquery<
浏览 2提问于2015-11-03得票数 1
我已经创建了一个avro-hive表，并使用hive insert-overwrite命令将数据从另一个表加载到avro-table中。我可以看到avro-hive表中的数据，但当我尝试将其加载到bigQuery表中时，出现错误。;Error encountered dur
浏览 5提问于2017-12-27得票数 1
自9月15日以来，当从驱动器创建数据库表时，BigQuery不再建议使用GOOGLE_SHEET文件格式。取而代之的是新的格式类型: Avro、JSONL、CSV、Parquet、ORC和云数据存储备份。通过粘贴CSV或Avro格式的电子表格的URL来创建表时，BigQuery会发送错误消息：Failed to create table: Undefined pa
浏览 40提问于2021-09-16得票数 0
我在存储桶中有100多个Avro文件，我想在BigQuery数据集中为这些文件创建表，即每个avro文件一个表。一旦创建<
浏览 5提问于2022-07-08得票数 0
我是第一次摆弄avro文件。
我得到了很多带有编码数据的csv文件，并对应该发送到BigQuery的数据进行了python处理。最后，我用csv数据得到了我在avsc中收到的模式节拍。现在我明白了，我需要在BigQuery中创建将接收此数据的表。我只是尝试创建一个空表并插入收到的模式，但失败了。我得到以下信息：“读取数据时出错，错误消息: Apa
浏览 2提问于2019-11-26得票数 0
我有一个100 GB的表，我正试图加载到google bigquery中。它在GCS上存储为一个100 GCS的avro文件。当前，我的bq load作业失败，并显示一条无用的错误消息：我在考虑尝试一种不同的格式。我知道
浏览 0提问于2019-04-02得票数 3
Google BigQuery在上“在BigQuery API或命令行工具中增加了对Avro源代码格式的加载操作和联邦数据源的支持”。基本上，我是从一个表中提取并插入到同一个表中，这会导致一个内部错误。
此外，我还有Java程序，它执行相同的操作(从表X提取并加载到表X)，结果相同(内部错误)。在Java中，如果我从</
浏览 5提问于2016-04-20得票数 1
回答已采纳
我见过
但是distcp的问题是，它会将数据从hdfs移动到gs..and --我的表是ORC格式的。到目前为止，bigquery还声称只支持JSON、CSV、AVRO。因此，需要帮助将数据从单元表(ORC格式)传输到BigQuery(任意格式)。
浏览 1提问于2018-02-13得票数 2
回答已采纳
我试图导入从BigQuery导出的数据作为AVRO，压缩数据作为泄气。这两种编码中唯一通用的编码是“除无”之外的“紧缩”。_open_data gs://staging/covid19_open_data/avro_deflate/covid19_open_data_2_*.avro
该命令在GCP中创建17个文件。当我使用命令查询文件中</
浏览 2提问于2021-08-12得票数 1
我们正在使用Google进行数据转换，我们的所有数据都驻留在Dataproc Hive表中。如何将这些数据传输/移动到BigQuery。
浏览 5提问于2017-12-20得票数 1
我将apache-beam SDK从2.5.0更改为2.12.0，并在使用python从beam中的Big Query中读取表时出现了Avro模式错误。 BQ表有一个时间戳字段，其他字段是字符串。data = pipe \ beam.io.BigQuerySo
浏览 15提问于2019-07-01得票数 3
回答已采纳
我对BigQuery相当陌生，但是直到1-2天前，我才能够从Avro文件(都在欧盟地区)创建和附加到现有的BigQuery表。到目前为止，我只使用web。我只是尝试从一个新生成的Avro文件中创建一个新表，并得到了同样的错误，详情如下：Start Time Aug 4, 2016, 3:
浏览 1提问于2016-08-04得票数 0
我正在将一个java应用程序从Hadoop/Hive移植到Google /BigQuery。应用程序将avro文件写入hdfs，然后在文件之上创建一个/多个分区的Hive外部表。我在BigQuery docs中找不到对创建外部表的支持，所以我转而使用java库。我设法创建了一个外部表，但在传递给调用
浏览 0提问于2018-08-17得票数 0
回答已采纳
1回答
我正在设计一种数据管道，以便将我的Hive表迁移到BigQuery中。Hive运行在前提集群上的Hadoop上。这是我目前的设计，其实很简单，只是一个shell脚本：
创建
浏览 6提问于2017-10-26得票数 4
BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。
可以加载到时间戳中的时间戳-micros整数在BigQuery日期时间中无效。我找不到解释什么在
浏览 3提问于2016-11-17得票数 5
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号