如何在BigQuery强制字符串类型中加载拼图文件？

文章/答案/技术大牛

发布

1回答

string、google-bigquery、parquet

我想只使用所有属性的字符串类型将数据从拼图文件加载到BigQuery中。我想强制所有数据保持字符串类型，以避免将来由于类型与其他文件不兼容而导致的加载失败。我有不同类型的拼图文件：STRING, FLOAT... 并且我已经创建了一个仅具有字符串类型的bigquery

浏览 19提问于2021-11-03得票数 1

1回答

利用Avro/Parquet将地理数据导入BigQuery

google-cloud-platform、google-bigquery、gis、avro、parquet

目前，我使用拼图文件将数据导入BigQuery (地理信息系统)。其中一个拼图文件包含几何列，将几何数据表示为WKT字符串(MultiPolygon)，我想将该列作为GEOGRAPHY类型导入。我希望避免使用CSV文件，并手动提供模式定义。然而，即使我首先创建了空表，并且只想添加新的拼图文件，它也不起作用：Provided Schema does not match Table <org>-interna

浏览 29提问于2018-09-18得票数 3

回答已采纳

1回答

bq命令将拼图文件从GCS加载到BigQuery，列名以数字开头

google-bigquery

我使用bq命令将拼图文件加载到BigQuery中，我的parquet文件包含以数字开头的列名(例如，00_abc、01_xyz)。由于BigQuery不支持列名开始编号，所以我已经在BigQuery中创建了列，如_00_abc、_01_xyz。但是，我无法使用bq命令将拼图文件加载到BigQuery。是否有任何方式指定源列00_abc (从par

浏览 15提问于2022-05-13得票数 2

1回答

将数据从配置单元镶嵌表迁移到BigQuery时，配置单元字符串数据类型将转换为BQ字节数据类型

hive、google-bigquery、parquet

我正在尝试将数据从Hive迁移到BigQuery。蜂房表中的数据是存储在拼图文件format.Data类型的一列是字符串，我正在上传的文件背后的蜂房表谷歌云存储和创建图形用户界面的BigQuery内部表。导入表中列的数据类型正在转换为字节。但是当我导入CHAR of VARCHAR数据类型时，结果数据类型仅为字符串。有没有人能帮我解释一下为什么会这样。

浏览 4提问于2018-11-06得票数 2

1回答

如何使用DLP api从存储桶(GCS)中读取镶木地板文件，并将其识别到特定的列？

google-cloud-platform、google-cloud-dlp

下面是我的JSON对象，用于DLP API调用，用于屏蔽GCS上存储桶上的拼图文件上的特定数据列。当调用dlp.deidentify_content()方法时，我要传递项目给它，不确定如何传递拼图文件，我已经提到了拼图文件的路径。parent, inspect_config=inspect_config,我正在尝试完成的是掩蔽镶木文件，这是在GCS桶和掩码少数列，并

浏览 9提问于2019-10-03得票数 1

2回答

可以在亚马逊网络服务S3上的拼图文件上编写/运行BigQuery吗？

google-bigquery

我们想要检查外部商店拼图文件的BigQuery性能。这些拼图文件存储在亚马逊网络服务的S3上。在不传输文件到GCP的情况下，可以编写可以在亚马逊网络服务S3存储的拼花面板文件数据集上运行的BigQuery。

浏览 0提问于2020-03-03得票数 0

1回答

大型查询无法将字符串转换为时间戳

apache-spark、google-bigquery

我有一个publishTs表，其中一列( BigQuery )是timeStamp。我正在尝试使用GCP UI BQ upload选项将一个拼图文件上传到同一个表中，该选项具有相同的列名(publishTs)和字符串数据类型(例如“2021-08-24T16:06:21.122Z”)，我正在使用Apache Spark生成拼图文件。我试着在网上搜索，但没有得到答案。

浏览 28提问于2021-09-28得票数 0

回答已采纳

1回答

google提供的数据流批处理模板不起作用

google-cloud-platform、google-bigquery、google-cloud-dataflow、apache-beam、avro

我想在% 1中运行示例。org.apache.beam.repackaged.direct_java.runners.core.SimpleDoFnRunner$DoFnProcessContext.output (SimpleDoFnRunner.java:401) at org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO

浏览 1提问于2021-01-06得票数 0

2回答

如何从数据存储从代码导入数据到BigQuery

google-bigquery、google-cloud-datastore、google-cloud-platform

我希望实现一个管道，其中我将数据存储在Cloud中，然后在BigQuery中增量地读取它，将Bigquery数据转换为Tf记录，然后运行ML算法。我没有一种将json文件导入数据存储并从Python代码将数据再次导出到Bigquery的清晰方法。

浏览 1提问于2017-12-12得票数 1

1回答

如何将AVRO文件中的整数值加载到bigquery中的date列？

google-bigquery、avro

它展示了如何将avro文件中的整数列加载到包含时间戳字段的BigQuery表中。我也有一个类似的问题。有没有办法将avro文件中的整数值加载到bigquery的date列中？由于avro不支持日期数据类型，我尝试将日期作为字符串字段保存在avro中，并尝试将其加载到BigQuery的日期字段中。但这是行不通的

浏览 1提问于2017-05-25得票数 2

1回答

将DataFrame加载到BigQuery表时出错(pyarrow.lib.ArrowTypeError：<class 'str'>类型的对象不能转换为int)

python、pandas、numpy、google-bigquery、pyarrow

我在GCS中存储了一个CSV，我想将它加载到BigQuery表中。但是我需要先做一些预处理，所以我将它加载到DataFrame，然后加载到BigQuery表中。我重新排序了dataframe列的顺序，使其与BigQuery表中的顺序相匹配(不确定是否存在此问题)，并将所有列转换为字符串类型。dtype是字符串，并且得到了另一个错误。更新：我更新了代码，使其仅<e

浏览 17提问于2022-02-21得票数 2

1回答

具有AVRO或Parquet的BigQuery嵌套数组结构

google-bigquery、avro、parquet

我正在尝试将拼图数据加载到Google BigQuery中，以利用高效的列格式，同时(我希望)避免BigQuery在AVRO文件中缺乏对逻辑类型(日期等)的支持。bq mk temp.simple_interval simple_interval_bigquery_schema.json bq load --source_format当我创

浏览 0提问于2018-05-09得票数 0

1回答

当列的string字段收到解析错误时，如何将选项卡分隔的文本文件上载到Big？

parsing、google-cloud-platform、google-bigquery、text-files、delimiter

我有一个~1GB的文本文件，有153个单独的字段。我上传了文件到GCS，然后创建了一个文件格式为"CSV“的BQ中的新表。对于表类型，我选择了“本机表”。对于架构，我选择自动检测。从GCP的文档中，他们建议“如果BigQuery不识别格式，它会以字符串数据类型加载列。在这种情况下，您可能需要在加载源数据之前对其进行预处理”。我的文件中的“邮政编码+4”字

浏览 6提问于2022-02-15得票数 1

回答已采纳

3回答

云数据集中的数据转换

google-cloud-data-fusion、cdap

如何在云数据集中转换字符串到日期？我有一个值为20191120 (yyyyMMdd格式)的列，我想将它作为日期加载到BigQuery中的一个表中。表列数据类型也是日期。到目前为止，我尝试使用“解析作为简单日期”将字符串转换为时间戳，并尝试使用格式日期将字符串转换为“yyyy”，但是这个步骤将字符串转换为字符串，最终加载失败。我甚至试图在o/p模式中显式

浏览 6提问于2019-12-07得票数 2

回答已采纳

1回答

将XML字符串作为列从sql server数据库加载到bigquery返回在查询执行期间超出的错误##400资源

google-bigquery

我正在尝试将XML文件作为字符串从操作数据库(SQL Server)加载到BigQuery中。我犯了以下错误：在查询执行过程中超过400个资源: UDF内存不足；未能读取Parquet文件/bigstore/bigquery-prod-upload-europe-north1/prod-scotty-9ab0ddc4-9166-4a2e-a6fd-fa5adb7948dd.如果文件包含的行太大，或者为

浏览 5提问于2020-01-07得票数 0

3回答

将SQL Server表列及其类型导出到BigQuery表的最简单、最快速的方法是什么？

sql-server、google-cloud-platform、google-bigquery

我在SQL Server中有一个包含120列的表，我必须在BigQuery中复制相同的列名及其类型。在Bigquery中为上述内容逐个创建具有其数据类型的表列需要花费大量时间。

浏览 2提问于2019-12-18得票数 0

1回答

将google云存储中的json文件加载到大型查询表中

json、google-bigquery、google-cloud-storage

我面临的问题是，JSON文件上的时间戳采用Unix时代的时间戳格式，而大型查询无法检测到：所以我想知道该怎么办？在将JSON格式加载到BigQuery表之前，我考虑过手动更改JSON格式。我在网上寻思，还找不到任何有用的东西。提前感谢您的支持。

浏览 3提问于2020-09-14得票数 0

回答已采纳

1回答

将BigQuery表转换为“只读模式”

google-bigquery

我希望确保BigQuery中的表不能再接收任何插入(无论是“加载/批处理”插入还是“流”插入)。(最终目标是实现“主表”和“更新”表的安全合并，如这里所解释的： )。

浏览 4提问于2017-11-01得票数 2

回答已采纳

1回答

如何在将MongoDB json文件加载到Google大查询中时转换数据类型？

json、mongodb、casting、google-bigquery

使用bq加载数据的问题是，例如，我有一个名为cost的字段的字符串和整数值。它的值是0或字符串值"1.0“等等。因此，每个记录的数据类型不同。我目前用于加载数据的是：它给出了以下错误： BigQuery error in load operatio

浏览 0提问于2018-09-02得票数 0

回答已采纳

1回答

谷歌云BigQuery* load_table_from_dataframe() Parquet AttributeError*

python、pandas、google-bigquery

在我的场景中，我在BigQuery中查询一个基表，使用.to_dataframe()，然后将它传递给load_table_from_dataframe()，将其加载到BigQuery中的一个新表中。我最初的问题是str(uuid.uuid4()) (对于随机ID)被自动转换为字节而不是字符串，所以我强制使用一个模式，而不是允许它自动检测要生成什么。不过，现在我传递了一个包含模式的job_config，其中包含一个job_config

浏览 0提问于2018-06-24得票数 1

点击加载更多