我正在寻找帮助设计一个用python编写的数据流管道，以读取存储在GCS上的多部分压缩Json文件，以加载到BigQuery。源无法为我们提供文件/表的架构。因此，我正在寻找一个自动检测选项。如下所示： autodetect=True,
source_format=bigquery.SourceFor
浏览 25提问于2021-02-17得票数 1
我想创建beam数据流作业来从GCS加载数据到Bigquery，我将在GCS的不同文件夹中有100s的文件，可以在GCS的不同文件夹中加载文件，是否可以在beam代码中创建源数据集和表。我的最终目标是创建管道，将数据从GCS加载到Bigquery，谢谢。
浏览 10提问于2021-02-23得票数 0
回答已采纳
我一直试图在我的项目中执行Dataflow管道(Python)，其中我的GCP帐户分配了"Owner“角色。
最后，将结果数据加载到GCS中。根据我的理解，Dataflow工作者使用默认的计算引擎服务account(-compute@developer.gserviceaccount.com
浏览 1提问于2021-08-20得票数 0
有没有办法从Cloud Function (最好是基于python )运行Google Data Fusion管道？gcloud函数部署hello_<
浏览 3提问于2019-07-23得票数 1
1回答
postGreSQL在AWS上，我从一个Amazon实例中调用python。两者都很大，而且速度很快。我目前没有使用多个处理器，尽管有16个可用。
浏览 1提问于2018-07-10得票数 0
需要存储在某个地方(bigquery?)在那里我可以请求并发送给用户。用户应该只能得到一个唯一的代码，这是事先没有使用的。
我需要获得一个代码并编写它的能力，所以下一个请求得到下一个代码.
浏览 4提问于2021-04-13得票数 0
回答已采纳
如何在流模式下将数据从AWS加载到Google BigQuery？描述:我有RDS ( Server)中的数据，并希望将这些数据实时加载到Google BigQuery中。
浏览 9提问于2020-02-18得票数 1
回答已采纳
我有一个Google桶，一个遗留系统将需要加载到NEW_LINE_DELIMITED_JSON中的BigQuery文件放在其中。我编写了Google函数，它接受JSON文件并将其加载到BigQuery。该函数可以很好地处理示例JSON文件--问题是遗留系统正在生成一个带有非标准密钥的JSON： "id": 12345,
"@address&
浏览 7提问于2018-01-12得票数 1
回答已采纳
我有一组带有JSON格式数据的不同模式的.txt文件，所有这些数据都要加载到一个通用的bigquery表中。文件格式很简单，一组文件将有4列，有些列有5列，有些文件有相同的5列，但顺序不同。"}‘
文件夹3 '{"name":"Janice"，"age":31，"zip":"12345"，"city&quo
浏览 2提问于2020-10-01得票数 0
回答已采纳
2回答
我在Google云存储中有大量json文件，我想将这些文件加载到Bigquery中。平均文件大小为5MB，未压缩。问题是它们不是新分隔的行，所以我不能像bigquery那样加载它们。我是否应该使用Google函数或数据准备，或者只是旋转一个服务器，让它下载该文件，重新格式化它并将其上传回云存储，然后上传到Bigquery？
浏览 0提问于2018-12-05得票数 2
回答已采纳
我正在实现一个ETL作业，它将非分区的BigQuery表迁移到分区的表。为此，我使用了来自BigQuery的Storage。这将创建许多要从其中提取数据的会话。为了将BigQuery写入路由到正确的分区，我使用了File方法。由于30天的限制，流插入是不可行的。存储写API似乎是有限的，识别分区。
通过驻留到File方法，数据将被写入GCS。在幕后，文件加载方法是一个复杂的方法，有多个步骤。例如，写入GCS并将条目组
浏览 4提问于2022-09-12得票数 1
我有一条数据流管道，在本地运行。目的是使用TEXTIO读取JSON文件，进行会话并将其加载到BigQuery中。根据这种结构，我必须在GCS中创建一个临时目录，然后使用该目录将其加载到BigQuery中。以前，我有一个数据模式错误，无法加载数据，请参阅。这个问题已经解决了。因此，现在当我在本地运行管道时，它会将一个临时的JSON换行符分隔文件转储
浏览 0提问于2016-12-31得票数 0
回答已采纳
我正在创建一个数据融合管道，以便将csv数据从GCS加载到BigQuery。对于我的用例，我需要创建一个属性宏，并在运行时提供值。需要了解如何将模式文件作为宏传递到BigQuery接收器。如果我只是简单地将json模式文件路径传递给Macros值，我会得到以下错误。JSON :架构无效:使用JsonReader.setLenient(true)接
浏览 14提问于2019-05-23得票数 2
回答已采纳
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。
浏览 1提问于2021-06-03得票数 1
回答已采纳
4回答
我的GCS 上有~300 GCS文件，最终我试图将它导入BigQuery，但是它有一些错误的数据结构(我是mongoexport从MongoDB获得的)
字段名"$date“无效。因此，现在我的方法是从GCS逐行读取源文件，并使用python将每一行处理后的代码上传到BigQuery。下面是简单的阅读器，我把它们放在一起用原始大文件中的100行示例进行
浏览 5提问于2018-10-09得票数 3
回答已采纳
我看到您可以使用此服务将跨数据源的数据集成到数据池中。最终，我希望这些数据可以在BQ中获得。在加载到BQ之前，我的第一站将是，这样我就有了一个数据的不变副本。/root/table_2我首先试图了解是否使
浏览 1提问于2020-10-28得票数 0
回答已采纳
2回答
我希望使用GCP中的云函数将GCS中的>=4 GB数据传输到BigQuery。有可能这样做吗？我尝试使用mkfile命令创建一个临时的5 gb数据文件，并尝试上传到GCS。这是否意味着GCS不能处理超过特定文件大小的文件。
在我所引用的文档：中，我了解到GCS处理多达5 TiB的数据。那么为什么上传5GB的数据需要很长时间。是否可以通过云功能处理4GB以上的数据从GC
浏览 3提问于2021-08-12得票数 0
回答已采纳
我使用Aapche Beam (带有数据流运行程序)下载二进制文件(天气预报，大约300个文件)，然后解码它们，然后将结果存储为CSV，然后将CSV加载到BigQuery中。---------- -------------- -------------------
| Download | ---> | Decode | ---> | CSV in GCS| ---> | CSV to B
浏览 0提问于2018-02-13得票数 2
回答已采纳
1回答
比如说，在Dataflow/Apache程序中，我正在尝试读取数据呈指数增长的表。我想提高阅读的性能。或如果我只是在表中选择所需的列，而不是上面的整个表，那么我的读取性能会提高吗？
浏览 1提问于2019-01-29得票数 4
回答已采纳
我使用DynamicDestinations (来自BigQueryIO)将数据从一个Cassandra表导出到多个Google表。这个过程包括几个步骤，包括将准备好的数据写入(作为JSON格式的文件)，然后通过加载作业将文件加载到BQ。
问题是，导出过程在最后一步(从加载文件到BQ)时出现内存不足错误。但是还有一些准备好的文件，GCS中的所有数据都还保留着。Bi
浏览 1提问于2018-02-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
