GCS文件锁定查询

文章/答案/技术大牛

发布

1回答

python-3.x、google-cloud-platform、google-cloud-storage

我们正在使用GCS (谷歌云存储)，我想知道https://cloud.google.com/appengine/docs/standard/python/googlecloudstorageclient/read-write-to-cloud-storage中描述的使用打开/关闭的方法是否会锁定文件，使其他操作期间无法访问它？我是一个新手，目前我发现的第一个方法是使用import cloudstorage as gcs中的downl

浏览 21提问于2019-02-19得票数 0

3回答

在使用Google平台时，Terraform状态锁定的机制是什么？

google-cloud-platform、terraform、google-cloud-storage、terraform-provider-gcp

什么是谷歌云平台机制锁定状态文件时，使用Terraform？就像AWS上的DynamoDB . 谢谢

浏览 0提问于2018-11-21得票数 11

回答已采纳

1回答

导致0B图像上载到GCS的NSURLSession

ios、swift、nsurlsession、nsurlsessionuploadtask

我正在使用一个配置为后台会话的NSURLSession将多张图片上传到GCS中的一个存储桶中。在一次测试中，使用了26张图片，每张图片大约10MB。session.uploadTask(with: request, fromFile: file) task.resume() } 最终，GCS

浏览 10提问于2020-04-30得票数 2

1回答

Apache钻取S3 :未选择默认模式

apache-drill

我正在尝试使用Apache查询存储在s3上的json数据。我的桶是在美国东部(北弗吉尼亚)创造的。我使用S3链接为创建了一个新的存储插件。

浏览 0提问于2018-02-23得票数 0

1回答

直接将BigQuery查询结果写入GCS --是否有可能？

google-bigquery、google-cloud-storage、google-cloud-platform

我尝试了bq命令行工具，但它似乎无法直接将结果写入GCS。我能看到的唯一方法就是：我正在寻找一种直接将结果写入GCS的方法。

浏览 4提问于2016-08-10得票数 2

回答已采纳

0回答

谷歌云存储中的代号是否允许您识别版本创建的顺序？

google-cloud-storage

我想知道您是否可以在GCS中做一些类似于乐观锁定的事情--如果我同时编写相同的文件，我想确定哪个文件是最先写入的--这样做的一种方法是，如果代号是连续的，或者有办法让我知道哪个文件是最先写入的。

浏览 1提问于2017-12-01得票数 1

回答已采纳

1回答

Terraform状态文件锁定GCP数据存储区和GCS后端示例

google-cloud-platform、terraform

我想知道是否有人可以通过GCP中的数据存储来处理GCS上的Terraform锁状态文件，就像在亚马逊网络服务中使用S3后端和DynamoDB表所做的那样。如果是这样的话，请举例说明如何做。

浏览 0提问于2020-02-26得票数 1

1回答

刷新存储桶中的数据

google-cloud-platform、google-bigquery、google-cloud-storage

我通过上传同名文件并覆盖它来替换Google Cloud Storage Bucket中的数据。但是，当我在Big query中查询文件时，它仍然显示旧数据。如何让Big Query再次获取文件并覆盖数据？

浏览 16提问于2020-07-03得票数 0

1回答

从BigQuery获取数据回到

google-analytics、google-cloud-platform、google-bigquery

这一过程是：将此表作为文件导出，并将其上传到GA帐户作为查询时间导入。

浏览 0提问于2018-03-08得票数 1

回答已采纳

1回答

在应用程序引擎外的gcs桶上实现非递归列表的更简便的方法

google-app-engine、google-cloud-storage

我有一个gcs文件层次结构，桶下面有几个目录，每个目录都有大量的文件。我想查询我的桶并返回所有目录。我目前在应用程序引擎之外，所以我使用的是google-api-services-storage sdk，但是似乎list查询正在返回每个叶文件。正如我在一开始所说的，由于我的目录的数量相当小，但是每个目录中的文件数量很大，我真的希望在执行清单时，我不需要触及每个目录中的内容。(通过这样说，我知道gcs中实际上没有“目录”，只是用不同的命名层次来文

浏览 1提问于2016-02-23得票数 2

回答已采纳

2回答

为什么两个小GC之间有多个“停止应用程序线程的总时间”日志？

java、garbage-collection

如果我想知道我的申请在GCs期间停止的总时间，我应该把所有这些日志中的时间加起来吗？

浏览 3提问于2011-07-29得票数 12

3回答

如何将GCS中的csv随机样本导出到BigQuery

google-cloud-platform、google-bigquery、google-cloud-storage

我正在使用位于400M+存储桶中的大型CSV ( GCS )。我需要获取此csv的随机样本，并将其导出到BigQuery进行初步探索。我在网上找遍了，似乎找不到任何能解决这个问题的东西。

浏览 3提问于2021-06-07得票数 1

2回答

如何根据映射文件更新大查询数据？

python、pandas、google-bigquery、google-cloud-functions、google-cloud-storage

我有一个存储在Gcs中的映射文件和一个很大的查询表。Algeria Zoe 4635 PALD5 Canada Cmm 2588 XZUP 但是映射文件每次都会改变，我正在寻找一个解决方案，如果映射文件改变了，我的BQ表值也应该根据每个映射文件进行更新。有没有其他方法可以做到这一点，像在BQ表中引用我的映射文件或任何其他解决方案这项任务将是很好的。

浏览 6提问于2021-10-12得票数 0

2回答

如何获取存储在云存储和blobstore中的文件的文件名？

google-cloud-platform、google-cloud-storage、blobstore

对于一个应用程序，我已经在blobstore和云存储上上传了文件。())当文件上传到云存储时，会自动为其分配一个长文件名。()属性的种类执行的GQL查询的结果。cloud_store.append(gcs_link)TypeError: Must provid

浏览 3提问于2017-11-23得票数 0

1回答

Bigquery导出拆分为多个文件和一些空文件

json、google-bigquery、export、external-tables

我试图使用bigquery导出功能以json格式将数据推送到GCS。在流程结束时，为了验证GCS文件中导出的记录的计数，我正在创建一个外部表，其中包含自动模式检测，以获取导出的GCS文件中的记录计数。在查询外部表时，空文件会导致错误：“400Schema没有字段”。请提出以

浏览 3提问于2020-07-15得票数 3

3回答

如何最好地处理应用程序引擎中写入中间表的大型查询结果

google-app-engine、google-bigquery

我们正在运行大型查询作业，其中响应大小为128米，BigQuery会引发“响应太大，无法返回。请考虑在作业配置中将allowLargeResults设置为真”错误。问题是，处理写入中间表的结果的最佳方法是什么：也使用排队的任务从中间表中查

浏览 2提问于2016-01-08得票数 3

回答已采纳

1回答

此ST_pointN函数用于从表的几何列中检索点

postgresql

我在PostgreSQL中执行以下查询时遇到了问题。select * 在这里，我试图从名为"texas_roads_gcs它给出了文件夹错误。ERROR: syntax error at or near "from" LINE 1: ...t * from st_astext(st_pointn(texas_roads_gc

浏览 8提问于2017-07-03得票数 0

回答已采纳

1回答

BigQuery上传API -是否有添加多个nullMarkers的方法？

python、google-bigquery

来自可选指定表示CSV文件中的空值的字符串。例如，如果指定"\N"，BigQuery在加载CSV文件时将"\N“解释为空值。默认值是空字符串。我使用的文件非常大，将"-“替换为”-“是没有效率的。反之亦然。

浏览 1提问于2018-12-18得票数 2

回答已采纳

1回答

谷歌DataProc Presto:如何将Presto查询结果写入谷歌云存储？

google-cloud-storage、presto、google-cloud-dataproc

我的数据存储在google云存储(GCS)中，我可以使用Presto查询它。但是，我没有找到将查询结果写回GCS的方法。如果我登录到主节点并从那里运行Presto命令，我可以写入hdfs，但它不能识别任何GCS位置。如何将Presto查询结果写入GCS？

浏览 23提问于2019-05-04得票数 4

1回答

为数据库中的多个表调度单个nifi进程组

scheduler、apache-nifi

我在Nifi中创建了一个流程组，其要求如下：现在我有3000张表，上面的流程需要排定。是否有任何方法只对所有表使用单个流，而不是为每个表创建3000个流。提前谢谢

浏览 0提问于2018-05-25得票数 1

点击加载更多