1回答
我之前使用下面的代码将数据从bigquery导入到GCP中的AI notebook实例。由于未知的原因，它停止工作并给出以下错误："ImportError:无法从'google.cloud‘(未知位置)导入名称'bigquery_storage_v1beta1’“。它可能是在我开始克隆我的github存储库之后开始的(我删除了AI笔记本实例以避免收费)，但我不能确定。有
浏览 14提问于2020-08-11得票数 1
回答已采纳
我知道Python可以将数据从GCP BigQuery导入到朱庇特笔记本。我正在寻找从GCP (无论是Cloud还是BigQuery)直接导入数据到R的方法。谢谢你的建议。
浏览 2提问于2020-04-20得票数 0
回答已采纳
我想使用R代码而不是SQL或DBI来对BigQuery连接进行编程，而不是下载表。 我想使用R代码而不是SQL或DBI来编程。目前我已连接到BigQuery，但我正在使用的表格太大，无法下载。我想知道是否有一种方法可以在数据库中使用R代码进行查询。我尝试过的Google搜索只显示了如何使用SQL和DBI (在R中)进行查询，但我想使用R语言。有没有一种方法可以在R中做到这一点，就像在BigQuery或SAS中使用SQL一样？
浏览 18提问于2019-10-17得票数 0
我在谷歌AI平台笔记本(PN)中得到了一个数据帧，我想将其传输到谷歌BigQuery中的一个表中。
我知道可以使用: df.to_gqb()，但这需要pandas_gbq的pip安装。
浏览 19提问于2019-11-15得票数 0
回答已采纳
我正在向GCP AI平台培训服务提交一份培训工作。我的训练数据集(在同一个GCP项目中的BigQuery表上大约有4000万行)需要在培训工作开始时作为熊猫数据预处理，所以我尝试了提出的两种解决方案。：client.query(query).to_dataframe(bqstorage_client=bqstorage_client)
这两种方法都可以在一个人工智能平台笔记本虚拟机上工作，在几分钟内将整个4000万行数据集作为
浏览 8提问于2020-05-14得票数 3
1回答
我有一个GCP项目，我可以允许用户做他们想做的任何事情:他们可以启用新组件，他们可以将数据上传到BigQuery/Cloud等等。他们唯一不能做的就是创建VM。但我不想让他们下载数据，因为这是敏感数据。他们可以随心所欲地探索和处理GCP内部的数据(这是一个分析项目)，但是他们不应该能够下载这些数据。问题是:我们知道我们可以阻止用户通过BigQuery下载数据。但他们可以很有创意。他们可以在
浏览 3提问于2021-05-06得票数 0
只是想知道是否有可能不只是从基于CSV的数据集为顶点AI功能存储，但也从地板或三角洲文件格式。当尝试从GCP中导入数据集时，它提供的唯一选项来自BigQuery或CSV。有没有人知道是否有一个API/插件/其他方法，可以通过它直接将拼板或增量文件加载到顶点AI功能存储中？
谢谢!
浏览 7提问于2021-11-23得票数 1
1回答
现在，我有一个带有2个笔记本的AI笔记本实例(一个用于训练模型，一个用于预测，并保存到BigQuery表以供进一步使用)。我需要每周进行一次训练和预测(或者一个月只训练一次)，而且我每周都要做一次。我每周都会通过气流DAG准备我的数据，所以我所需要的就是：
我研究了一些选项，如
浏览 10提问于2022-11-20得票数 0
我正在使用AI平台Notebook实例设置数据科学家。对于每个用户，我将“访问Jupter Lab”权限设置为“仅限单个用户”。默认情况下，实例将拥有默认gce服务帐户的权限。我认为，即使是Jupyter笔记本中使用的GCP Python客户端库(例如Python BigQuery库)也会自动设置为默认的gce服务帐户--这是正确的吗？我的默认计算引擎服务帐户的权限非常广泛，我想创建一个具有更多受限权限的新服务帐户，例如，只能访问BigQuery，并且
浏览 0提问于2020-05-12得票数 0
我正在运行一个带有服务帐户的AI平台笔记本实例。我已经成功地将另一个用户添加到我的项目中，但是对于新用户来说，这似乎太牵扯到启动我们的共享笔记本了。我冒险进入了Google。如果我通过项目仪表板将它们添加到我的项目中，那么是否有一种简单的方法来启动笔记本实例？我没有从文件中找到多少。谢谢。
浏览 2提问于2022-01-27得票数 2
回答已采纳
我想导出一个90 TB的BigQuery表到。根据的说法，BigQuery存储API (beta)应该是因为与其他方法相关联的导出规模配额(例如ExtractBytesPerDay)。该表是按日期划分的，每个分区占300 GB.我有一个运行在GCP上的Python笔记本，它通过这个从改编的脚本运行分区(并行)。rows = reader.rows(session)我尝试使用将表作为AVRO文件保存到我的AI实例中，然后
浏览 4提问于2020-05-20得票数 1
下面的堆栈溢出提到Google平台笔记本是Google的升级版本。在下面的Quora 中，一位架构师提到Cloud构建在Jypyter之上。场景？
Cloud是否也提供了Python、Tensorflow或R环境的预装包，比如AI</
浏览 3提问于2020-01-13得票数 3
我需要通过本地机器上的应用程序代码访问GCP bigquery中的数据集。无法同时从云外壳和windows cmd设置它。带有密钥的json文件当前存储在下载文件夹中。
以sns形式进口海运
导入</em
浏览 1提问于2019-08-04得票数 0
回答已采纳
如何将使用GCP Dataprep完成的数据预处理连接到AutoML工作流？
Dataprep允许您使用GUI进行一些数据预处理，并将数据流配方与预处理任务一起导出。此外，您还可以将数据写回到导出的文件中，返回到GCS或BigQuery。但是，如何将所有部分连接起来，使其成为自动部署的AI平台模型的一部分？生成的多通道管道可能如下所示: GCS -> Dataprep -> Dataflow -> BigQu
浏览 20提问于2019-07-15得票数 0
2回答
我正在使用云数据流将数据从发布/订阅消息导入到BigQuery表中。我使用DynamicDestinations，因为这些消息可以放入不同的表中。$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:765) at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryS
浏览 4提问于2019-02-16得票数 4
我正在尝试使用BigQuery在GCP的AI笔记本上运行SQL查询。我想计算来自单独数据集中的表的不同行数，并将其添加到不同数据集中的表的列中。 不确定这是否可能。%%bigquery SET var1 = (SELECT COUNT(DISTINCT var2)
浏览 8提问于2021-07-26得票数 0
回答已采纳
我是BigQuery和GCP的新手。我正在使用BigQuery中可用的(大型)公共数据集，运行一个SQL查询--它基于一个简单的where子句从dataset中的一个表中选择一组数据。然后，我将对获得的数据执行额外的操作。我只需要每月运行一次这个查询，其他操作就需要更频繁地运行(每小时)。我的问题是，每次我这样做，都会导致BigQuery处理4+百万行数据，而运行这个查询的成本对我来说是快速增加的。有没有方法可以运行SQL查询并将数据
浏览 3提问于2019-12-30得票数 2
回答已采纳
我在GCP - AI平台上通过JupyterLab使用Jupyter笔记本已经有一年了。我的内存太少，所以我停止了实例，调整了RAM的大小，启动了实例(在GCP控制台>计算引擎> VM实例)。一旦完成此操作，通常在GCP Console > AI Platform >Notebook中可用的打开JupyterLab链接将不可点击(见下图)。 ? 我当然已经重启了，重置实例没有成功。我在运行的机器上安装了SSH，并且还重新启动了Jupyter服务 sudo serv
浏览 13提问于2021-01-04得票数 0
我使用的是GCP AI平台Notebook实例和Jupyterlab。虚拟机(VM)具有一个启动磁盘和另一个SSD磁盘。我想从SSD磁盘中读取数据。但是，jupyter笔记本电脑看不到SSD磁盘。我将磁盘挂载到/home/jupyter下的目录中。尽管如此，jupyter笔记本仍然无法看到SSD的内容(我通过从笔记本运行shell命令验证了这一点)。然而，从终端上看，一切都是完全可见的。如何从笔记本电脑访问SSD？
浏览 23提问于2020-07-16得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号