Google Datalab:我可以查询Google Cloud Datastore来训练模型的数据吗？
Google Datalab是Google Cloud提供的一种交互式工具，用于数据探索、分析和可视化。它基于Jupyter笔记本，提供了一个方便的环境来处理和分析数据。
关于你的问题，Google Datalab可以查询Google Cloud Datastore来训练模型的数据。Google Cloud Datastore是一种高可扩展的NoSQL数据库服务，适用于存储非结构化数据。它提供了快速、可靠和持久的数据存储，并且可以与Google Datalab无缝集成。
通过Google Datalab，你可以使用Python编程语言来查询和处理Google Cloud Datastore中的数据。你可以编写代码来检索、过滤和转换数据，然后使用这些数据来训练模型。Google Datalab还提供了丰富的数据可视化功能，可以帮助你更好地理解和分析数据。
推荐的腾讯云相关产品：腾讯云数据库TencentDB、腾讯云人工智能AI Lab、腾讯云物联网IoT Hub等。
更多关于Google Datalab的信息和使用方法，你可以访问腾讯云官方网站的相关文档：Google Datalab产品介绍。
相关·内容
我计划使用Google Datalab创建一个ML模型。我计划将源数据(json，结构化的)保存在数据存储上。 尽管如此，我仍然没有找到很多关于如何从datalab查询数据存储的示例。这是可以做到的吗？这是一个很好的实践吗？我是否应该更好地编写一个流程，将训练数据发送到Google Cloud Storage上的CSV？ 谢谢!
浏览 15提问于2019-04-27得票数 0
回答已采纳
我正在使用Google Cloud Datalab notebook训练我的tensorflow模型。我想要保存训练好的模型以进行离线预测。然而，我对如何保存模型一无所知。我应该使用任何tensorflow模型保存方法吗?或者有什么datalab/google云存储特定的方法可以这样做吗？在这方面的任何帮助都是非常感谢的。
浏览 0提问于2017-06-07得票数 2
我试图从安装几个GCP组件，并且总是得到相同的错误：
$ gcloud components list
Your current Cloud SDK version is: 146.0.0
The latest available version is: 146.0.0
┌─────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│
浏览 11提问于2017-03-09得票数 60
回答已采纳
在修复之后，appengine团队推荐使用x86 Linux源代码来安装在ARM环境中，比如raspberry pi 3。
下载gcloud sdk之后，当我在raspberry pi上运行gcloud components list时，我会得到以下组件列表
+------------------------------------------------------------------------------------------+
| Components
浏览 0提问于2017-11-05得票数 3
1回答
我试图得到模型的列表，在最常用的模型中，模型的顺序是递减的。这就是我尝试过的，因此far.This client查询集给出了模型及其属性/属性的详细信息，其中包括与模型相关的详细信息：实体计数、内建索引计数、内建索引大小、数据大小、复合索引大小、复合索引计数、总大小。但是没有关于写频率和/或任何关于数据库put()或save()操作的分析的细节。
from google.cloud import datastore
import math
def run_quickstart():
# [START datastore_quickstart]
# Imports the Go
浏览 0提问于2018-05-12得票数 3
回答已采纳
我是谷歌云平台的新手。我已经在Cloud Datalab中编写了我的代码，并在使用数据进行训练后将模型保存在datalabs笔记本中。我想将保存的模型下载到本地计算机中，并使用它进行进一步的预测。我将模型保存在本地计算机中，并尝试使用它运行预测。但是我收到一个错误，说“NotFittedError:找不到训练过的模型在”。有人能告诉我如何解决这个问题吗？
浏览 4提问于2017-06-06得票数 2
回答已采纳
我正在使用Cloud Datalab笔记本中的Cloud ML在云中训练一个模型。我想用来对模型进行局部评估。
%mlalpha train
package_uris: $package_path_local
python_module: trainer.task
args:
eval_data_paths : ...# local or gs://
在所有情况下(本地或远程)我得到以下错误：
Restore called with invalid save path: u'[path to checkpoint file]'. File path is: u'[
浏览 2提问于2016-12-17得票数 0
3回答
我是Google Cloud平台的新手，在DataLab的Jupyter notebook上上传了一些机器学习代码。
我的问题是，虽然我安装了Google Cloud Storage (使用命令：pip install --upgrade google-cloud-storage)，但我无法导入它。
下面是我导入这个包的方法：
>>import numpy
>>import pandas as pd
>>from google.cloud import storage
但是我得到了以下错误：
()中的 ImportErrorTraceback
浏览 64提问于2018-08-30得票数 4
1回答
我试图按最常读的模型的递减顺序来获得模型的列表。这就是我尝试过的，因此far.This客户端查询集给出了模型及其属性/属性的详细信息，这些模型相关的详细信息包括：实体计数、内置索引计数、内置索引大小、数据大小、复合索引大小、<code>E 110</code>复合索引计数<code>E 211<//code>。但是没有关于读频率的细节。
from google.cloud import datastore
import math
def run_quickstart():
# [START datastore_quickstart]
浏览 0提问于2018-05-22得票数 2
回答已采纳
在Google AppEngine(GAE)环境中，我可以如下所示将Protobuf字节串转换回数据存储模型：
from google.appengine.ext import db
byte_str = ....
model = db.model_from_protobuf(byte_str.decode("base64"))
在GAE之外，我通常使用google-cloud-datastore客户端访问数据存储模型：
from google.cloud import datastore
...
client = datastore.Client(project_id)
浏览 0提问于2018-01-24得票数 2
我正在使用Google的Datalab服务，使用的是Google管理的计算机引擎(默认)，我想调用我的Google Datastore的API。指向使用from google.appengine.ext import db库。
但是当我在datalab代码块中执行它时，我得到的是ImportError: No module named appengine.ext。
我意识到这很可能意味着Datalab计算引擎上的，我的问题是，我如何才能从Datalab笔记本访问我的Datastore命名空间？
浏览 0提问于2015-12-21得票数 0
当我将查询函数运行到datastore仿真器时，它只是开始执行而不停止。不会抛出错误，也不会抛出任何东西。CPU是沉重的，直到我刚刚结束工作。我确实设置了环境变量，甚至手动为我的查询函数提供了apiEndpoint。
const datastore = new Datastore({
apiEndpoint: "http://localhost:8081"
});
SDK的输出如下：
执行: cmd SDK\google-cloud-sdk\platform\cloud-datastore-emulator\cloud_datastore_emulat
浏览 0提问于2020-03-18得票数 0
1回答
我在ndb中使用了
现在，我必须将数据保存为模型，并从中获取数据。
$query = $datastore->query()
->kind('warehouse');
$result = $datastore->runQuery($query);
仓库有名称和地址字段
而且这个查询运行良好。
当我试着这个
use Google\Cloud\Datastore\Query\Query;
$query = $datastore->query()
->kind('warehouse')->order('
浏览 0提问于2020-03-25得票数 0
回答已采纳
我已经创建了一个dataproc集群，并使用更新后的init操作来安装datalab。 所有工作都很好，除了当我从Datalab笔记本查询Hive表时，我遇到了 hc.sql(“””select * from invoices limit 10”””)
"java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found" exception 创建集群 gcloud beta dataproc clusters create ds-cl
浏览 67提问于2019-05-02得票数 3
我正在Google平台上使用Datalab，并且试图用google.datalab.bigquery创建一个BigQuery数据集，这时我发现我需要只在google.cloud.bigquery库中的.Client方法。
bigquery库的datalab版本和云版本有什么不同？
datalab是云库的精简版本，还是有不同的用途？
浏览 0提问于2018-06-24得票数 3
回答已采纳
我有一个机器学习笔记本，我想上传到Datalab，这样我就可以更快地训练我的模型。我的训练数据并不大，并且位于谷歌云存储存储桶中，可供Datalab访问。我的模型训练成本很高，所以我想使用云计算资源。似乎如果我可以将我的笔记本放入Datalab，我就可以从GCS存储桶位置读取数据，而不是从本地存储中读取数据，这样我就可以进行快速模型训练了！
在Datalab界面上有一个'Upload‘按钮，当我点击它时，它什么也不做。
非常感谢您的指导！
浏览 13提问于2017-08-03得票数 1
我在Google App Engine中执行Firestore查询时遇到问题。插入成功。但是，当他试图运行一个简单的查询时，我得到了以下错误：
com.google.cloud.datastore.DatastoreException: no matching index found.
at com.google.cloud.datastore.spi.v1.HttpDatastoreRpc.translate(HttpDatastoreRpc.java:128)
at com.google.cloud.datastore.spi.v1.HttpDatastoreRpc.translate(H
浏览 4提问于2019-12-08得票数 0
我们正在试图弄清楚如何在GCP中托管和运行许多现有的scikit-learn和R模型(按原样)。似乎ML引擎是Tensorflow的专用引擎。如果数据集太大而无法放入datalab，我如何在Google云平台上训练scikit-learn模型并管理我的模型？我仍然可以使用ML Engine吗?或者大多数人是否采取了不同的方法？
作为更新，我能够通过将其作为训练作业提交给ML引擎来获得训练scikit-learn模型运行的python脚本，但是还没有找到托管酸洗模型或将其用于预测的方法。
浏览 1提问于2017-04-21得票数 2
我试图将Go应用程序迁移到运行时go112，但是dev_appserver.py抛出了以下错误：
RuntimeError: Unknown runtime 'go112'; supported runtimes are 'custom', 'go', 'go111', 'java', 'java7', 'java8', 'php55', 'php72', 'python', 'python-compat', '
浏览 5提问于2019-10-21得票数 2
回答已采纳
我有一些严重的问题，了解为什么模拟器不会导入导出的存储数据，我要给它。它一直在抛出一个内存错误。有什么帮助/想法吗？
这些日志是在尝试运行命令时由防火墙-调试器提供的日志: firebase模拟器:start-import=./production_data_export
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(Unknown Source)
at java.nio.ByteBuff
浏览 10提问于2022-05-04得票数 0
我使用Docker Image 'google/cloud-sdk‘，并在容器中使用命令gcloud builds submit --tag gcr.io/my-project/my-repo。
但是这个命令会导致下一个错误ERROR: gcloud crashed (FileNotFoundError): [Errno 2] No such file or directory: './proc/42/task/42/fdinfo/5'。
我还使用了命令gcloud beta run deploy，这就是成功。
如果有人知道这个问题，请告诉我。
环境
google/cl
浏览 2提问于2020-01-30得票数 0
有人可以告诉我如何使用runQuery方法通过Google Cloud Datastore REST API v1来执行gqlQuery的语法吗？我只需要帮助理解REST API的查询结构，而不需要Google OAUTH或设置Cloud Datatore的帮助。我在下面包含了一个指向文档、要运行的示例gqlQuery和云数据存储结构的链接。
方法: projects.runQuery
Example gqlQuery = ("Select * From Customer")
谷歌DataStore结构示例
id = "78090499534213120"
浏览 0提问于2017-02-07得票数 2
1回答
无法从GKE访问数据存储资源
、、、、
我在GKE中部署了一个应用程序，它对数据存储进行后端调用，以便将crud operations.Added云数据存储所有者角色执行到承载gke的服务帐户。
当我请求调用后端数据存储的任何端点时，我得到的是以下excpetion：
com.google.cloud.datastore.DatastoreException: Unauthenticated. at com.google.cloud.datastore.spi.v1.HttpDatastoreRpc.translate(HttpDatastoreRpc.java:138) ~[google-cloud-datastore-1.105
浏览 3提问于2021-01-15得票数 0
回答已采纳
我是Google Cloud Platform.I的新手，我已经在datalab上训练了我的模型，并将模型文件夹保存在云存储上的存储桶中。通过右键单击file --> save as链接，我可以将存储桶中的现有文件下载到我的本地计算机。但是，当我尝试通过与上面相同的过程下载文件夹时，我得到的不是文件夹，而是它的图像。有没有什么方法可以让我按原样下载整个文件夹及其内容？是否有gsutil命令可以将云存储中的文件夹复制到本地目录？
浏览 430提问于2017-06-07得票数 15
回答已采纳
10回答
我正在按照来安装cloud SDK。完全按照步骤进行，
1) python -V返回"Python 2.7.10“
2)使用./install.sh下载并解压google-cloud-sdk return中的64位版本的SDK。
Welcome to the Google Cloud SDK!
To help improve the quality of this product, we collect anonymized usage data
and anonymized stacktraces when crashes are encountered; additional i
浏览 3提问于2017-09-11得票数 36
我在窗户的环境中工作。
我正在构建一个网站来发送查询到数据存储和显示值。我还拥有kind="SpecialTest"下的数据，这些数据通过Node.js自动保存。现在我想查询Python中的数据。
我从命令行安装了google-cloud-datastore。
但我不能和数据存储建立联系。
我的代码：
from google.cloud import datastore
cli=datastore.Client(project="My_project_I")
query4= cli.query(kind="SpecialTest").order(
浏览 3提问于2017-03-28得票数 1
回答已采纳
1回答
我试图使用以下命令连接到datalab：
datalab connect <datalab name> --no-user-checking
它提供了以下错误消息：
Connecting to <datalab name>.
This will create an SSH tunnel and may prompt you to create an rsa key pair. To manage these keys, see https://cloud.google.com/compute/docs/instances/adding-removing-ssh-keys
浏览 0提问于2018-10-25得票数 1
今天，在使用Google运行的灵活环境"compat“中运行的代码经历了java.net.SocketTimeoutException: Timeout，同时在另一个GAE项目中获取将项插入数据存储的URL。
此外，Dataflow当时未能插入项目；几乎可以肯定也存在同样的问题。
这也发生在简单的键查询上，所以它不是一个沉重的数据问题。
在此之前和之后，确实正确插入了许多其他数据；包括对相同数据重新运行。
谷歌搜索错误表明它可能是由Google中的停机引起的，但Google状态仪表板显示为绿色。
是什么引起的？我们将来怎样才能避免呢？
com.freightos.backup.data
浏览 1提问于2016-11-27得票数 0
回答已采纳
我试图从中执行一些示例代码，将一个示例音频文件转换为文本，但是我得到了一个错误消息，这是没有意义的。
我已经经历了所有的步骤：
创建项目
启用语音到文本API
创建服务帐户
下载私钥作为JSON文件
我打开终端(版本2.9.4 (421.1.1)) MacOS 10.14.4
我执行以下代码来设置环境变量：export GOOGLE_APPLICATION_CREDENTIALS="[PATH]" (路径是我下载的JSON文件的位置)
然后，我创建他们说要创建的JSON请求文件，这基本上是获取示例音频文件的说明。
然后，在初始化gcloud并确保
浏览 0提问于2019-05-10得票数 1
回答已采纳
当我试图安装时，我遇到了一个错误：
$ sudo apt-get update
...
Ign:18 http://packages.cloud.google.com/apt cloud-sdk-sylvia/main Translation-en
Reading package lists... Done
W: The repository 'http://packages.cloud.google.com/apt cloud-sdk-sylvia Release' does not have a Release file.
N: Da
浏览 0提问于2018-02-11得票数 2
我正在使用谷歌应用引擎和谷歌数据存储。我正在使用google库
com.google.cloud.datastore.Datastore
我的示例代码是：
Datastore datastore = DatastoreOptions.getDefaultInstance().getService();
Key taskKey = datastore.newKeyFactory().setKind(entityName).newKey(id);
//populate some fields....
datastore.put(task);
我用弹簧靴和码头作为集装箱.
在本地，它正在正常工作，并
浏览 3提问于2018-02-28得票数 2
回答已采纳
我使用名称标识符设置了一个实体：
Namespace: [default]
Kind: Cocktail
Name: martini
我有一个Google Cloud函数：
// Imports the Google Cloud client library
const Datastore = require('@google-cloud/datastore');
const projectId = 'my-project-name';
const datastore = Datastore({
projectId: projectId
});
expor
浏览 7提问于2018-07-27得票数 1
我已经使用GCP Datalab训练了一个模型，并将其托管在Cloud ML Engine上，现在正在尝试从该模型请求预测。由于某些原因，我收到下面的错误。
RuntimeError: Prediction failed: Error during model execution: AbortionError(code=StatusCode.INVALID_ARGUMENT, details="NodeDef mentions attr 'dilations' not in Op<name=Conv2D; signature=input:T, filter:T -
浏览 8提问于2018-02-28得票数 1
1回答
我使用一个string属性(名称)和一些示例数据集创建了一个简单的数据存储(项目)。
当我使用gql时，我可以选择__key__并通过__key__属性进行查询。
但是当我从nodejs中选择数据时，__key__属性是空的。
问题
设置：
const datastore = require('@google-cloud/datastore')({
projectId: 'my-project',
keyFilename: `path/to/keyfile.json`
});
不工作：选择所有具有只键查询的数据集：
const query = datas
浏览 3提问于2017-05-29得票数 0
回答已采纳
我一直在玩google datalab，很难连接到notebook
我可以成功创建/启动实例，但通常notebook不可用
$ datalab create [instance]
Connecting to [instance].
This will create an SSH tunnel and may prompt you to create an rsa key pair. To manage these keys, see https://cloud.google.com/compute/docs/instances/adding-removing-ssh-keys
Waiting
浏览 10提问于2018-01-31得票数 0
回答已采纳
如何为通过Google Cloud Datalab中的BigQuery API执行的查询设置计费级别？
浏览 0提问于2016-09-06得票数 0
我试图在DataStore中插入一条记录，并按照谷歌自己的检索它。向上插入有效，但检索无效。过时了吗？还会有什么问题吗？
错误:3 INVALID_ARGUMENT:键路径元素不能是不完整的:任务：
插入：
import { Datastore } from '@google-cloud/datastore'
const datastore = new Datastore()
const taskKey = datastore.key('Task');
const task = {
category: 'Personal',
浏览 4提问于2022-10-04得票数 1
回答已采纳
1回答
如何在jupyter服务和其他服务(Google或git存储库)之间同步笔记本？
关于这个问题的一些背景资料：
目前，我正在从谷歌的Datalab移动到我自己的容器。我的动机是更多地控制数据区域(Datalab只在美国提供)和软件包，因为我想使用当前的Tensorflow版本。
基于谷歌()的想法，我构建了自己的码头形象，并在谷歌容器引擎中的Kubernetes集群上运行它。GCP包可以作为安装。谷歌使用node.js服务器将GIT与datalab实例同步--然而，我无法在欧盟的一个自部署容器中运行该服务器。
第二次尝试是GCSFuse driver。这个版本不适用于非私密容器，比如Kuber
浏览 1提问于2016-04-21得票数 1
1回答
我试图在我的Dataproc集群上安装木星笔记本/ Datalab，但是没有效果。
我遵循本教程：
一步
我创建了一个名为datalab-init-bucket-001的新GS桶，并将datalab.sh脚本从GitHub 上传到那里
然后通过gcloud命令使用--initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'启动Dataproc，整个命令如下所示：
gcloud dataproc create cluster-test --subnet default --zone &#
浏览 1提问于2018-03-19得票数 1
回答已采纳
我正在复习谷歌云Coursera课程中的这些示例，尽管它们直到几周前还有效，但我不能再在Datalab上安装tf.transform或apache_beam。
在安装tensorflow_transform时，我得到以下错误：
%bash
pip install --upgrade --force tensorflow_transform==0.6.0
twisted 18.7.0需要未安装的PyHamcrest>=1.9.0。datalab 1.1.3有six==1.10.0需求，但是你有6个1.11.0是不兼容的。gapic-google-cloud-pubsub-v1 0.1
浏览 23提问于2018-08-29得票数 0
可以在Dataproc集群上运行Google Cloud Datalab中的代码吗？
这个想法是使用Datalab提供的强大的交互性和接口来运行Apache Spark代码。
浏览 5提问于2016-07-11得票数 4
1回答
我正在研究如何在安卓应用程序上结合使用TensorFlow和Google Cloud ML。我已经从这篇文章中找到了这个，而且我在谷歌上已经找到了什么，我总是必须部署一个经过训练的模型(即Tensorflow Graph?)第一?没有办法使用Google Cloud ML在这个云中发送数据值和训练TensorFlow模型吗？
因此，唯一的方法是:部署一个模型，将数据值发送到google云并接收预测？
谢谢
浏览 1提问于2016-12-17得票数 0
我正在使用下面的查询(com.google.cloud.datastore.Query)获取数据存储实体(com.google.cloud.datastore.Entity)的列表。我无法将Datastore实体对象映射到我的自定义Java对象。任何建议都会有很大帮助。谢谢。 Query<Entity> query = Query.newEntityQueryBuilder()
.setNamespace("abc")
.setKind("ca")
.s
浏览 17提问于2020-06-26得票数 0
2回答
我在我的Windows机器上创建了一个本地Google数据库模拟器。当我运行模拟器时，我得到以下输出：
C:\Users\susan\AppData\Local\Google\Cloud SDK>gcloud beta emulators datastore start --project=susantestproject
WARNING: Reusing existing data in [C:\Users\susan\AppData\Roaming\gcloud\emulators\datastore].
Executing: cmd /c C:\Users\susan\AppDat
浏览 2提问于2016-04-09得票数 3
回答已采纳
我想得到/放到GCE上的数据存储。但是，有两个数据存储客户机库:googledatastore和google.cloud.datastore。
googledatastore和google.cloud.datastore有什么区别？
浏览 0提问于2018-02-23得票数 0
回答已采纳
3回答
实体原型
、、、、
我正在尝试将apache的google用于ReadFromDatastore
p = beam.Pipeline(options=options)
(p
| 'Read from Datastore' >> ReadFromDatastore(gcloud_options.project, query)
| 'reformat' >> beam.Map(reformat)
| 'Write To Datastore' >> WriteToDatastore(gcloud_optio
浏览 1提问于2017-05-22得票数 2
回答已采纳
我的数据存储类型以5列为索引。
当我使用java API查询带有3个索引过滤器的类型时：
RunQueryRequest.Builder request = RunQueryRequest.newBuilder();
request.setPartitionId(partitionId);
GqlQuery gqlQuery= GqlQuery.newBuilder()
.setQueryString(query)
.setAllowLiterals(true)
.
浏览 15提问于2018-03-01得票数 0
我们试图通过用java编写的数据流作业来连接数据存储服务，但是由于datastore SDK错误，我们面临着问题。
我们正在使用eclipse在本地机器上使用directrunner运行该作业。
代码：
import java.net.SocketTimeoutException;
import org.apache.beam.sdk.options.PipelineOptions;
import com.google.cloud.datastore.Datastore;
import com.google.cloud.datastore.DatastoreOptions;
public
浏览 0提问于2018-08-02得票数 0
回答已采纳
嘿大家好，
上下文:在2021年年底，我让这个dev_appserver设置开始工作，当我再次尝试设置它时，我得到了一些奇怪的错误。BadArgumentError: app must not be empty.
到目前为止，我已经解决了很多错误，这就是我现在的情况：
安装JDK 1.11+ (用于Cloud Datastore Emulator)
安装了Golang 1.15+ (用于gops和dev_appserver.py - go build)
Gcloud组件：
我这样运行我的dev_appserver：
export DATASTORE_DATASET=d
浏览 13提问于2022-09-09得票数 1
回答已采纳
2回答
有一种方法可以使用Node.js和Google Cloud Datastore获取所有数据。
var query = ContactModel.query();//contact model is a schema which instantiates gstore schema
query.run().then((result) => {
const response = result[0];
var entities = response.entities;
callback('',entities);
});
有没有办法使用N
浏览 5提问于2017-03-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
