Google Cloud Dataproc支持的OSS
Google Cloud Dataproc是Google Cloud平台上的一项托管式大数据处理服务，它支持使用开源的Apache Hadoop、Apache Spark和Apache Hive等工具进行数据处理和分析。在Google Cloud Dataproc中，OSS是指Open Storage Service，它是一种云存储服务，提供了高可靠性、高可用性和高扩展性的对象存储解决方案。
OSS的主要特点包括：
- 可靠性和可用性：OSS采用分布式存储架构，数据会自动在多个设备上进行冗余存储，确保数据的可靠性和可用性。
- 弹性扩展：OSS可以根据用户的需求自动扩展存储容量，无需用户手动干预，大大降低了存储管理的复杂性。
- 安全性：OSS提供了多种安全机制，包括数据加密、访问控制、身份认证等，保障用户数据的安全性。
- 高性能：OSS具备高并发读写能力，可以满足大规模数据处理和分析的需求。
OSS的应用场景包括但不限于：
- 大数据处理：OSS可以作为Google Cloud Dataproc的数据存储，用于存储和处理大规模的结构化和非结构化数据。
- 多媒体存储：OSS可以用于存储和管理音视频文件、图片等多媒体资源。
- 数据备份和归档：OSS提供了数据备份和归档的功能，可以将重要数据备份到云端，保证数据的安全性和可恢复性。
- Web应用程序：OSS可以作为Web应用程序的静态文件存储，提供高可用性和高性能的访问能力。
推荐的腾讯云相关产品：腾讯云对象存储（COS）
腾讯云对象存储（COS）是腾讯云提供的一种高可靠、低成本的云存储服务，与Google Cloud Dataproc中的OSS类似。COS具有与OSS相似的特点和功能，可以满足大规模数据存储和处理的需求。您可以通过以下链接了解更多关于腾讯云对象存储的信息：
腾讯云对象存储（COS）产品介绍：https://cloud.tencent.com/product/cos
请注意，以上答案仅供参考，具体的产品选择和推荐应根据实际需求和情况进行评估。
相关·内容
1回答
无法导入气流供应商软件包
、、、
我无法为谷歌导入气流提供商软件包。我用的命令是
pip3 install apache-airflow-backport-providers-google
它给了我错误
ERROR: Could not find a version that satisfies the requirement apache-airflow-backport-providers-google (from versions: none)
ERROR: No matching distribution found for apache-airflow-backport-providers-google
由于这个原因
浏览 4提问于2020-08-12得票数 5
回答已采纳
1回答
我正在尝试从Python访问Google Cloud集群上的Jupyter文件。我需要google.cloud.dataproc_v1包来做这件事，但是每次我尝试的时候： from google.cloud import dataproc_v1 或 import google.cloud.dataproc_v1 (这是谷歌在他们的文档中提供的)我得到这个错误:n from google.cloud import dataproc_v1 ImportError: cannot import name 'dataproc_v1‘from 'google.cloud’(未知位置)
浏览 6提问于2019-06-28得票数 1
回答已采纳
我正在尝试从dataproc spark作业中获取GCP密钥管理器密码。但是我得到了错误"Exception in thread "main“java.lang.NoClassDefFoundError: com/google/cloud/secretmanager/v1/AccessSecretVersionResponse".我已经在dataproc spark作业依赖项中添加了jar "google-cloud-secretmanager-1.4.2.jar“和"gax-1.62.0.jar”。 我正在使用下面的GCP链接中提到的代码。https
浏览 14提问于2021-03-18得票数 2
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。 参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs/reference/rest/v1beta2/projects.regions.jobs
浏览 41提问于2020-07-01得票数 0
我想知道是否有可能通过查看账单数据来获得用于dataproc实例的计算时数总数。
注:重申一下.我对集群存在的小时数不感兴趣，我想知道计算总时数。
我们将账单数据导出到BigQuery，我运行了以下查询：
select cost_grouping,cast(sum(hours) as int64) as hours
from (
select case when sku_description like 'Licensing Fee for Google Cloud Dataproc%' then sku_description
浏览 1提问于2019-09-13得票数 2
回答已采纳
1回答
我在谷歌云平台上使用星星之火。显然，我正在从文件系统gs://<bucket>/dir/file中读取一个文件，但是日志输出提示
FileNotFoundException：` `gs:/bucket/ dir /file (不存在此类文件或dir)
缺少的/显然是问题所在。我怎么才能解决这个问题？
这是我的密码：
val files = Array(("call 1","gs://<bucket>/google-cloud-dataproc-metainfo/test/123.wav"))
val splitAudio
浏览 2提问于2016-03-03得票数 0
回答已采纳
可以将Talend连接到Google Cloud Dataproc吗？有没有可用的连接器？在上，它说有，但找不到任何与它相关的文档。
如果上述情况属实，我也想知道是否可以使用Talend在Dataproc中的Spark/Hadoop上运行作业。
谢谢。
浏览 1提问于2017-05-16得票数 0
有没有办法将来自Dataproc Spark作业的输出发送到Google Cloud logging？可以在控制台中的Dataproc->Jobs下找到作业驱动程序( Spark作业的主机)的输出。我希望将日志也放在Cloud Logging中有两个原因：
，，我想看看遗嘱执行者的日志。通常，主日志会显示"executor lost“，但没有进一步的详细信息，因此了解有关executor正在做什么的更多信息将非常有用。云日志记录具有很好的过滤和搜索功能
目前，数据过程在云日志中显示的唯一输出是yarn-yarn-nodemanager*和container_*.stderr中的日
浏览 60提问于2015-12-10得票数 16
回答已采纳
我正在尝试使用Dataproc of Airflow从一个Cloud Composer DAG创建一个DataprocCreateClusterOperator集群。我需要从我的Cloud SQL集群访问Dataproc，因此也需要在集群上安装Cloud SQL proxy。我在集群配置中为Cloud SQL Proxy操作符提供了的初始化操作，如下所示：
"initialization_actions": [
{
"executable_file" : "gs://<<some_gcs_bucket&g
浏览 1提问于2022-07-09得票数 2
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback (most recent call last)
<ipython-input-3-fc8862c62c75> in <module>
----> 1 import google.cloud.dataproc_v1 我还尝试了安装包python3 -m
浏览 21提问于2020-09-11得票数 1
我正在尝试使用Python mrjob库在Google Cloud Dataproc上运行Hadoop Map Reduce字数计算示例。但是，mrjob会失败，并出现以下异常： TypeError: __init__() got an unexpected keyword argument 'channel'
Traceback (most recent call last):
File "freq.py", line 21, in <module>
MRWordFreqCount.run()
File "/usr/loc
浏览 36提问于2020-11-01得票数 2
最近，我在尝试在GCP中创建dataproc集群时遇到了偶尔的错误。创建命令类似于：
gcloud dataproc clusters create ${CLUSTER_NAME} \
--zone "us-east1-b" \
--master-machine-type "n1-standard-16" \
--master-boot-disk-size 150 \
--num-workers ${WORKER_NODE_COUNT:-9} \
--worker-machine-type &
浏览 4提问于2018-08-28得票数 2
回答已采纳
我遵循这个，通过Dataproc将作业提交给现有的Dataproc集群。
对于以下代码行：
// Configure the settings for the job controller client.
JobControllerSettings jobControllerSettings =
JobControllerSettings.newBuilder().setEndpoint(myEndpoint).build();
我收到以下错误：
SEVERE: Servlet.service() for servlet [dispatcherServlet] in
浏览 27提问于2022-01-09得票数 3
回答已采纳
1回答
我试图在我的Dataproc集群上安装木星笔记本/ Datalab，但是没有效果。
我遵循本教程：
一步
我创建了一个名为datalab-init-bucket-001的新GS桶，并将datalab.sh脚本从GitHub 上传到那里
然后通过gcloud命令使用--initialization-actions 'gs://datalab-init-bucket-001/datalab.sh'启动Dataproc，整个命令如下所示：
gcloud dataproc create cluster-test --subnet default --zone &#
浏览 1提问于2018-03-19得票数 1
回答已采纳
我正在尝试使用库在Dataproc中创建一个集群，然而，当设置region = 'us-central1'时，我得到以下异常：
google.api_core.exceptions.InvalidArgument: 400 Region 'us-central1' is invalid.
Please see https://cloud.google.com/dataproc/docs/concepts/regional-endpoints
for additional information on regional endpoints
代码(基于)：
#!/u
浏览 9提问于2018-11-21得票数 2
是否有人已经使用任何可用的HBase odbc驱动程序在Google Cloud Dataproc中连接到Google Bigtable？如果是，您能说出您使用的是哪种ODBC吗？谢谢
浏览 3提问于2018-01-29得票数 2
我正在尝试通过jupyter运行一个PySpark作业，我需要创建一个函数来运行该作业。我需要传递一个jar文件，我正在试图弄清楚如何做到这一点。我确实在上面找到了一些文档：https://cloud.google.com/dataproc/docs/reference/rpc/google.cloud.dataproc.v1#google.cloud.dataproc.v1.SubmitJobRequest https://cloud.google.com/dataproc/docs/reference/rest/v1beta2/HadoopJob 但是我不能确切地知道如何将URI添加到函
浏览 16提问于2019-10-07得票数 3
编辑1:这个问题与字段"initialization_actions"有关。最初我在那里放了一个字符串，现在我给了它它想要的对象：
from google.cloud.dataproc_v1beta2 import NodeInitializationAction
CLUSTER_CONFIG = {
...
"initialization_actions": NodeInitializationAction({
"executable_file": <string>})]
}
不幸的是，它仍然在抱怨
浏览 4提问于2021-07-06得票数 1
回答已采纳
我正在使用Terraform模板来配置Google Cloud Dataproc集群。在此之后，我将创建防火墙规则，以限制进入这些计算引擎实例的流量。
我正在寻找一种自动创建防火墙规则和dataproc集群的方法。似乎没有一种简单的方法，因为我必须在防火墙规则中提到I，这只能通过查看创建的集群来获得。
我想的另一种方式是创建一个具有安全性的VPC，并在该VPC内创建dataproc集群。
有人能在这方面提供专家建议吗？
浏览 18提问于2021-02-24得票数 2
我正在使用Google Dataproc初始化一个Jupyter集群。首先，我使用了github中提供的"dataproc-initialization-actions“，它的工作方式非常出色。
这是文档中提供的创建集群调用：
gcloud dataproc clusters create my-dataproc-cluster \
--metadata "JUPYTER_PORT=8124" \
--initialization-actions \
gs://dataproc-initialization-actions/jupyter
浏览 10提问于2016-08-13得票数 1
回答已采纳
我创建了一个Dataproc集群，并使用以下说明成功启动了RStudio服务器：https://cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-cluster 我还成功地安装了sparklyr并创建了Spark实例。 sc <- spark_connect(master = "local") 但是，我想知道如何连接到BigQuery。有一个sparkbq库，但是我不确定如何传递这里描述的bigquery jar连接器(在运行时)：https://cloud.google.com/
浏览 15提问于2020-11-28得票数 1
回答已采纳
我尝试使用python 创建一个Dataproc集群，该集群的生存期为1天。为此，Dataproc的v1beta2引入了，它是ClusterConfig对象的子对象。
我在传递给create_cluster方法的JSON文件中使用了这个对象。要设置特定的TTL，我使用字段auto_delete_ttl，该字段的值应为86,400秒(一天)。
关于如何在JSON文件中表示持续时间的：工期应表示为带有后缀s的字符串，持续时间为0、3、6或9个小数秒：
但是，如果使用此格式传递持续时间，则会得到以下错误：
参数MergeFrom()必须是同一个类的实例:预期的google.protobu
浏览 4提问于2020-02-11得票数 4
回答已采纳
我正在尝试在Dataproc工作流模板中设置自动区域放置
我正在尝试在Dataproc工作流模板中设置自动区域放置，类似于在没有模板工作流的情况下执行时所做的操作
Google Cloud SDK 244.0.0从docker镜像开始：
docker run -ti google/cloud-sdk:slim bash
使用服务帐户在google云中注册
gcloud auth activate-service-account --key-file=$GOOGLE_SDK_CREDENTIALS
gcloud config set project $PROJECT
gcloud comp
浏览 0提问于2019-05-06得票数 3
我试图通过将gcloud命令转换为API来使用Dataproc，但是我在文档中找不到一个很好的例子。
%pip install google-cloud-dataproc
我发现的唯一一个好例子就是这个，它工作得很好：
from google.cloud import dataproc_v1
client = dataproc_v1.ClusterControllerClient()
project_id = 'test-project'
region = 'global'
for element in client.list_clusters(proje
浏览 0提问于2019-04-08得票数 1
回答已采纳
我们使用MySQL (Cloud SQL)作为Dataproc的元数据存储库。这不会存储不属于配置单元外部表的GCS文件的任何信息。
有没有人能建议在Google Cloud的一个目录中存储所有文件/数据细节的最佳方法？
浏览 4提问于2020-01-31得票数 4
1回答
将数据从iOS推送到Google
、、、、
我对Google Cloud Platforms并不熟悉，对整个体系结构也不太确定，但我试图实现的是将一些数据从iOS application中保存到Google Cloud中，并使用Google Cloud Products对这些数据做一些分析工作，例如：Dataproc和Datalab。从我目前所读到的情况来看，我需要在Google Cloud BigQuery中创建一个数据集，并在其中创建一个表。我已经使用Google Cloud Web UI完成了这个任务，但是现在我想从iOS app中填充表。我似乎找不出该怎么做。
浏览 5提问于2017-05-15得票数 1
1回答
我使用气流的向Dataproc集群提交了一个Hive作业。当某些作业在googlec头->dataproc->作业中失败时，我可以看到一个指向带failure的日志的链接：
代理报告作业失败。如果日志可用，可以在'gs://dataproc-abcde12-efghi23-jklmn12-uk/google-cloud-dataproc-metainfo/12354a681fgh161/jobs/job1-abdc12jssa/driveroutput‘中找到它们
我可以通过气流获取这个日志链接(例如gs://dataproc-abcde12-efghi23-jkl
浏览 1提问于2019-02-12得票数 3
我使用的是谷歌云的免费积分。我遵循了Dataproc tutorial，但是当我运行下面的命令时，我有一个关于存储容量的错误。 gcloud beta dataproc clusters create ${CLUSTER_NAME} \
--region=${REGION} \
--zone=${ZONE} \
--image-version=1.5 \
--master-machine-type=n1-standard-4 \
--worker-machine-type=n1-standard-4 \
--bucket=${BUCKET_NAME} \
--op
浏览 13提问于2020-09-05得票数 0
我正在使用Dataproc集群设置来测试所有特性。我已经创建了一个集群模板，几乎每天都在使用creation命令，但是本周它停止了工作。打印的错误是：
ERROR: (gcloud.dataproc.clusters.create) Operation [projects/cluster_name/regions/us-central1/operations/number] failed: Failed to initialize node cluster_name-m: Component ranger failed to activate post-hdfs See output in:
浏览 10提问于2022-03-03得票数 2
我想在DataProc中创建一个同时安装了Jupyter和DataLab的集群(我知道它们非常相似，但团队成员有不同的偏好)。我可以用它们中的任何一个来创建集群： 使用Jupyter的集群： gcloud dataproc clusters create $DATAPROC_CLUSTER_NAME_JUPYTER \
--project $PROJECT \
--bucket $BUCKET \
--zone $ZONE \
--initialization-actions gs://dataproc-initialization-actions/connectors/connectors
浏览 36提问于2019-04-05得票数 1
回答已采纳
我正在尝试使用Spark 2.1启动一个Dataproc集群。有没有Spark 2.1的镜像版本？我看到的是Spark 2.0和2.2，但不是2.1。 https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-versions
浏览 13提问于2020-12-22得票数 2
回答已采纳
2回答
我正在尝试在一个dataproc集群中运行一个简单的spark脚本，它需要使用scala和java云存储客户端库对gcs存储桶进行读/写。脚本如下： //Build.sbt
name := "trialGCS"
version :="0.0.1"
scalaVersion := "2.12.10"
val sparkVersion = "3.0.1"
libraryDependencies ++= Seq(
// Spark core libraries
"org.apache.spark" %%
浏览 17提问于2021-04-17得票数 2
回答已采纳
虽然群集级日志是可用的，但我无法查询作业的Dataproc作业级别日志。
复制步骤：
使用基于1.4的自定义映像创建集群，按照描述的设置群集属性。审定：
gcloud dataproc clusters describe --project <my-project> --region us-west1 <my-cluster> |grep file-backed-output
支持：“true”
gcloud dataproc clusters describe --project <my-project> --region us-wes
浏览 6提问于2021-09-20得票数 2
在将星星之火数据文件写入文件后，我试图使用如下代码重命名该文件：
val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
val file = fs.globStatus(new Path(path + "/part*"))(0).getPath().getName()
fs.rename(new Path(path + "/" + file), new Path(path + "/" + fileName))
这里运作的很好.但是，当我在Dataproc上运行jar时，会得
浏览 8提问于2022-07-19得票数 2
我正在尝试使用以下命令创建我的第一个Google Cloud Dataproc集群： gcloud dataproc clusters create hive-cluster \
--scopes sql-admin \
--image-version 1.3 \
--initialization-actions "gs://goog-dataproc-${PROJECT}:${REGION}:hive-metastore" \
--master-machine-type n1-standard-1 \
--ma
浏览 27提问于2020-01-16得票数 1
回答已采纳
我有一个cloud dataproc Spark作业，它也使用了来自Drvier端的Cloud Strage API (从同一个文件夹中选择特定的文件进行处理)。
下面是maven依赖项：
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.4
浏览 12提问于2019-11-29得票数 1
回答已采纳
为了加快集群实例化时间，我使用可用于dataproc映像1.5.34-debian10 10的miniconda3创建了一个包含所有附加依赖项的自定义映像。(我遵循以下步骤：，以确保我使用了正确的python环境)。
但是，当我用--可选组件ANACONDA、jupyter启动集群时，我的自定义依赖项将被删除，剩下的是anaconda和JUPYTER的基本安装。我假设anaconda安装正在覆盖我的自定义依赖项。有没有办法确保我的依赖关系不会被覆盖？如果没有，是否可以安装anaconda和jupyter作为我的自定义dataproc映像的一部分？
我使用了以下命令来创建自定义映像：
pytho
浏览 2提问于2021-05-02得票数 3
回答已采纳
我有一个python云函数，最初是部署到us-central1 1的。尝试将此函数部署到us-east4时，在加载代码时出现以下错误：
ERROR: (gcloud.functions.deploy) OperationError: code=3, message=Function failed on loading user code. This is likely due to a bug in the user code. Error message: with_scopes_if_required() got an unexpected keyword argument 'de
浏览 13提问于2021-05-27得票数 2
回答已采纳
1回答
我的spark dataproc工作流有问题。
这在发射时起作用：
gcloud dataproc jobs submit spark \
--project myproject \
--cluster=mycluster \
--region=europe-west3 \
--jars=gs:path\file.jar,gs://path//depende.jar \
--class=it.flow \
--properties spark.num.executors=2,spark.executor.cores=3,spark.executor.memory=5g,spark.driver
浏览 3提问于2021-08-24得票数 3
我正在尝试使用GCP + Dataproc + PySpark自动化一个过程。为此，我创建了以下脚本： data_project = project_name
data_pop_table = dataset_name.table_name
spark = SparkSession\
.builder\
.master('local[*]')\
.appName('workflow_segmentation')\
.config(
浏览 28提问于2021-04-29得票数 0
我想使用Dataproc在Google Cloud上创建一个摄取/聚合流程，在此之前，我每天/小时都希望在收集的数据上运行Spark作业。 有没有办法安排Spark作业？或者基于例如到达流上的任何新的数据事件来制作该触发器？
浏览 23提问于2020-08-24得票数 2
回答已采纳
是否可以在Google Cloud Dataproc上编译和构建自定义Apache Spark？假设我们想要调整Apace Spark，然后想要在dataproc上构建自定义Spark。
浏览 3提问于2017-02-08得票数 0
我们正在使用Google Cloud Dataproc来运行sparkJobs。我们需要获取与集群相对应的所有作业及其状态的列表。
如果我知道job_id，我可以获得作业的状态，如下所示
res = dpclient.dataproc.projects().regions().jobs().get(
projectId=project,
region=region,
jobId="ab4f5d05-e890-4ff5-96ef-017df2b5c0bc").execute()
但是，如果我不知道job_id，
浏览 0提问于2016-07-11得票数 0
我有一个dataproc集群，我想让集群访问一个Cloud实例。当我创建集群时，我分配了作用域--scopes sql-admin，但是在读取之后，我似乎需要通过代理进行连接。如何将其配置为从dataproc访问？
更新：
在集成出来之前(@vadim的答案)，我可以在我的dataproc初始化脚本中使用云代理来实现这个功能：
wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64
mv cloud_sql_proxy.linux.amd64 cloud_sql_proxy
chmod +x cloud_sql_proxy
浏览 3提问于2016-04-09得票数 1
回答已采纳
1回答
我尝试使用Google平台上的以下链接在GCP中配置Apache集群。
https://cloud.google.com/solutions/using-apache-hive-on-cloud-dataproc
我已经建立了一个项目，并有整整几年的学分可用。本页面中提到的脚本使用Google来混淆集群，而不是使用GCP。
这就是问题所在，我执行上述所有步骤，就在我要使用以下命令创建集群时--“它失败了”!！
gcloud dataproc clusters create hive-cluster. \
--scopes sql-admin \
--image-version
浏览 0提问于2019-03-10得票数 0
我已经创建了一个dataproc集群，并使用更新后的init操作来安装datalab。 所有工作都很好，除了当我从Datalab笔记本查询Hive表时，我遇到了 hc.sql(“””select * from invoices limit 10”””)
"java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found" exception 创建集群 gcloud beta dataproc clusters create ds-cl
浏览 67提问于2019-05-02得票数 3
我以这种方式向dataproc提交了一个火花作业：
gcloud dataproc作业提交星星之火--集群=$集群--region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1，spark.submit.deployMode=cluster --class path.to.my.main.class --jars= spark .to.jars- "-p“"some_arg”"-z“"some
浏览 2提问于2021-04-29得票数 4
回答已采纳
2回答
因此，我计划使用GCP编写器来运行几个Hive作业。
结合使用Hive和Dataproc是实现这一点的最佳方式吗？
为此，数据应该存储在哪里？Dataproc可以从Google Cloud Storage存储桶中读取数据吗？
浏览 3提问于2018-12-01得票数 2
我正在为一个类项目编写一些代码，该类项目将作业发送到GCP中的dataproc集群。我最近遇到了一个奇怪的错误，我很难把头绕在上面。错误如下：
Exception in thread "Thread-5" java.lang.NoClassDefFoundError: io/grpc/CallCredentials2
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
at java.security.Sec
浏览 14提问于2021-11-27得票数 3
回答已采纳
1回答
我们正在使用GoogleCloudPlatform进行大数据分析。对于处理，我们目前使用的是google cloud dataproc & spark-streaming。
我们希望使用Ganglia、Graphite、Dr.Elephant等监控工具来检查作业性能。
要设置其中任何一个，都需要修改每个节点中的配置。我想知道，数据处理程序本身是否支持任何这样的性能监控工具？
浏览 0提问于2016-06-13得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
