我们可以只在GKE上运行Dataproc吗，或者也可以在私有的本地k8s上运行？
可以在GKE上运行Dataproc，也可以在私有的本地k8s上运行。
GKE（Google Kubernetes Engine）是谷歌云平台提供的托管式Kubernetes服务，它可以帮助用户轻松地管理和运行容器化应用程序。Dataproc是谷歌云平台提供的托管式Apache Hadoop和Apache Spark服务，用于大数据处理和分析。
在GKE上运行Dataproc有以下优势：
- 简化部署和管理：GKE提供了自动化的集群管理和弹性扩展功能，可以轻松地创建、部署和管理Dataproc集群。
- 弹性和可靠性：GKE具有高可用性和自动修复功能，可以确保Dataproc集群的稳定运行。
- 与其他GCP服务集成：GKE与谷歌云平台的其他服务（如BigQuery、Pub/Sub等）无缝集成，可以方便地进行数据交换和处理。
同时，也可以在私有的本地k8s上运行Dataproc，这样可以更好地控制数据和计算资源。私有的本地k8s环境可以提供更高的安全性和隐私保护，适用于一些对数据安全要求较高的场景。
无论是在GKE上运行还是在私有的本地k8s上运行Dataproc，都需要进行一些配置和准备工作。具体步骤和操作可以参考腾讯云提供的相关文档和指南。
推荐的腾讯云相关产品：
- 腾讯云容器服务（TKE）：提供托管式Kubernetes服务，类似于GKE，可以方便地部署和管理容器化应用程序。链接地址：https://cloud.tencent.com/product/tke
- 腾讯云大数据计算服务（EMR）：提供托管式大数据处理和分析服务，类似于Dataproc，支持Hadoop、Spark等开源框架。链接地址：https://cloud.tencent.com/product/emr
请注意，以上推荐的产品仅为示例，实际选择产品时需要根据具体需求和情况进行评估和选择。
相关·内容
我想知道是否有人尝试过在私有k8s集群上而不是在GKE上运行数据进程，或者考虑到目前为止的发展，这是否可能？
浏览 19提问于2020-05-09得票数 3
现在，我们可以使用计算引擎或创建dataproc集群。在GKE和Compute引擎上创建集群的主要优点是什么？在计算引擎上创建集群时，我们已经多次面临insufficient resources in zone错误的问题。如果我们在集群中使用GKE，它会解决这个问题吗?它们之间的成本差异是什么？
浏览 3提问于2022-07-07得票数 -1
1回答
我们已经在GKE上运行了大约三年的集群。因此，启用了遗留授权。我们有越来越多的服务，并计划逐步采用istio。我们希望在不导致错误和服务停机的情况下启用最小的RBAC设置。
我还没有找到任何关于如何实现这一点的指南。有人说只是为了在GKE集群上启用RBAC授权，但我认为这会关闭<
浏览 0提问于2020-07-03得票数 0
就像我一个月来一直在寻找解决方案一样，在尝试其他方式部署之前，我会问社区：--您找到了一种将v14中的odoo核心模块与卷不同的方式持久化的方法吗？因此，在gcloud运行？中部署odoo是可能的。然后，我看到在web编辑器中生成的静态css和js文件作为附件存储在odoo中，插件misc- addons -13.0/ir_附件_ s3可以将这些文件存储在s3中。在vm中直接使用的方式似乎更简约、更标准，因
浏览 3提问于2021-07-11得票数 1
我们使用将映像部署到 (GKE)。
在本地机器上运行gcloud config config-helper --我们可以通过本地机器上的kubectl命令访问GKE集群。然而，An
浏览 2提问于2020-11-20得票数 0
1回答
在部署了golang服务器容器和gke负载均衡器之后，我可以成功地连接到负载均衡器的外部ip，但没有数据到达服务器容器。
当我在本地运行服务器容器并将客户端指向localhost时，它可以正常工作。我将它更改为服务http请求，它在相同的kubernetes清单中运行得很好。但是，如果我尝试同时为tcp和http提供服务(在不同的端口上)，那么在gke上既不能工作，也</e
浏览 0提问于2019-05-03得票数 0
1回答
我一直在探索使用顶点AI作为我的机器学习工作流。因为在顶点AI中只使用一个节点将不同的模型部署到同一个端点是不可能的，所以我正在考虑一个。有了这个解决办法，我将无法使用许多顶点AI特性，比如模型监视、特征属性等等，我认为它只是一个托管的替代方案，可以代替在GKE集群上运行预测应用程序。因此，除了成本差异之外，我还在探索在顶点AI和GKE上运行自定义预测容器是否会涉及到任何限制，例如
浏览 3提问于2021-11-15得票数 0
回答已采纳
1回答
如何在集群模式下提交火花作业？
、、、、
但是，在集群模式下，我的本地笔记本电脑怎么可能知道这意味着什么呢？假设我有我的笔记本电脑和一个正在运行的dataproc集群。如何使用我的笔记本电脑中的火花提交来向这个集群提交作业？
浏览 3提问于2022-01-07得票数 2
回答已采纳
3回答
我们建立了许多集群用于测试/poc/deving，我们需要记住删除它们 我想要的是一种在整个gke集群上设置ttl并自动删除/清除它的方法。我可以在创建时用时间戳标记集群，并让一个外部进程按计划运行以获取旧集群，但如果我不需要这样做就太好了-这可能是唯一的方法，但也许有gke/k8s功能可以做到这一点？有没有一种方法可以让集群在</e
浏览 31提问于2019-05-07得票数 1
2回答
我们的组织最近已经将其基础设施从aws转移到google云计算，我认为dataproc集群是运行现有火花作业的一个很好的解决方案。但当谈到价格比较时，我也意识到，我只需启动谷歌( google )引擎集群，并在其上安装火花，在其上运行星火应用程序。
现在我的问题是，“在gke上运行火花”和使用dataproc比较如何？在自动标度、定价和基础设施方面，哪一种是最好的
浏览 0提问于2019-01-31得票数 3
回答已采纳
1回答
我们有k8s集群和托管在GKE上的应用程序。当我们尝试通过谷歌负载均衡器获取静态内容(8.25Mb)时，检索时间是3.8秒，当我们尝试在虚拟机中的k8s集群上通过nginx直接获取静态内容时，需要0.2秒。速度差异的原因可能是什么？
浏览 0提问于2020-03-19得票数 0
我是K8s的新手。我正在研究在GKE/AKS上使用k8s对我们系统中使用的Azure标度集的好处。在每个节点上有最大荚的情况下，水平只
浏览 6提问于2019-11-25得票数 2
回答已采纳
我想在GKE上安装一个CI工具，这样我就可以通过Sysbox运行对接工具。在GKE能做到这一点吗？
浏览 2提问于2021-01-28得票数 3
回答已采纳
我在GKE上设置了一个k8s集群。
我想通过k8s REST来控制它(所以，查看豆荚上的部署以及诸如此类的东西，而不是访问在k8s集群上实际运行的内容)。我已经获得了适当的承载令牌(curl --insecure [request]工作)，并可以发出API请求。但是，SSL证书对我的客户端无效(如果这重要的话，它是java )。替换群集根CA证书(以便我可以使用我的客户端在其key
浏览 1提问于2020-01-15得票数 0
回答已采纳
我最近一直在研究k8s。我对云中自管理k8s集群的想法感到有点困惑。我已经读过很多人在做这件事，但是如果你已经在云中的VM上运行服务的话，我仍然不确定有什么价格好处。GKE使您只为节点付费.和它可以直接管理主节点。
对于未提及的托管集群，是否存在一些隐藏成本？如果您已经在云中运行服务，那么您会自行管理集群吗?如果您在k8s中迁移它们，您很可能会支付同样的费用吗？我
浏览 0提问于2019-11-25得票数 2
回答已采纳
1回答
在我们当前的体系结构中，我们使用来自MemoryStore的Redis作为一个简单的快速缓存和发布子系统。是否可以使用我们的MemoryStore红宝石作为这个系统的主人？如果是，是否有文档或示例用于此？<e
浏览 7提问于2021-12-07得票数 0
2回答
我们试图从RabbitMQ项目中使用Helm运行图表的一个实例。我让它运行得很完美，但是为了进行一些维护，我不得不重新启动k8s。以下是我所做的一切：我已经确认，我可以简单地在本地k8s上运行默认的右转，这是我与一起运行的。当我们以与桌面完全相同的方式在共享k8s上</
浏览 0提问于2019-01-22得票数 1
回答已采纳
1回答
无法访问本地主机
、、
我在Google (GKE)上部署了一个应用程序。为了访问它的UI，我进行了端口转发(端口9090)。当我使用Cloud网页预览时，我可以访问UI。但是，当我试图在浏览器中打开localhost:9090时，我无法访问。你知道为什么我不能从我的浏览器访问，这正常吗？谢谢!
浏览 6提问于2022-08-09得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
