腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
用于NRT数据应用的Google
、
、
、
、
独立的TCP客户端从外部TCP
服务器
读取流数据。 我读到了谷歌
云
DataFlow,
云
存储,BigQuery和Pub。但是设置有一些限制,例如pub-sub要求客户端使用https端点,而应用部署需要使用web
服务器
,例如app、webapp或GCE上的web
服务器
。可以在Googl
浏览 2
提问于2016-02-16
得票数 0
1
回答
R&
Spark
-Scala Dataframes处理时间
、
、
、
在准备这个数据集时,我观察到了在为R&
Spark
之间的数据分析准备数据时,性能上的巨大差异。本质上,
Spark
比R更快,这里有一篇文章是在互联网上发现的,而且一般都是众所周知的。= dat3_.withColumn(c.name, when(col(c.name).isNull, 0).otherwise(col(c.name)))这在我看来还不清楚,为什么在
Spark
浏览 2
提问于2018-04-04
得票数 0
1
回答
Mesos上的Apache
Spark
:初始作业未接受任何资源
、
、
、
我使用Apache Mesos在集群模式下运行Apache
Spark
。但是,当我启动
Spark
-Shell运行一个简单的测试命令(sc.parallelize(0 to 10,8).count)时,我收到以下警告消息:如果我查看Mesos WebUI,我可以看到
Spark
-Shell被列为框架,并且我列出了一个从属(我自己的机器)。
浏览 0
提问于2016-03-10
得票数 3
1
回答
如何将主ec2实例上的IP地址传递给CloudFormation中的从ec2实例
、
、
我已经使用
云
形成启动了两个ec2实例,一个是主实例,一个是从实例。如何将主
服务器
的私有IP地址传递给从ec2实例。我希望它被传递给从
服务器
的用户数据。Base64":{ "", "/usr/lib/
spark
-2.0.1/sbin/start-slave.sh
浏览 1
提问于2017-04-04
得票数 0
回答已采纳
2
回答
如何在Cloud Dataproc上安装Apache
Spark
的自定义版本
、
、
如何在安装自定义版本的
Spark
的同时保持与Cloud Dataproc工具的兼容性?
浏览 3
提问于2018-04-12
得票数 3
1
回答
Power BI连接到Cloudera上的Hive/
Spark
、
、
、
、
我正在尝试将Cloudera私有
云
上的Hive/
Spark
连接到Power BI Desktop。我希望数据不断更新,因此我认为数据连接模式应该是DirectQuery。但Cloudera不支持可用的连接器-
Spark
和Hive LLAP,正如前面提到的 - LLAP和
Spark
thrift
服务器
都不支持。
浏览 37
提问于2021-09-20
得票数 0
2
回答
如何在
云
应用程序上监控JVM
我们正在使用
云
应用程序,比如
spark
和jre1.8,我想知道我的
spark
实例的JVM,同样需要使用nagios核心
服务器
进行监控。您能分享一下查看JVM统计数据的输入吗?
浏览 1
提问于2017-03-28
得票数 0
1
回答
Apache梁在关键
云
铸造上的星火运行程序部署
、
、
我需要使用
Spark
引擎部署Apache应用程序。我的问题是,我是否可以在关键的
云
创建环境上部署星火应用程序。如果有的话,你能提供例子吗? 谢谢
浏览 3
提问于2017-09-12
得票数 0
回答已采纳
1
回答
通用starter Hadoop/
Spark
fiware-cosmos问题
、
、
我看到你正计划将Apache
Spark
整合到Cosmos中?你有实现这一目标的路线图或日期吗?如果我现在想使用
Spark
,会发生什么?cosmos是fiware.org上唯一的Apache Hadoop/
Spark
浏览 7
提问于2016-05-27
得票数 1
2
回答
随着Dataproc img版本2.0.39-ubuntu18 18的增加,GCP
云
日志记录成本增加
、
、
我有一个带有映像版本- 2.0.39-ubuntu18 18的Dataproc集群,它似乎将所有日志都放入了
云
日志记录中,这大大增加了我们的成本。=gs://dataproc-
spark
-logs/joblogs 若要停止使用
云
日志记录,请执行以下操作。日志也被重新定向到
云
日志记录。(映像版本1.4.37-ubuntu18 18,类似于映像版本2.0-ubuntu18 18),它具有类似的配置,但似乎没有那么多地使用
云
日志记录。我需要更改什么来确保Dataproc作业(吡火花
浏览 16
提问于2022-05-30
得票数 1
回答已采纳
1
回答
未能找到数据源: kafka
、
、
、
、
然而,在阅读了这篇文章之后,,当我运行你能告诉我我错过了什么吗?还是我不应该一个人运行剧本?
浏览 0
提问于2019-05-10
得票数 1
2
回答
CodeIgniter网站可以部署到
云
托管吗?
、
、
目前,我正在考虑用CodeIgniter创建一个网站,并计划将其部署到
云
托管中,但我不知道这是否可行。
浏览 0
提问于2019-10-15
得票数 2
回答已采纳
3
回答
将火花连接到远程火花连接。
、
、
我想将本地桌面RStudio会话通过sparklyr连接到远程
spark
会话。我不知道如何创造这方面的可复制的例子,但总的来说,我想做的是:sc <-
spark
_connect(master = "
spark
://ip-[MY_PRIVATE_IP]:7077",
spark
_home = "/home/ubuntu/
spark
-2.0.0", version="
浏览 6
提问于2016-09-30
得票数 8
回答已采纳
6
回答
Google Cloud Dataflow和Google Cloud Dataproc之间的区别是什么?
、
、
看看谷歌的
云
服务,DataProc似乎也可以做同样的事情。 而且看起来DataProc比DataFlow便宜一点。
浏览 1
提问于2017-09-27
得票数 66
1
回答
Spark
streaming kafka在google
云
平台中的集成问题
、
、
、
我们在Google
云
平台上使用Bitnami Kafka 0.8.2 +
spark
1.5.2。我们的
spark
streaming作业(消费者)没有接收到发送到特定主题的所有消息。它没有达到
spark
-kafka集成流。任何关于如何调试这个问题的想法。另一个主题是在相同的设置下工作得很好。再次尝试使用
spark
1.3.0,kafka 0.8.1.1也有同样的问题。所有这些工作在我们的本地实验室
服务器
上都运行良好
浏览 1
提问于2015-12-24
得票数 0
3
回答
如何从电子病历连接到GCS
、
、
、
我们有一个在EMR集群上运行的火花流应用程序,我们需要将流数据存储到中。
浏览 2
提问于2019-02-28
得票数 0
1
回答
使用
spark
将拼图数据从谷歌
云
存储加载到BigQuery
、
、
如何从谷歌
云
存储加载拼图数据到
spark
,并将其保存到BigQuery?
浏览 13
提问于2019-12-04
得票数 0
1
回答
谷歌
云
星火ElasticSearch TransportClient连接异常
、
、
我正在使用Google上的
Spark
,我有下面的代码连接到Elasticsearch数据库当我在本地运行它时,即
spark
-submit代码是使用使用sbt组件创建的fat jar上传到google
云
的,所以所有使用的库都是常见的,除了本地jav
浏览 7
提问于2016-05-01
得票数 0
回答已采纳
4
回答
Google Dataproc支持Apache Impala吗?
、
、
我刚开始使用
云
服务,在谷歌的
云
平台上导航是非常可怕的。当涉及到Google Dataproc时,他们确实在宣传Hadoop、
Spark
和Hive。 我的问题是,Impala到底有没有?我想做一些基准项目使用所有这四个工具,我需要Apache Impala以及
Spark
/Hive。
浏览 1
提问于2019-05-31
得票数 2
1
回答
Apache
Spark
与Flink ML
、
对不起,如果我问错了社区的问题。火花ML和Flink ML以及火花和Flink在一般情况下有什么区别?这两个项目都是Apache的项目,我想知道为什么Foundation有两个类似的项目。溢出社区已经讨论过这个问题。主题是Apache和Apache有什么区别?
浏览 0
提问于2016-10-13
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark开发环境搭建
搭建Windows下的Spark开发环境
Hadoop及Spark 分布式HA运行环境搭建
Windows和PC机上搭建Spark+Python开发环境的详细步骤
windows服务器phpstudy环境网站搭建
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券