3回答
卡桑德拉与火花的连接
、、、、
dfprev.write.format("org.apache.spark.sql.cassandra") .options(Map("keyspace"->"sensorkeyspace","tablecom.datastax.spark.connector.cql.CassandraConnector$.com$datastax$spark$connector$cql$CassandraConnector$$anonfun$8.apply(Ca
浏览 0提问于2018-03-08得票数 0
我有一个Cassandra集群，它有一个位于同一位置的星火集群，我可以通过编译它们、复制它们并使用./ Spark submit脚本来运行通常的星火作业。我编写了一个小作业，它接受SQL作为命令行参数，将它作为Spark提交给Spark，Spark针对Cassandra运行该SQL，并将输出写入csv文件。现在，我觉得我在兜圈子，试图找出是否可以在JDBC连接中通过Spark直接查询Cassandra (例如来自松鼠SQL)
浏览 4提问于2015-12-10得票数 1
回答已采纳
3回答
libraryDependencies +="datastax" % "spark-cassandra-connector" % "1.6.3-s_2.10"
libraryDependencies +bin/spark-shell --packages datastax:spark-cassandra-connector:1.6.3-s_2.10 --conf spark.cassandra.con
浏览 5提问于2017-09-02得票数 2
MASTER=spark://spark-master-hostname:7077 ./bin/spark-shell - to lunch spark on the master
importorg.apache.spark.SparkContext
scala> import org.apache.spark.Spark
浏览 3提问于2014-07-29得票数 0
在之前的Spark 1.6.1版本中，我使用的是使用spark Context创建Cassandra上下文，//config.set("spark.cass
浏览 18提问于2016-09-10得票数 1
如何在Spark Structured Streaming中读取Kafka和查询外部存储，如Cassandra？我从Kafka获得消息流，我想对它应用Map操作，对于每个键，我想查询像Cassandra这样的数据存储，并获得该键的更多信息，并在流上应用进一步的操作。我如何使用Spark Structured Streaming 2.2.0来做到这一点？
浏览 2提问于2017-09-07得票数 1
我正在使用databricks笔记本，我正在尝试使用joinWithCassandraTable加入一个带有cassandra表的RDD。rdd只是一个主键列表，我使用CassandraConnector以下列方式连接cassandra：sparkConf.set("spark.cassandra</e
浏览 1提问于2021-09-23得票数 3
回答已采纳
1回答
我正在设置一个应用程序，在该应用程序中我使用spark会话从Cassandra读取数据。如果我从dc经过一个Cassandra节点，我就能够从Cassandra读取数据。但是我如何在spark会话中连接到属于3个不同dc的3个不同的Cassandra节点。下面是我使用的代码： spark会话 spark = SparkSession.builder().appName("SparkCass
浏览 16提问于2019-04-24得票数 1
回答已采纳
1回答
我正在使用火花1.3，并能够创造火花环境。当我尝试使用CassandraSQL上下文访问Cassandra时。我得到了以下错误。线程"main“中的异常: org/apache/spark/sql/execution/SparkStrategies$CommandStrategy at org.apache.spark.sql.cassandra.CassandraSQLContext(CassandraSQL
浏览 8提问于2015-03-25得票数 2
回答已采纳
在spark 1.6中，我们可以使用cassandraSqlContext直接查询cassandra表，如下所示：
cassandraSqlContext.sql("select * from keyspace.tableName我知道spark 2.1没有cassandra上下文，相反它有一个session会话。如果我执行spark.sql("select * from keyspace.tableName")，它会引发关于未解决的关系或
浏览 0提问于2017-05-22得票数 1
我有一个Spark结构的流媒体应用程序。应用程序从kafka接收数据，并且应该使用这些值作为参数来处理来自cassandra数据库的数据。我的问题是，我如何使用输入数据帧(kafka)中的数据，作为cassandra中的"where“参数"select”，而不会出现以下错误：
Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with strea
浏览 25提问于2021-05-24得票数 0
回答已采纳
如何在spark 2.0中从Cassandra Datastax中读取数据？这就是我试过的- "table" -> "my_table",
&q
浏览 5提问于2020-09-03得票数 0
我想使用google colabs中的pyspark连接到cassandra。我已经编写了以下代码，下载spark文件，并用java将其设置为path变量。代码如下： !"conf.setAppName("Spark Cassandra")
conf.set("spark.cassandra.connection.host","host").set(
浏览 10提问于2021-09-10得票数 0
现在，为了利用Spark的分布式特性，我们将在workers上处理数据/流。因此，直接从工作进程保存数据是有意义的，而不是将所有数据收集到驱动程序，这可能会产生OOM。我有这样的场景，我需要应用一些业务逻辑，最后需要将数据存储到cassandra。那么，我该怎么做呢？DStream.foreachRDD{ x => x.foreachPartition { some logic and finally Store the data to cassandra }
浏览 12提问于2016-09-09得票数 1
1回答
星星之火SQL注册临时表未找到
、、、、
我运行以下命令：然后，我以以下方式停止了上下文：val conf = new org.apache.spark.SparkConf(true).set("spark.cassandra.connection.host", "127.0.0.1"
浏览 2提问于2016-06-12得票数 1
回答已采纳
2回答
但是，创建火花上下文似乎有效，但是，当我取消注释试图创建cassandraTable的行时，我会得到以下编译错误：
libraryDependencies += "com.datastax.spark" % "spark<
浏览 4提问于2014-10-06得票数 5
回答已采纳
3回答
regexYear(y) => Integer.parseInt(y)})}java.io.NotSerializableException: org.apache.spark.SparkConf在Spark/Scala中运行，并使用以下SparkContext：val conf = new SparkConf(true).set("spark.cassandra.connection.host
浏览 8提问于2015-05-04得票数 2
回答已采纳
我有一个完全用scala编写的代码，它使用spark streaming从kafka主题获取json数据，然后在经过一些处理后将其转储到cassandra和另一个kafka主题。我需要帮助，如何写这样的测试和我们如何可以模拟数据时，我正在使用spark cassandra连接器。
浏览 7提问于2019-01-07得票数 0
import org.apache.spark.SparkConf
val conf = new SparkConfhdfs://172.24.51.171:8020/spark-1.3.0-bin-hadoop2.4.tgz").set("spark.driver.host", "172.24.51.142")我将这些行保存到一个文件中，然后<
浏览 6提问于2015-04-08得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
