我正在寻找在每个分区循环中保存整个Dataframe到Cassandra。我知道我可以在foreachpartition中获取Cassandra连接器，并使用以下代码在cassandra上执行CRUD语句： val conf: SparkConf = new SparkConf(true).set("s
浏览 20提问于2019-02-05得票数 1
我有一个分区的Cassandra表：
sess.execute(s"""CREATE TABLE IF NOT EXISTS test.details(Scala 2.11.8、Spark 2.0和Cassandra。在这里，表是按'date‘列分区的。那么，在这种情况下，我如何将我的数据框保存到这个表中？
浏览 0提问于2017-06-14得票数 1
回答已采纳
我正在从spark的cassandra表中读取一张表。我在cassandra中有很大的分区，当cassandra的分区大小超过64MB时，在这种情况下，cassandra分区将等于spark分区。由于分区太大，我在spark中遇到了内存问题。
我的<
浏览 48提问于2021-06-07得票数 1
我使用Spark从Cassandra数据库检索数据：store_id uuid,report_time timestamp,customer_email保存到新表中</e
浏览 3提问于2015-11-13得票数 2
回答已采纳
我正在使用带有Cassandra 3.11的Apache Spark 2.2.1和来自python/pyspark的Datastax spark-cassandra-connector。我想从数据集结构创建Cassandra表。因此，我在Java的DataSetFunction包中找到了一个函数createCassandraTable，但我找不到与pyspark包的对应关系。在Java中也
浏览 6提问于2018-01-23得票数 2
1回答
当我们使用spark从csv for DB读取数据时，如下所示，它会自动将数据拆分到多个分区并发送到执行器 spark .option("delimiter", ",") .load(inputFile) 目前，我有一个id列表： [1,2,3,4,5,6,7,8,9,...1000] 我想要做的是将这个列表分割成多个分区，并发送
浏览 10提问于2019-02-05得票数 0
回答已采纳
我需要定期将C*表中的行存档/冷存储到CSV。例如:将C*表my_table中2016年1-6月的行导出到CSV my_table.2016_06-30.csv，将my_table中2016年7-12月的行导出到my_table.2016-12-31有人建议我使用Spark Dataframe来做这件事(所以我可以从Spark Cassandra连接器获得像writeTi
浏览 0提问于2017-09-02得票数 2
我正在尝试优化一种在databricks中工作时查询cassadnra表的方法。在阅读了本文之后，作者建议在当时的一行查询cassandra表，并将每个结果结合起来。我使用python cassandra驱动程序的尝试是：from cassandra.auth import PlainTextAuthProviderSIMUL_TEST03
浏览 7提问于2022-11-09得票数 0
回答已采纳
1回答
我使用Spark 2.1和Cassandra (3.9)作为数据源。C*有一个包含50列的大表，对于我的用例来说，这不是一个好的数据模型。因此，我为每个传感器创建了拆分表，以及分区键和聚集键cols。将数据从旧表复制到新表。df = spark.read\ .o
浏览 0提问于2017-10-08得票数 1
2回答
我正在与Scala一起工作，并试图将我的日历信息从Spark保存到Cassandra。我从使用Cassandra创建相同的模式开始：然后把我的数据从星火导入卡桑德拉： .fo
浏览 12提问于2022-02-21得票数 2
回答已采纳
我正在构建一个接近实时/微批处理的数据应用程序，使用Cassandra作为查找存储。每次增量运行有大约40K条记录，而Cassandra表有大约1.5亿条记录。在每次运行中，我需要查找id字段并从Cassandra获取一些属性。这些查找可以是随机的(不是任何时间/地区/国家的依赖)，因此没有明确的分区方案。我应该如何对Cassandra表进行分
浏览 19提问于2019-09-19得票数 0
在我们的应用程序中，我们的大部分代码只是将filter、group by和aggregate操作应用于DataFrame，并将DF保存到Cassandra数据库。与下面的代码一样，我们有几个方法对不同数目的字段执行相同的filter, group by, join, agg操作，并返回一个DF，这些方法将保存到Cassandra表中。) { df.write.fo
浏览 5提问于2016-12-10得票数 0
在spark 1.6中，我们可以使用cassandraSqlContext直接查询cassandra表，如下所示：火花2.1中有这样的特性吗？我知道spark 2.1没有cassandra上下文，相反它有一个session会话。如果我执行spark.sql("select * from
浏览 0提问于2017-05-22得票数 1
我使用的是Scala版本2.10.5、Cassandra 3.0和Spark 1.6。我想将数据插入到cassandra中，所以我尝试了基本的示例 df.write.format("org.apache.<
浏览 0提问于2016-12-21得票数 6
回答已采纳
我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hive
scala> spark.conf.set20).withCo
浏览 3提问于2019-08-02得票数 0
我正在尝试使用scala语言在spark中创建查询，数据在cassandra数据库中以表格的形式提供。在Cassandra表中，我有两个键，1)主键2)分区键CREATE TABLE A.B ( id2 text,val conf = new SparkConf(true).set("spar
浏览 0提问于2017-10-25得票数 2
1回答
在Spark-2.0中，创建火花会话的最佳方法是什么。因为在Spark-2.0和Cassandra中，API已经被重新加工，本质上是反对SqlContext (也包括CassandraSqlContext)。因此，对于执行SQL- -要么我创建一个Cassandra会话(com.datastax.driver.core.Session) and use execute( " ")。或者我必须创建一个SparkSession (org.apache.<
浏览 1提问于2016-12-07得票数 2
回答已采纳
2回答
我想使用PySpark.But执行Cassandra CQL查询，我没有找到执行它的方法。我可以将整个表加载到dataframe并创建临时视图并查询它。df = spark.read.format("org.apache.spark.sql.cassandra").options(table="country_production2",keyspace="country").load()
df.createOr
浏览 17提问于2020-07-22得票数 0
2回答
我是新手，我想把我的星火数据保存给卡桑德拉，条件是我有一个RDD，我想把这个RDD的数据保存到卡桑德拉的多个表中?如果是的话，这是可能的吗？
浏览 3提问于2015-02-02得票数 3
回答已采纳
我有一张有很多列的桌子，是给我的。test_event还有另一个表测试，在包含id的行的同一个键空间中，我必须从test_event中删除。我找到了一些使用DELETE的解决方案，但它是用scala编写的。
经过近百次的尝试，我终于感到困惑，请求你的帮助。有人能一步一步地和我一起做吗？
浏览 3提问于2020-06-15得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号