riak spark连接器不工作
Riak Spark连接器是用于将Riak数据库与Apache Spark分布式计算框架集成的工具。它允许在Spark中使用Riak作为数据源或目标，以便进行大规模数据处理和分析。
Riak是一种高可用性、高可伸缩性的分布式NoSQL数据库，适用于存储大规模的非结构化数据。而Apache Spark是一个快速、通用的大数据处理引擎，具有内存计算的能力，可以在分布式环境中进行高效的数据处理和分析。
Riak Spark连接器的工作原理是通过使用Spark的数据源API来实现与Riak的交互。连接器提供了读取和写入Riak数据的功能，可以将Riak中的数据加载到Spark中进行分析，也可以将Spark处理的结果写回到Riak中进行持久化存储。
优势：
- 高可用性和可伸缩性：Riak数据库具有分布式架构，可以轻松扩展以处理大规模数据。Spark作为分布式计算框架，可以利用集群中的多台机器进行并行计算，提高处理速度和可伸缩性。
- 灵活的数据处理能力：Spark提供了丰富的数据处理和分析功能，包括数据清洗、转换、聚合、机器学习等，可以对Riak中的数据进行多维度的分析和挖掘。
- 快速的计算速度：Spark使用内存计算，可以将数据加载到内存中进行高速计算，相比传统的磁盘IO方式更加高效。
- 强大的生态系统：Spark拥有庞大的开源生态系统，提供了各种各样的库和工具，可以方便地与其他大数据组件集成，如Hadoop、Hive、HBase等。
应用场景：
- 实时数据分析：通过将Riak中的实时数据加载到Spark中，可以进行实时的数据分析和处理，例如实时推荐、实时监控等。
- 批量数据处理：利用Spark的批处理能力，可以对Riak中的大规模数据进行离线分析和处理，例如数据清洗、数据挖掘等。
- 复杂查询和聚合：通过将Riak中的数据加载到Spark中，可以使用Spark的强大查询和聚合功能，进行复杂的数据查询和统计分析。
推荐的腾讯云相关产品： 腾讯云提供了一系列与云计算和大数据相关的产品和服务，以下是一些推荐的产品和产品介绍链接地址：
- 云数据库 TencentDB：https://cloud.tencent.com/product/cdb
- 云服务器 CVM：https://cloud.tencent.com/product/cvm
- 云原生应用引擎 TKE：https://cloud.tencent.com/product/tke
- 人工智能平台 AI Lab：https://cloud.tencent.com/product/ai
- 物联网平台 IoT Hub：https://cloud.tencent.com/product/iothub
- 移动开发平台 MDP：https://cloud.tencent.com/product/mdp
- 云存储 COS：https://cloud.tencent.com/product/cos
- 区块链服务 BaaS：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/solution/virtual-universe
请注意，以上推荐的产品仅供参考，具体选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
我按照的指示运行Spark2.0.2-hadoop2.7。
试过-
1) pyspark --repositories https://dl.bintray.com/basho/data-platform --packages com.basho.riak:spark-riak-connector_2.11:1.6.0
2) pyspark --driver-class-path /path/to/spark-riak-connector_2.11-1.6.0-uber.jar
3)将spark.driver.extraClassPath /path/to/jars/*添加到主程
浏览 3提问于2016-11-25得票数 2
回答已采纳
1回答
我的Riak-Spark连接器不工作。
我可以用以下命令启动Spark：
/opt/spark/bin/spark-shell \
--jars com.fasterxml.jackson.module_jackson-module-scala_2.11-2.4.4.jar \
--conf spark.riak.connection.host=127.0.0.1:8087 \
--packages com.basho.riak:spark-riak-connector_2.11:1.6.3
但是当我运行的时候：
import com.basho.ria
浏览 12提问于2018-02-11得票数 1
我的工作环境如：。Hadoop 2.7.2 .火花2.3.0格林梅6.8.1 <-我知道这个版本是最新的。
我必须从GPDB表创建dataframe(RDD)。所以，我知道一个“绿色火花连接器”。建筑听起来不错。但不起作用。
我试过这样做：
spark/bin$spark-shell
--master spark://10.40.203.99:7077
--jars /data2/install_files/greenplum-spark_2.11-1.6.2.jar,/data2/install_files/postgresql-42.2.5.jar,/data2/install_
浏览 1提问于2020-06-30得票数 2
目前使用的是GCP和Dataproc，我对apache、pyspark和debian都是新手。因此，我试图在dataproc集群(Debian )中复制一个在本地机器(W10，VS Code，Spark3.3.1)中完美运行的火花作业。通过JDBC驱动程序从Server摄取数据到Spark数据。
当我在这个Debian中尝试时，SparkSession.read()正常工作，但dataframe.show()却不能工作。
Debian配置: Debian 10与Hadoop3.2和Spark3.1.3。
JDBC驱动程序:MSSQLJDBC-11.2.1.jre8.jar
Java : op
浏览 11提问于2022-11-17得票数 1
回答已采纳
1回答
我试图使用集群将一个保存到mongodb，但它一直向我显示一条错误消息。我使用的是spark 2.4.7和python 3.7，mongoDB火花连接器2.4.3在这里是我的代码：
spark = SparkSession.builder\
.master("yarn")\
.appName("demo")\
.config("spark.mongodb.input.uri",
浏览 2提问于2021-06-22得票数 1
使用spark1.6.0和cassandra-3.1.1，我尝试使用Java连接到cassandra数据库。生成时没有错误，但在运行应用程序时得到以下错误
vException in thread "main" java.lang.AbstractMethodError
at org.apache.spark.Logging$class.log(Logging.scala:51)
at com.datastax.spark.connector.cql.CassandraConnector$.log(CassandraConnector.scala:144)
at org.apa
浏览 3提问于2016-02-01得票数 0
回答已采纳
能够使用正确的TCP防火墙权限在Google中运行Google (笔记本)。使用简单的脚本，这将启动最新的星火集群(使用Dataproc启动3个工作人员的1个主服务器)。首先，我们在spark-submit中测试下面的代码，然后在启动DataLab之后，我不知道如何修复下面的错误。
第一步:从Cloud 启动Dataproc集群
gcloud dataproc clusters create cluster1021 \
--subnet default --zone us-west1-a \
--master-machine-type n1-standard-2 \
-
浏览 1提问于2019-01-12得票数 3
回答已采纳
我写了简单的工作，它消耗了卡夫卡主题的数据，并将其写入卡桑德拉表。我可以看到数据被打印到控制台，但是当它写到Cassandra作业失败时-
java.lang.NoSuchMethodError: scala.collection.JavaConverters$.mapAsScalaMapConverter
我使用的是Kafka 3.2.1，Cassandra 3.11.13，pyspark 3.3.0。
我的火花-服从命令-
spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.13:3.3.0,com.datas
浏览 6提问于2022-08-25得票数 1
回答已采纳
1回答
我是卡桑德拉和斯派克的新手，我试着用火花从DB中获取数据。我正为此目的使用Java。问题是没有异常抛出或错误发生，但我仍然无法获得数据。在下面找到我的密码
SparkConf sparkConf = new SparkConf();
sparkConf.setAppName("Spark-Cassandra Integration");
sparkConf.setMaster("local[4]");
sparkConf.set("spark.cassandra.connection.host", "sta
浏览 3提问于2017-01-30得票数 1
我们在Google云平台上使用Bitnami Kafka 0.8.2 + spark 1.5.2。我们的spark streaming作业(消费者)没有接收到发送到特定主题的所有消息。它会收到50条消息中的1条(已在作业流中添加日志并已标识)。我们在kafka日志中没有看到任何错误。无法从kafka层进一步调试。控制台使用者显示在控制台中接收到输入主题。它没有达到spark-kafka集成流。任何关于如何调试这个问题的想法。另一个主题是在相同的设置下工作得很好。再次尝试使用spark 1.3.0，kafka 0.8.1.1也有同样的问题。所有这些工作在我们的本地实验室服务器上都运行良好
浏览 1提问于2015-12-24得票数 0
我不能让riak在Ubuntu 14.04上工作。使用下的bash指令。
当运行riak启动时，我得到：
riak failed to start within 15 seconds,
see the output of 'riak console' for more information.
If you want to wait longer, set the environment variable
WAIT_FOR_ERLANG to the number of seconds to wait.
之后运行riak控制台时：
Exec: /usr/lib/riak/er
浏览 5提问于2016-02-28得票数 0
回答已采纳
3回答
我试图与卡桑德拉-梅索斯-火花一起工作，我想问一下是否有人能帮我解决这个错误，我用了火花2.2试连接器1.6.11和其他，但我不知道为什么我要得到这个。
环境：
spark-2.3.0-bin-hadoop2.7.tgz
datastax:spark-cassandra-connector:2.0.7-s_2.11
scala 11
Mesos簇
Python应用程序
代码：
import sys
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
sp_c
浏览 2提问于2018-04-07得票数 0
我正在使用spark使用蒙戈火花连接器读写数据到MongoDB，而我正面临以下错误，除了放置所需的罐子如下，谁能找到问题，并帮助我！
提前谢谢你
罐子：
mongodb-driver-3.4.2.jar;
mongodb-driver-sync-3.11.0.jar;
mongodb-driver-core-3.4.2.jar;
mongo-java-driver-3.4.2.jar;
mongo-spark-connector_2.11-2.2.0.jar;
mongo-spark-connector_2.11-2.2.7.jar
错误：
scala> MongoSpark.save
浏览 12提问于2019-10-14得票数 1
1回答
我已经和卡桑德拉合作了一段时间了，现在我正在尝试安装火花和火花卡桑德拉连接器。在Windows10中，我使用IntelliJ IDEA (也是第一次使用IntelliJ IDEA和Scala )来实现这一点。
build.gradle
apply plugin: 'scala'
apply plugin: 'idea'
apply plugin: 'eclipse'
repositories {
mavenCentral()
flatDir {
dirs 'runtime libs'
}
浏览 6提问于2020-05-02得票数 0
2回答
从Databricks连接到Sybase的最佳方法是什么？
> %sql
>
> CREATE TABLE sybase_table
> USING org.apache.spark.sql.jdbc
> OPTIONS (
> dbtable 'table_name',
> driver 'sybase.jdbc.driver.SybaseDriver',
> user 'username',
> pa
浏览 5提问于2019-12-21得票数 0
1回答
我有一个用于结构化流媒体的Kafka和Spark应用程序。特别是，我有一个具有以下配置的KafkaProducer：
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, kafkaBrokerEndpoint);
props.put(ProducerConfig.CLIENT_ID_CONFIG, "KafkaProducer");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
props.put(ProducerCo
浏览 44提问于2018-06-09得票数 0
1回答
在此CDP7中，我将数据存储到CDP7中的pyspark的hbase表中，在此之后，使用的组件如下：
火花版本3.1.1
Scala版本2.12.10
shc-核-1.1.1-2.1-S_2.11.jar
我使用的命令：
spark3-submit --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml test-h
浏览 0提问于2021-08-02得票数 0
2回答
我们的堆栈是由Google (Spark2.0)和Google BigTable (HBase 1.2.0)组成的，我正在寻找一个与这些版本一起工作的连接器。
Spark2.0和新的DataSet API支持对于我发现的连接器还不清楚：
火花-hbase：
spark-hbase-connector：
hortonworks-spark/shc：
这个项目是用SBT用Scala2.11编写的。
谢谢你的帮忙
浏览 4提问于2016-12-01得票数 12
回答已采纳
1回答
我做brew install --devel riak只是为了在我的OSX机器上得到Riak2.0.1。之后，我用以下内容启动了一个节点：
/usr/local/Cellar/riak/2.0.1/bin/riak start
我在ps ax中看到的是它使用了一些/usr/local/Cellar/riak/2.0.1/libexec/data/generated.configs/vm.2014.10.03.11.27.37.args配置：
➜ ~ ps ax | grep riak
96269 ?? S 0:00.01 /usr/local/Cellar/riak/2.0
浏览 2提问于2014-10-03得票数 2
回答已采纳
我已经将Spark2.0shell配置为与datastax连接器一起运行。
spark-shell --packages datastax:spark-cassandra-connector:1.5.1-s_2.11
在shell中运行此代码段时
sc.stop
import org.apache.spark
import org.apache.spark._
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import c
浏览 4提问于2016-08-17得票数 1
回答已采纳
当我执行我的电火花代码时，我会收到这个警告。我正在写从S3到雪花。我的雪花火花缭乱的包裹
net.snowflake:snowflake-jdbc:3.13.10,
net.snowflake:spark-snowflake_2.12:2.9.2-spark_3.1
我的本地火花放电版本是
Spark version 3.2.1
Hadoop version 3.3.1
警告：
WARN SnowflakeConnectorUtils$: Query pushdown is not supported because you are using Spark 3.2.1 with a conne
浏览 8提问于2022-03-12得票数 0
我有一个使用SparkContext的简单单元测试。我能够在IntelliJ内部运行单元测试，没有任何问题。但是，当试图从shell运行相同的测试时，我会得到以下错误：
java.lang.NoClassDefFoundError: org/eclipse/jetty/server/bio/SocketConnector
at org.apache.spark.HttpServer.org$apache$spark$HttpServer$$doStart(HttpServer.scala:74)
at org.apache.spark.HttpServer$$anonfun$1
浏览 1提问于2014-10-29得票数 3
当我试图运行上面的代码时，我会得到这个错误。
错误:
Exception:
Caused by: java.lang.ClassCastException: com.datastax.driver.core.DefaultResultSetFuture cannot be cast to shade.com.datastax.spark.connector.google.common.util.concurrent.ListenableFuture
at com.datastax.spark.connector.writer.AsyncExecutor.com$da
浏览 1提问于2019-06-26得票数 0
回答已采纳
1回答
我正试图把卡桑德拉和斯派克结合起来，面对下面的问题。
发行：
com.datastax.spark.connector.util.ConfigCheck$ConnectorConfigurationException:无效的Config变量只允许使用火花卡桑德拉连接器。*变量。spark.cassandra.keyspace不是有效的Spark连接器变量。可能的匹配: com.datastax.spark.connector.util.ConfigCheck$.checkConfig(ConfigCheck.scala:50)，com.datastax.spark.connector.cql.
浏览 2提问于2017-11-20得票数 0
我使用pyspark将hbase表读入数据，但它出现了一些错误：
sc = SparkContext(master="local[*]", appName="test")
spark = SparkSession(sc).builder.getOrCreate()
df = spark.read.format('org.apache.hadoop.hbase.spark') \
.option('hbase.table', 'h_table') \
.option('hbase.column
浏览 9提问于2020-01-06得票数 1
我使用Apache和将数百万行写入Cassandra集群。复制因子被设置为3，我使用以下选项将写入一致性设置为submit(纱线客户端模式)中的所有内容：
spark-submit ...
--conf spark.cassandra.output.consistency.level=ALL \
--conf spark.cassandra.output.concurrent.writes=1 \
--conf spark.cassandra.output.batch.size.bytes=20000 \
...
然后我又写了一份星火作业来统计我写的数据。我设置了新工作的一致性如下：
spar
浏览 3提问于2014-12-07得票数 3
回答已采纳
1回答
我们正在尝试将pyspark脚本从一个前提迁移到GCP平台，该脚本通过数据转换在Hive中创建和删除表。
蜂巢被BigQuery所取代。在本例中，使用连接器将单元读和写转换为bigquery读写。
然而，问题在于通过spark创建和删除bigquery表，因为spark将默认在由蜂窝转移支持的蜂巢上运行创建和删除查询，而不是在大型查询上运行。
我想检查一下是否有计划将DDL语句支持以及星火-bigquery-连接器的一部分结合在一起。
此外，从体系结构的角度看，是否有可能将spark的转移建立在bigquery上，以便任何create或drop语句都可以从spark运行在bigquery上。
浏览 7提问于2022-03-30得票数 2
回答已采纳
我试图简单地将数据写入azure sql DataWarehouse，同时使用azure存储来进行暂存。
在azure文档上有一个非常直接的教程，如果您一步一步地遵循它，它就能工作。
但是，在我的场景中，我必须从正在执行foreach的工作人员那里编写。
这里有一些与这个问题有关的链接：
因此，下面的代码工作
spark = SparkSession.builder.getOrCreate()
spark.conf.set("fs.azure.account.key.<storageAccountName>.blob.core.windows.ne
浏览 0提问于2019-07-17得票数 0
2回答
我已经通过Spring Source开始了RIAK项目的工作。根据它们的规范，对象之间的链接，然后链接漫游是非常简单的。
我正在保存两个对象，在它们之间链接，然后尝试检索数据：
MyPojo p1 = new MyPojo("o1", "m1");
MyPojo p2 = new MyPojo("o2", "m2");
riakManager.set(bucketName1, "k1", p1);
riakManager.set(bucketName2, "k2", p2);
riakManag
浏览 0提问于2012-07-08得票数 0
回答已采纳
1回答
我是一个完全初学者对所有这些东西，所以请原谅，如果我错过了一些完全明显的步骤。我安装了spark 3.1.2和Cassandra3.11.11，我试图通过这个将它们连接起来，我在这里找到了一个用来执行的胖罐子。在我发布的链接中，当他们使用jar文件执行星火壳命令时，有一行在开始时出现。
INFO SparkContext: Added JAR file:/home/chbatey/dev/tmp/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/spark-cassandra-connector
浏览 2提问于2021-11-29得票数 1
回答已采纳
1回答
当我试图从Spark向Cassandra表中插入一些数据时，我得到了下面的错误。
com.google.common.util.concurrent.ExecutionError: java.lang.NoClassDefFoundError: Could not initialize class com.datastax.driver.core.Cluster
at com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2261)
at com.google.common.cache.Lo
浏览 11提问于2017-08-04得票数 0
我写了一份星火作业，主要目的是写到专家系统中，然后提交，问题是当我把它提交到星星团时，火花回馈。
错误用户类抛出异常: org.elasticsearch.spark.sql.DefaultSource.createRelation(Lorg/apache/spark/sql/SQLContext;Lorg/apache/spark/sql/SaveMode;Lscala/collection/immutable/Map;Lorg/apache/spark/sql/Dataset;)Lorg/apache/spark/sql/sources/BaseRelation；：java.lang.A
浏览 1提问于2017-08-04得票数 1
当我尝试通过pyspark从Cassandra表中读取数据时，它工作得很好。但是当我尝试将数据帧写入Cassandra表时，却给出了与java.lang.NoClassDefFoundError相同的Spark-Cassandra连接包。
版本详细信息：
卡桑德拉：
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.0.18 | CQL spec 3.4.0 | Native protocol v4]
Use HELP for help.
火花：
Welcome to
____
浏览 4提问于2019-09-27得票数 0
我使用官方的MongoDB Spark Connector从MongoDB集合中读取Spark中的数据，代码如下：
val spark = SparkSession.
builder().
appName("MongoDB to SQL").
getOrCreate()
val df = MongoSpark.load(spark, readConfig)
df.count()
readConfig是MongoDB的标准读配置，它工作得很好。我遇到的问题是，我从MongoDB获取的一些日期/时间作为字符串
浏览 12提问于2018-11-28得票数 1
我试图使用Apache查询本地Cassandra表，但是在运行任何select显示语句时遇到了这个错误
无法初始化类com.datastax.spark.connector.types.TypeConverter$
版本：
Cassandra:版本3.11.2 \ cqlsh版本5.0.1
Apache-Spark:版本2.3.1
Scala版本2.12.6
卡桑德拉键空间->表
CREATE KEYSPACE test_users
... WITH REPLICATION = {
... 'class' : 'Simple
浏览 0提问于2018-07-29得票数 0
回答已采纳
我正在尝试建立我的第一个火花&卡桑德拉应用程序使用sbt。
这是.scala文件中的代码。
/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import com.datastax.spark.connector._,org.apache.spark.SparkContext,org.apache.spark.SparkContext._, org.apache.spark.
浏览 2提问于2017-04-12得票数 2
回答已采纳
我以前已经能够加载这个MongoDB数据库，但现在收到一个我无法确定的错误。
下面是我如何开始我的Spark会话：
spark = SparkSession.builder \
.master("local[*]") \
.appName("collab_rec") \
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/example.collection") \
.config("spark.mo
浏览 12提问于2017-08-16得票数 3
回答已采纳
我使用org.apache.spark.sql.SparkSession将Cassandra表读取到Spark Dataset<Row>。dataset包含整个表信息，如果我将一个新行添加到Cassandra中，它似乎在后台异步工作，并使用该行更新数据集，而无需再次读取表。
对于从表中读取的数据是否有任何限制或内置的限制？
Dataset<Row>的大小是多少，Spark开始发现很难处理？
如果Spark表的字节数是半兆字节，那么Cassandra对处理计算的要求是什么？
如果Spark想要将一个大的新信息表写入Cassandra，那么Spark用Cas
浏览 2提问于2017-08-22得票数 0
回答已采纳
尝试用CosmosDB (mongo )连接数据库
我已经安装了mongo_spark_connector_2_12_2_4_1.jar并运行了下面的代码。
> from pyspark.sql import SparkSession
>
> my_spark = SparkSession \
> .builder \
> .appName("myApp") \
> .getOrCreate()
>
> df = my_spark.read.format("com.mongodb.spark.s
浏览 0提问于2019-06-24得票数 0
我需要用python将我的独立Spark连接到我的Cassandra实例。我已经从下载了Apache spark，解压并构建如下：
tar -xvf spark-1.4.1.tgz
sbt/sbt assembly
我添加了更新的./bashrc文件，可以运行Spark了。我还设置了Cassandra，可以从我的python程序中提取数据。
如何将Spark连接到Cassandra实例以访问作为Spark RDDs的Cassandra表？
浏览 2提问于2016-04-12得票数 1
1回答
在运行时
> spark-submit --class "TwitterPopularTags" --master local[2] >/home/raja/begin/target/scala-2.11/simple-project_2.11-1.0.jar
> "Exception in thread "main" java.lang.NoClassDefFoundError: >org/apache/spark/Logging
>...
>Cau
浏览 0提问于2016-11-09得票数 0
我对Scala相当陌生，我正在尝试构建一个Spark作业。我已经构建了一个包含DataStax连接器的作业，并将其组装到一个胖罐子中。当我尝试执行它时，它会在java.lang.NoSuchMethodError中失败。我打开了JAR，可以看到包含了DataStax库。我漏掉了什么明显的东西吗？有关于这个过程的好教程吗？
谢谢
.class=‘class 5’>类./target/scala-2.11/bobbrez-spark-assembly-0.0.1.jar $submit.线程"main“中的异常: scala.runtime.ObjectRef.zero()Lscal
浏览 1提问于2016-01-06得票数 1
回答已采纳
我试图使用Spark将Scala类对象编写到Cassandra中。但是在运行代码时，我得到了一个异常。我想我无法将我的case类对象映射到我的Cassandra行。我的Scala代码如下所示
CassandraPerformerClass.scala
object CassandraPerformerClass extends App
{
override def main(args: Array[String])
{
val keyspace = "scalakeys1"
val tablename = "demotable1"
val conf =
浏览 0提问于2015-01-20得票数 2
回答已采纳
无法从cassandra加载数据；据我了解，问题在于番石榴jar；尝试了不同版本的番石榴；无法识别预期的jar版本。(也替换为datastax共享jar )
版本- Scala 2.11.12，星火2.3.2.3.1.4.41-3罐，使用火花-卡桑德拉-连接器_2.11-2.3.2.jar，卡桑德拉-驱动-核心-3.0.jar，共用-配置-1.7.jar，java-驱动器阴影-番石榴-25.1-jre.jar或一个从番石榴罐版本19/24/31在火花提交。
电火花脚本&在以下内容之后提交：
Error:
File "cass.py", line 6, in <
浏览 15提问于2022-08-29得票数 0
我试图用火花-卡桑德拉连接器连接卡桑德拉，但出现以下消息：
spark.version: 3.1.2
cassandra.connector.version: 3.1.0
Caused by: java.io.IOException: Failed to open native connection to Cassandra at {10.99.249.84:9042} :: org/apache/tinkerpop/gremlin/structure/io/BufferFactory
at com.datastax.spark.connector.cql.CassandraConnector
浏览 6提问于2022-02-24得票数 0
我对spark和talend都是新手。
但是我到处读到这两个都是ETL工具。我读到了另一个堆栈溢出答案。从另一个答案来看，我所理解的是talend确实使用spark进行大数据处理。但是，talend可以在不使用spark的情况下高效地完成spark正在做的所有ETL工作吗？或者它本质上是spark上的包装器，其中所有数据都发送到talend，实际上是放在talend内部的spark中进行处理？
我对此感到相当困惑。有人能澄清这一点吗？
浏览 23提问于2021-02-16得票数 1
回答已采纳
我正在使用spark独立集群，有一个主站和3个工作人员。我的驱动程序也在同一个网络上，所以基本上所有的worker和master都可以与驱动程序通信，反之亦然。
我试图通过获取sparksession (在Java程序中)从驱动程序完成这项工作。为程序添加的Maven依赖项是: spark-core_2.11(v2.2)、spark-sql_2.11(v2.2)、spark-streaming_2.11(v2.2)、spark-mllib_2.11(v2.2)、spark-cassandra-connector_2.11(v2.0.5)、spark-cassandra-connector-ja
浏览 0提问于2017-11-15得票数 0
以下是所有所需的信息和代码：
val gscReadOptionMap = Map(
"url" -> s"jdbc:postgresql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}",
"user" -> jdbcUsername,
"password" -> jdbcPassword,
"dbschema" -> "public",
"dbtable"
浏览 8提问于2022-05-03得票数 1
如果我的Riak集群中填充了5台机器(riak1，riak2.)，我应该创建一个带有单个主机的RiakClient，还是为实现冗余而创建一个完整的5台机器列表，那么是否有节点成员的自动发现？
RiakClient(protocol='http', host='riak1', http_port=8098)
或
RiakClient(protocol='http', nodes=[{
host:'riak1',
host:'riak2',
host:'riak3',
host:
浏览 2提问于2016-03-11得票数 0
回答已采纳
我在集群上安装了com.azure.cosmos.spark:azure-cosmos-spark_3-1_2-12:4.0.0，运行时8.3.x-scala2.12已经使用了很长一段时间。但是它突然停止了工作，并取消了在这个库的集群上运行的databricks作业。
群集驱动程序日志stderr文件包含以下错误:用于生成代码的ANTLR工具4.7与当前运行时版本4.8不匹配
我尝试过更新库和集群运行时版本，也安装了jar库而不是maven，但是没有帮助。
现在，我的集群具有以下配置：
{
"autoscale": {
"min_workers":
浏览 5提问于2022-05-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
